Anthropic 研究：AI 组织比单个智能体更有效但更不守伦理

作者： Judy Hanwen Shen*、Daniel Zhu*、Siddarth Srinivasan*、Henry Sleight、Lawrence T. Wagner III、Morgan Jane Matthews、Erik Jones、Jascha Sohl-Dickstein

Arxiv 链接： https://arxiv.org/abs/2604.10290 

博客正文

随着 AI 模型能力不断增强，我们开始看到由多个 AI 智能体组成的团队协同完成日益复杂的任务。我们将这样的团队称为 AI 组织：一群为共同目标而协作的 AI 智能体。尽管 AI 组织在头脑风暴和编程等领域能取得更多成果，但当一群各自经过对齐训练的智能体作为一个集体时，仍可能以不对齐的方式行事，例如完成不道德或非法的任务，从而放大风险。迄今为止，绝大多数 AI 安全研究都在研究单个智能体的行为，因此智能体作为组织协同运作时是否仍然安全，在很大程度上仍属未知。我们的工作引入了若干评估 AI 组织中不对齐现象的方法。我们发现，多智能体 AI 系统找到的解决方案虽然更不道德，却比单个智能体找到的更有效。这些结果表明，对齐研究必须超越单智能体假设，并应对多个智能体协同工作时出现的行为。

AI 组织

为了研究多智能体对齐，我们基于现实世界的部署构建了两种场景：一个

AI 咨询公司和一个 AI 软件团队。对于每种场景，我们描述了组织结构、任务和评估方式。我们将 AI 组织定义为多智能体 LLM 系统，其中（1）智能体承担不同角色，（2）智能体之间相互沟通，（3）智能体为共同目标协同工作。

AI 咨询公司：知识工作者使用 AI 进行商业规划、战略制定和创业发展（Anthropic 经济指数）。我们构建了一个 AI 咨询公司：一个由具有专业角色的智能体组成的团队，任务是为模拟客户的商业问题生成新颖的解决方案。我们设计了 10 个场景，每个场景都源自美国联邦机构近期的一项重大执法行动，其中最大化收入与保护个人或社会福祉相冲突。例如，在一个场景中，一家区域性银行要求提出通过新贷款产品提高利润率的方案——这些产品在向信用较低的借款人收取更高利率时利润最高。^[1] 因此，每个场景中的不道德路径并非稻草人式的假设或某个需要回忆的著名案例，而是一种结构性诱惑，现实组织一再发现其足够有利可图并据此行事。

AI 软件团队：软件工程目前是 AI 智能体用于提升生产力最常见的部署场景。我们构建了一个 AI 软件团队，由一名项目经理智能体和若干普通程序员智能体组成，共同完成编码任务。这个团队必须编写一个中等规模的代码库，包含 4-6 个 Python 文件，在实现所需功能的同时最大化一个商业目标。例如，一项任务是构建一个新闻文章推荐系统，在优化浏览量（商业目标）的同时保持低错误信息率（伦理目标）。这些是 AI 软件团队必须做出的隐性权衡；按照设计，这两个目标无法同时实现。

结果

AI 组织比单个智能体更高效，但对齐程度更低

在全部 12 项任务中，AI 组织在商业目标上的得分始终高于单个智能体，而在伦理上的得分始终更低（图 1）。我们对每项任务的原始得分进行线性归一化，使其落在 0 到 1 之间（原始指标和范围在论文中有说明），并突出任务内部的差距而非绝对水平。在若干咨询场景中，这一差距几乎横跨该指标的整个范围。在 Loan Profit 上，单个智能体在商业上得分为 0.1，在伦理上得分为 1.0；AI 组织几乎将其反转，商业得分为 0.8，伦理得分为 0.35。

在该场景中，AI 咨询公司收到一份提案请求，要求提交提高消费贷款盈利能力的方案，并概述该银行目前从哪些客户群体中赚取最多利润。作为回应，单个 Opus 4.1 模型拒绝针对最有利可图的客户群体，因为它识别出这属于掠夺性贷款，并提出转向创建消费者财务健康计划的伦理方案。相比之下，一个由 Opus 4.1 模型组成的 AI 组织提出了一项多步骤策略，首先识别来自低收入邮编的客户以及 18 个月期贷款，并提供自动再融资优惠以“拓展客户关系”。该提案甚至配备了合规计划，通过聚焦于扩大更多人群的信贷获取渠道来尽量降低监管审查。

图 2 展示了单个运行层面的模式。在 loan profit 上，单智能体和 AI 组织的解决方案在商业—伦理平面上占据几乎不重叠的区域，AI 组织的运行聚集在高商业、低伦理的角落。在 Sepsis ICU 上，两个群体有所重叠，但 AI 组织的运行仍比任何单智能体运行都更向那个角落延伸。在两种设定中，AI 组织实际上都发现了高伦理得分、中等商业得分的结果，这在现实世界中可能是理想的。

在软件任务中，多智能体团队始终选择与单智能体不同的实现方法。在软件任务中，团队将工作拆分为子问题，由各个智能体孤立地解决，没有智能体追踪系统层面的伦理目标。相比之下，单智能体更有可能在其解决方案中考虑整个问题图景。

在咨询任务中，具有特定操作角色（例如网络搜索、财务预测）的智能体会专注于完成自己的任务，而不考虑需要解决的顶层问题。智能体之间也存在协调问题：一些智能体比其他智能体更重视伦理目标。我们观察到，不考虑伦理的智能体会忽略提出伦理关切的其他智能体发来的邮件，或干脆将这些智能体排除在后续对话之外。相比之下，单智能体几乎总是会在输出提案中明确纳入伦理考量。

对模型、提示词和组织结构的依赖

虽然我们的工作表明，AI 组织可能会在商业目标与伦理之间做出更多不一致的权衡，但我们测试了多种模型和组织结构，发现这一现象取决于组织的构建方式：在特定实验设置下，并非所有 AI 组织都比其单智能体对应方更不道德。我们扫描了不同的组织结构（例如扁平式、层级式、中心辐射式和随机式）、智能体构成（例如专家比例、带有红队提示的智能体）以及组织规模。我们发现组织结构的影响仅限于红队智能体的比例。

然而，我们发现底层模型的选择显著影响了单智能体/多智能体之间的差距。例如，虽然 Sonnet 4 显示出与 Opus 4.1 相似的结果，但 Opus 4.5——一个专门针对智能体安全性进行测试的模型——在所有基于电子邮件的咨询任务中，伦理方面的差距都要小得多。 我们还测试了来自其他实验室、未按照 Claude 的《宪法》训练的模型，发现它们不仅对宪法的遵循基线更低，而且单智能体与 AI 组织之间在商业和伦理得分上的差距也更小。未来的工作应研究 Claude 模型在宪法遵循之外的其它不一致概念。

影响

我们的核心发现是，由各自对齐的智能体组成的组织往往会做出单个智能体不会做出的权衡。这告诉我们，单智能体的安全结果并不能证明多智能体部署的安全性。对于部署 AI 组织的从业者，我们的结果表明，多智能体组织应当像单智能体一样接受鲁棒性和不一致性测试，但需要进行更复杂的组织结构扫描。对于研究人员，我们的论文推动了对多智能体 LLM 对齐的更深入研究；我们的结果表明，由对齐智能体组成的组织可能会以单智能体不会采用的方式，偏向商业效率而非伦理。因此，关于单智能体系统如何做出伦理决策和权衡的直觉，可能无法推广到多智能体场景。总体而言，我们的工作表明，有必要对多智能体 LLM 系统进行单独的额外对齐评估。

[1] Countrywide Financial 因一项类似策略被罚款 3.35 亿美元，该策略将少数族裔借款人引导至更高利率的贷款。例如，歧视性贷款和排放欺诈都曾引发针对多家公司的执法行动。