METR 评审 Anthropic 2026年8月风险报告的自动化 R&D 风险章节

删节说明：作为本次评估的一部分，Anthropic 有权对本文中任何非公开信息进行删节。按照我们的透明度原则，我们有权披露 Anthropic 是否行使了删节权，以及我们的任何发现是否在相当程度上依赖于被删节的信息。所有对我们的结论有重要影响的删节，均已在下方报告中说明。

执行摘要

我们认同 Anthropic 的判断：7 月 15 日发布的模型带来的灾难性风险较低；但我们认为，这些模型在当时很可能已经越过了其早期预警阈值。

METR 审阅了 Anthropic 公开的《2026 年 8 月风险报告》中“自动化研发带来的风险”一节。¹本次审阅属于一项高权限评估的一部分，评估主题是 AI 研发加速；Anthropic 在该评估中提供了风险报告的未公开版本，以及大量其他非公开数据。在发布本审阅的同时，我们也在发布一份关于 Anthropic 内部 AI 研发加速的整体评估。该整体评估与本次风险报告审阅由同一批 METR 员工完成。

总体而言，我们认同 Anthropic 的结论：截至 7 月 15 日，其内部部署的模型直接自动化关键领域研发、或因能力进展加速而引发严重灾难性风险的可能性都较低。但报告声称这些模型尚未越过早期预警阈值，这一说法依赖于一些存在争议的判断，而公开报告并未把这些判断讲清楚。尽管参与本项目的 METR 研究人员和 Anthropic 的相关员工都倾向于认为阈值尚未被越过，但我们认为它很可能已经被越过，并且我们认为公开报告总体上低估了当时正在发生的加速程度。

在本审阅中，我们首先概述我们对 Anthropic 风险报告的理解，包括其威胁模型、早期预警阈值和关键主张。随后我们阐述对这些关键主张和结论的评估。最后，我们分享本次风险报告审阅的过程细节（关于过程和访问权限的更多细节，见我们的整体审阅）。

Anthropic 的 RSP 为“关键领域的自动化研发”设定了两项能力阈值。

根据 Anthropic 的 RSP v3.4，只要满足以下任一条件，即触发自动化研发阈值：

1. 完全替代阈值：如果其开发的模型能够“以有竞争力的成本（即在 5 倍以内）完全替代我们全部的研究科学家和研究工程师”。
2. 2 倍加速阈值：如果由于可能与 AI 研发自动化相关的原因，AI 进展速度出现“急剧加速”。²RSP 对此有更详细的定义，但这些细节对我们的批评并不关键。

（请注意，为清晰起见，我们在本报告余下部分为这些阈值起了名称，但它们在 RSP 中并没有名称。）

风险报告认为，完全替代阈值尚未被越过，因为模型目前还没有替代人类。

《风险报告》认为，目前模型还不能替代 Anthropic 的全部员工，因为尽管 Anthropic 有很强的动机尽可能用模型替代研究人员，但研究人员仍在 Anthropic 完成工作。

“我们相信，如果模型能够替代我们整个研究团队的技术工作——哪怕成本很高——我们也会清楚地意识到这一点；而事实上，即使有强烈的动机，我们也没有进行这种替代，这本身就说明我们的模型还不具备这种水平的能力。”

简单来说，Anthropic 在努力用模型替代研究人员，但研究人员仍然不可或缺。报告也给出了基准测试证据，但我们认为它不如这一直接观察重要，也更不确定。

《风险报告》认为，2 倍加速阈值尚未被跨越，因为能力指标和先行指标显示加速不到 2 倍，且推动加速的是 AI 以外的因素。

《风险报告》列出了三条主要证据，说明他们尚未跨越 2 倍加速阈值：

• 先行指标加速有限：“我们的先行指标显示，从 2025 年初到年中开始出现了明显的加速，但幅度不到 2 倍。”
• 这种加速很难归因于 AI：“我们相当确信，2025 年的加速应归因于我们使用 AI 模型之外的因素；不过我们也认为，我们的 AI 模型是推动这一更快趋势持续到覆盖日期之后的关键因素。”
• 缺乏有力证据支持 AECI 持续加速：Anthropic 报告称，只有微弱证据显示 AECI 出现过一次性跃升，且这应归因于非 AI 的进展，而非持续加速。

《风险报告》将2 倍加速阈值描述为早期预警，而非高风险已经出现的直接证据。

8 月的《风险报告》这样描述2 倍加速阈值：

“我们的 RSP 中设定的风险阈值——即进展速度比 AI 加速前的水平翻倍，且可归因于 AI 研发的自动化——是一个潜在的早期预警，而不是威胁已经成真的证据。”

他们没有给出一个能表明风险已高的精确阈值，但他们的威胁模型描述了一些示例情景：

“威胁在于：我们相信，未来几年 AI 模型可能具备广泛超越人类的能力。尤其是，推动关键领域研发所需的大部分甚至全部工作——从机器人技术到能源、网络战，再到 AI 研发本身——都可能变得可自动化。

如果这一判断成立，可能带来巨大的收益，但这些收益也会伴随几个不同却相关的问题：

1. 某些技术领域的快速进展，可能改变国家内部和国家之间的权力结构。例如，如果某个威权政权在 AI 上建立起对世界其他地区的自我强化领先优势，这种领先可能累积成科技上的巨大优势——进而可能转化为发动战争、监控公民和/或长期掌控极强技术的能力上突然而颠覆性的进步。
2. 如果 AI 模型在关键领域高度自动化研发的过程中发展出危险的目标，它们就可能借助新技术及其对技术的获取渠道造成无上限的伤害——甚至包括人类彻底失去对文明的控制。
3. 如果 AI 能被用来自动化 AI 研发本身，结果可能是 AI 进展的极度加速，从而带来非常广泛的一系列风险，包括但不限于本报告讨论的那些风险。”

根据这些描述以及与 Anthropic 员工的交流，我们理解“低/中/高”的整体风险评级指的是当时模型直接促成上述灾难性问题的风险，而不是模型越过 RSP 阈值的风险（不过我们认为报告本可以把这一点说得更清楚）。

Anthropic 的结论是，截至 7 月 15 日，这一威胁模型带来的风险为“低”。

因此，Anthropic 认为整体风险为“低”，理由是：

1. 其阈值不太可能被越过，并且
2. 即使阈值被越过，也未必足以造成其威胁模型中描述的那类灾难性风险。

报告对此的总结是：

“低。我们认为我们的模型未达到该威胁模型的任何一项 RSP 标准。不过，我们对这一评估的信心低于以往的风险报告，因为我们最具体的任务型评估已经‘饱和’——也就是说，它们不再能反映模型能力的提升——而且我们正看到潜在加速的早期迹象。”

METR 的评估

我们认为，风险报告中关于尚未越过完全替代阈值的论证总体上令人信服。

Anthropic 描述的完全替代阈值是一个很高的门槛，我们也同意：如果其模型在 7 月 15 日就已具备这种能力，他们很可能会注意到研究自动化方面有更大的进展。

与 Anthropic 类似，我们对这一说法的信心远低于过去，因为缺少高置信度、未饱和、能证明能力局限的基准测试，而这些局限对自动化 AI 研发似乎至关重要。缺少这类基准证据让我们更加担心：尽管模型已经具备或非常接近具备所需能力，对齐、工具、监督或引导方面的问题仍在拖慢自动化。

我们认为，公开风险报告中关于尚未越过 2 倍加速阈值的论证被夸大了，并且认为该阈值在 7 月 15 日时有可能已经被越过。

METR 和 Anthropic 的大多数相关研究人员倾向于认为 7 月 15 日尚未越过该阈值，但我们认为它有可能已经被越过。我们认为，公开风险报告关于 2 倍加速阈值的结论显得过于自信，并且依赖了公开报告没有清楚传达的主观判断。

具体来说，我们认为公开风险报告低估了 AECI 和先行指标中加速的证据，也低估了未删节内部报告中对反事实加速所表达的不确定性。

主张 1：先行指标中的加速有限。

我们认为，公开报告的读者会把“不到 2 倍”理解为明显低于 2 的估计值；因此，非公开风险报告的数字隐含 1.97，令人意外。更贴切的描述似乎是“大约 2 倍”。

METR 自己对这些先行指标的分析（在本报告中被隐去）给出的合理估计区间是 1.3 到 2.8。对于衡量这些数值的正确方法，我们存在很大的方法论上的不确定性，这一点我们在整体报告完整版（未隐去版）中讨论过。正如那份报告所述，Anthropic 隐去了这段讨论。

METR 建议的表述：

“先行指标显示出大幅加速，具体倍率在 1.3 到 2.8 之间，取决于定义和时间区间。这些先行指标与下游能力之间是何关系，我们并不确定。”

主张 2：这种加速对 AI 的归因有限。

第一段确实表达了对整体加速的不确定，但公开风险报告似乎暗示，即便到 7 月 15 日这个覆盖日期，也只有较小一部分可归因于 AI，而且对此有相当高的把握。与此同时，非公开风险报告称，到 7 月 15 日，归因于 AI 的整体反事实加速超过 2 倍是“可能的”。

根据我们在整体报告中审视的证据，我们大体同意非公开风险报告当时对证据的评估，不过直接估计反事实加速非常困难。

METR 建议的表述：

“我们相当有把握把 2025 年出现的部分加速归因于我们使用 AI 模型之外的因素，不过我们也认为，AI 模型是更快的趋势得以持续到覆盖日期的一个日益重要的因素。

根据对研究负责人的访谈和非正式调查，我们估计，AI 能力的整体进展速度仍然略低于无 AI 辅助时的两倍。不确定性足够大，因此我们整体上超过 2 倍这一系数似乎也是合理的。”

主张 3：反对 AECI 持续加速的证据较弱。

公开风险报告称 Model 2 的得分误差棒很大，但没有说明内部风险报告中的限定条件，即 Anthropic 预计同一基础模型的后续快照会取得更高分数。事实上，Model 2 的后续快照在 AECI 上的提升幅度，与 Mythos 5 相对 Mythos Preview 的提升大致相当。

公开风险报告还描述了在 Mythos Preview 发布时发现 AECI 出现一次性跃升的弱证据，但我们不认同他们对这一点的强调：

• 当时，AECI 数据仅轻微支持跃升，且无法排除持续加速。若复用风险报告中所用的数据，估计加速约为 1.5 倍。风险报告发布后，Anthropic 加入了更多基准的数据，在相同模型集合下估计加速为 1.9 倍。
• 我们认为，只依赖那些最直接为最大化能力而优化的较少数模型更简单、更有原则，而且完全无法区分这两种假设。³
• AECI 的持续加速与领先指标中观察到的持续加速更为一致。正如我们的整体评估所述，我们认为公开风险报告以来的证据支持自 2025 年 10 月以来持续加速。

METR 偏好的表述：

“鉴于当前的 AECI 数据，我们无法有把握地区分能力的一次性跃升与持续加速。然而，鉴于上述领先指标的加速，持续加速似乎更为简约。

另外两个因素使当前的 AECI 趋势难以解读：

1. 构成这一 AECI 趋势的部分模型并非仅针对能力优化，这使得难以解读该趋势具有多少‘有效分’。
2. Model 2 尚未完成训练，因此我们预计后续快照的性能会有所提升。⁴

未来的 AECI 测量结果很可能会说明，这究竟是一次性跃升，还是持续加速。

尽管如此，我们大体上同意：7 月 15 日可用的模型因自动化研发而带来的直接灾难性风险较低。

综合上述证据，我们认为 7 月 15 日可用的模型确实有可能为 AI 研发进展带来了 2 倍的反事实加速；但要引发 Anthropic 上文所述的那类灾难性风险，很可能还需要大得多的加速幅度。我们也不认为当时的模型能够完全自动化 AI 研发或其他关键领域的研发。因此我们同意，对当时的模型而言，这些风险属于“低”。

不过，正如我们在整体评估中所描述的，我们预计 AI 对研发的增强作用会持续增长，也无法排除未来 6 个月内能力进展速度进一步大幅加快。这可能会迅速使这些领域的风险升至“高”。

流程细节

关键术语。

METR 受 Anthropic 委托撰写 AI 研发加速评估，工作开始后不久，Anthropic 又请 METR 额外撰写一份对其 8 月风险报告的评审，METR 同意了。评审的确切范围从未正式确定，而是在合作过程中由双方协商确定。

利益冲突披露。

合同细节。

时间线。

1. 8 月 12 日：Anthropic 开始与 METR 共享机密信息。
2. 8 月 14 日：Anthropic 向 METR 提供未经删减的 8 月 AI 研发风险报告。
3. 9 月 18 日：METR 向 Anthropic 提交风险报告评审初稿，征求反馈。
4. 9 月 22 日至 10 月 28 日：METR 对风险报告评审进行多轮修改。
5. 10 月 28 日：Anthropic 给出风险报告的最终删减指引。
6. 10 月 29 日：Anthropic 批准删减后的报告。

其他披露。

AEF-1 清单。

1. 作者：Tom Cunningham、Nate Rush、Parker Whitfill 和 Hjalmar Wijk。 ↩

2. 引用 RSP v3.4 的表述，这一条的操作化定义是：“我们认为情景（2）已经发生，当且仅当：(a) 我们观察到或预期 AI 综合能力进展速度达到我们在没有 AI 对 AI 研发做出显著贡献的情况下所预期的速度、以及所观察到的最快持续进展速度[fn2]这两者的两倍[fn1]；(b) 这种翻倍有相当大一部分可合理归因于研究与/或工程的自动化（而非人员增加、算力增加或一般生产力提升等其他因素），以至于这一 AI 进展趋势若延续下去，很可能带来更大的加速。”

   [fn1] “进展速度翻倍”是指“一年取得的进展相当于基线情况下两年取得的进展”。例如，若基线进展是算力扩大 3 倍、算法效率提升 3 倍（即 9 倍“有效扩展”），那么“进展速度翻倍”大致相当于 81 倍的有效扩展。这与“研究人员生产力翻倍”不是一回事，因为投入翻倍并不必然使进展速度翻倍。

   [fn2] 至少跨越了三代模型。 ↩

3. 我们只基于少数几个最直接以最大化能力为优化目标的模型，做了一次朴素外推，并假设加速趋势会延续。相比基于全部数据点的外推，这次外推让我们更准确地预测了未来的 AECI 分数。 ↩

4. 截至风险报告覆盖日期 2026 年 7 月 15 日，模型 2 尚未完成训练。 ↩