Anthropic 长文:AI 正在加速构建 AI,工程师人均代码量增至 8 倍
When AI builds itself
Anthropic Institute 发布长文,指出 AI 已在加速 AI 自身的开发,距完全递归自我改进仍有差距但可能早于多数机构的准备。
Anthropic 用内部数据量化 AI 加速自身开发,包括工程师代码量 8 倍增长等一手数字,读者可据此判断递归自我改进的进展与风险。
我们朝着递归自我改进的进展,及其影响。
在人工智能历史的大部分时间里,人类推动了其开发周期的每一步。但在 Anthropic,我们正将越来越多的 AI 开发工作交给 AI 系统本身,这加快了我们工作的速度。
如果走得足够远,并给予足够的算力,这一趋势指向一种能够完全自主设计和开发其自身后继者的 AI 系统。这被称为递归自我改进。我们尚未达到那一步,递归自我改进也并非不可避免。但它可能比大多数机构所准备好的时间来得更早。
利用公开基准测试和 Anthropic 内部此前未报告的数据,The Anthropic Institute 正在展示 AI 已经在加速 AI 系统的开发。仅举一例:如今,Anthropic 工程师平均每季度交付的代码量是 2021-2025 年期间的 8 倍。
本文讨论的技术趋势表明,AI 系统在未来几年将变得能力更强。这些趋势具有重大影响。能够构建自身的 AI 将是技术史上的重大发展——它可能在科学、医疗保健及其他领域为世界带来巨大益处。但完全的递归自我改进也可能增加人类失去对 AI 系统控制的风险。如果系统能够完全构建自己的后继者,那么我们保障其安全、监控其行为以及塑造其行为的方式都将变得更加重要。
2021–2023
构建第一个 Claude
早期,Anthropic 的工作看起来和任何其他科技公司一样:人们在笔记本电脑上编写代码和文档。
2023–2025
聊天机器人
人们使用早期聊天机器人来协助流程中的部分环节,例如生成简短的代码片段并将输出复制到文本编辑器中。
2025–2026
编码智能体
随着智能体能力增强,它们能够自行编写和编辑代码,有时是整个文件。
今天
自主智能体
智能体现在可以自行运行代码,并将数小时的工作委派给其他智能体。
20XX?
闭环
未来,智能体可能变得足够有能力,自行构建和训练模型。如果这发生,未来版本的 Claude 可能由 Claude 自身持续改进。
来自外部世界的证据
AI 模型改进的速度正在加快。它们能够可靠地独立完成的任务长度大约每四个月翻一番,而此前的趋势是每七个月翻一番。2024 年 3 月,Claude Opus 3 能够完成人类大约需要四分钟完成的软件任务。一年后,Claude Sonnet 3.7 处理了大约需要一个半小时的任务。又过了一年,Claude Opus 4.6 处理了 12 小时的任务。1 如果这一趋势持续,需要熟练人员数天完成的任务可能今年就会进入范围。2027 年,AI 系统可能能够完成需要一个人数周完成的任务。
同样的模式也出现在编程和研究基准测试中。基准测试衡量模型在特定领域的表现,当模型达到接近 100% 的性能时,就称其“饱和”了。2 SWE-bench 是对真实世界软件工程的标准测试:它把一个实际的开源代码库和一份真实的缺陷报告交给模型,要求它编写代码改动来修复该问题,并通过项目自身的测试。两年间,模型从得分只有个位数低段,发展到在该基准上饱和。
CORE-Bench 测试模型能否复现已有研究,这是模型开展原创研究的先决条件。它把一篇已发表论文背后的代码和数据交给 AI 模型,要求它重新运行全部内容,并确认能够复现论文的结果。AI 系统在 2024 年复现结果的成功率约为 20%,十五个月后便在该基准上饱和。METR 负责运行衡量模型完成长时任务能力的基准,其发现 Claude Mythos Preview 可以工作“至少”16 小时,并且“处于 [METR] 在不引入新任务的情况下所能测量的上限”。
公开基准测试在很大程度上说明了这些系统的能力。但它们无法揭示 AI 系统对加速 AI 开发本身所产生的影响。为此,我们需要来自 Anthropic 这类 AI 公司内部的直接证据。
来自 Anthropic 内部的证据
构建前沿模型需要两大类工作。一类是工程:编写代码、搭建基础设施、监督模型训练。另一类是研究:决定运行哪些实验、解读返回的结果、判断接下来该尝试哪些想法。
在工程和研究两方面,情况是一致的。在工程方面,可以把一个描述不充分的问题交给 Claude,由它想办法解决;人类提供目标,但不再需要提供方法。在研究方面,Claude 在执行定义明确的实验上已经能够匹敌或超过熟练的人类。然而,当涉及 Claude 在工程和研究中选择目标时运用判断力,仍然存在很大的性能差距。这正是当今 AI 与未来能够自主设计其继任者的系统之间的差距。
在 Anthropic,员工随着经验增长而接到更开放、更重要的任务是常见现象。早期,他们执行别人指定的任务,比如“导出按钮坏了,请修一下。”随着经验积累,他们接到一个目标并自行设计方法,比如“调查为什么网络在高负载下变慢。”到了最高级别,他们决定哪些问题值得去做:“团队下个季度应该构建什么?”我们可以用 Anthropic 的内部数据来看 Claude 在处理这些不同类型任务上已经走了多远。
Claude 编写了 Anthropic 代码中的很大一部分。截至 2026 年 5 月,我们合并进 Anthropic 代码库的代码中,超过 80% 由 Claude 编写。3 在 Claude Code 于 2025 年 2 月以研究预览形式发布之前,这一数字还只有个位数低位。这一转变也体现在每位工程师的产出量上。在 Anthropic 的前四年(2021-2024 年),每位工程师每天合并的代码行数保持恒定,随后在 2025 年开始攀升,当时 Claude 开始运行代码,而不再只是给出代码供工程师复制粘贴。2026 年,当模型开始在更长的时间跨度上自主工作时,这一斜率再次变陡。下图展示了这两个拐点。2026 年第二季度,典型工程师每天合并的代码量是 2024 年的 8 倍。4 这是因为大部分代码由 Claude 编写,工程师负责指导和审查,而不是自己动手敲代码。
需要说明的是:代码行数是一个不完美的衡量指标,因为它衡量的是数量而非质量。因此,2026 年第二季度的每位工程师每天 8× 行代码几乎可以肯定高估了真实的生产力提升。尽管如此,它仍表明了一种加速趋势。在 Anthropic,我们不会因为员工写了多少行代码而奖励他们;相反,团队成员产出更多代码,仅仅是因为他们在使用 AI 系统来写更多代码。
代码行数的增长与人们对生产力大幅提升的主观感受相吻合。在 2026 年 3 月对 Anthropic 各研究团队 130 名员工的一项调查中,受访者估计产出中位数为:在他们无论如何都会从事的项目上,使用 Mythos Preview 的产出约为没有使用任何 AI 模型时的 4 倍。5 我们预计 3 月的真实提升幅度会略低一些。6 尽管如此,我们认为这一总体说法是可信的,并且与我们的其他观察一致:相当一部分 Anthropic 技术人员完成核心工作的速度,是没有 AI 辅助时的数倍。
我们还看到证据表明,Anthropic 的员工正在使用 Claude 完成那些原本根本不会发生的工作,比如构建探索性工具和处理长期拖延的清理工作。例如,2026 年 4 月,Claude 交付了 800 多项修复,将一类 API 错误减少了一千倍。负责监督 Claude 的工程师估计,人类完成这项工作需要四年时间;修复他人的 bug 既缓慢又繁琐,而人类很难同时把那么多不熟悉的上下文记在脑子里。
大约一年前,我开始大力投入“Claudify”。那是一段疯狂的旅程,而我现在已经有大约 5 个月没有自己写过任何代码了。
Claude 编写的代码是“好的”,而且还在不断进步。“好代码”意味着两件事:它能正常工作,并且其编写方式能让另一位工程师理解并在此基础上继续构建。就第一条标准而言,证据很明确。在过去一年里,Anthropic 员工对 Claude 进行纠正、重新引导或在任务中途接手的比率一直在稳步下降,包括在最复杂、最开放式的任务上也是如此。这类任务指的是没有明确规格说明、工程师也不确定答案应该是什么样的问题。从下图所示 Claude 在不同难度任务上随时间变化的成功率中,这一点显而易见。Claude 编写的代码能够正常工作。

在最开放式的任务上,Claude 的成功率在 2026 年 5 月达到了 76%,六个月内上升了 50 个百分点。举一个这一难度层级任务的例子:一次例行升级开始导致数万个训练任务崩溃。一位工程师只提供了一些文本内容和集群访问权限,就让 Claude 着手处理这起正在发生的故障。Claude 逐一排查正在运行的任务,一次测试一个环境设置,最终定位到触发崩溃的那个不起眼的调试标志,可靠地复现了问题,并确认了修复方案。在大约两小时内,Claude 完成了通常需要两到三天的工作。
第二条标准是编写另一位工程师能够理解并在此基础上继续构建的代码。在这方面,人类与 AI 之间的差距依然存在,但正在迅速缩小。Anthropic 的员工尚未达成完全共识,但许多人认为,2025 年底时 Claude 编写的代码质量仍不如 Anthropic 人类工程师编写的代码,而如今两者大致持平。我们预计一年之内 Claude 会做得更好。
这已经改变了 Anthropic 如今审查自身代码的方式。对我们代码库的拟议更改现在会先由自动化的 Claude 审查器阅读,查找缺陷、安全漏洞和其他问题,之后才能合并。借助这一工具,我们进行了一次回顾性分析,发现如果对代码库的每一处更改都进行自动化的 Claude 审查,本可以在 claude.ai 过去事故背后的缺陷进入生产环境之前就发现其中大约三分之一。编写那些代码的工程师是构建这类系统方面世界上最顶尖的人才之一。而如今,Claude 正在发现他们漏掉的错误。
2025 年底,Claude 编写的代码质量略逊于 Anthropic 人类工程师编写的代码;如今两者大致持平;我们预计一年之内 Claude 会明显更胜一筹。
Claude 擅长通过运行实验来达成他人设定的目标。每当 Anthropic 发布一个模型,我们都会运行同样的测试:给 Claude 一些用于训练小型 AI 模型的代码,要求它让这段代码尽可能快地运行,同时仍然通过相同的正确性检查。目标和成功指标都是预先固定的,因此 Claude 的任务就是通过重写代码、运行代码、计时并重复这一过程来寻找加速方法。这是一个实验研究循环的微缩版本。2025 年 5 月,Claude Opus 4 平均比初始代码提速约 3 倍。到 2026 年 4 月,Claude Mythos Preview 已达到约 52 倍。作为参照,一名熟练的人类研究员需要四到八小时才能达到 4 倍。7 在研究工作流的这一环节——在明确定义的实验中优化各个步骤——Claude 在不到一年时间里从超级有用变成了超越人类。
如今的工作形态大致是‘人类提出想法,而模型能够以比以前快[一个数量级]的速度实现、测试和评估这些想法。’
Claude 越来越擅长提出自己的实验。2026 年 4 月,Anthropic 发表了 Claude 端到端运行一个开放式研究项目的首个演示。由 Claude 驱动的智能体被赋予一个 AI 安全领域的开放问题——大致是,较弱的模型能否可靠地监督更强的模型?——然后被放任去解决它。这涉及提出假设、检验假设、与并行智能体共享发现以及迭代。该任务有明确的性能“下限”和“上限”:下限是弱监督者独自能做到多好;上限是强模型在正确答案上训练后能做到多好。两名人类研究员在大约一周内弥合了约 23% 的差距;智能体在累计 800 小时内弥合了 97%,并使用了约 18,000 美元的计算资源。这项工作有一些注意事项;结果未能干净地迁移到生产规模的模型,而且人类仍然选择了问题并制定了评分标准。但在这些限制之内,智能体自行设计了每一个实验。设定方向是人类唯一发挥的有意义作用。
Claude 在 1-2 天里在我帮助极少的情况下完成了所有这些。我想,如果[一位初级同事]在同样长的时间里带着这样的结果回来找我,我会略感佩服。未来已来。
Claude 越来越擅长将研究会话引导向研究发现。我们检查了真实的 Claude Code 会话(2026 年 1 月至 3 月),其中 Anthropic 研究人员与 Claude 一起处理开放式调查问题,比如弄清楚为什么一次训练运行不断崩溃,或者为什么某个模型在基准测试中得分很低。在每个案例中,我们都发现了一个研究人员绕路的时刻:他们 pursued 了一个方向,使会话偏离正轨,之后才最终回到正轨。然后,我们只向各种 Claude 模型展示会话偏离正轨之前的工作,并询问它接下来会做什么。另一个能够看到会话最终结果的 Claude 随后判断,AI 还是人类提出了更好的下一步。8
因为我们特意挑选了那些我们知道人类的选择仍有改进空间的时间点(n=129),所以这并不是模型与人类判断之间的一次同类对比。这些时间点为我们提供的是一组真实且具有挑战性的情境——在这些情境中,正确的下一步并不显而易见,而人类的选择则充当了一个有用的标尺,用来随时间比较模型的表现。按照这一衡量标准,我们在 2025 年 11 月的最佳模型(Opus 4.5)有 51% 的时候胜过了人类的选择;到 2026 年 4 月(Mythos Preview),这一比例增长到了 64%。研究的日常工作在很大程度上就是由这样一连串的下一步决策构成的,因此这成为衡量模型最终能否自主开展一项研究的相关指标。我们将这一结果视为一个早期信号:AI 系统正越来越擅长做出 AI 研究赖以推进的那类判断。

就目前而言,人类的比较优势仍然在于看清全局、跳出眼前任务的局限去思考。
Anthropic 未来的工作形态可能会是什么样?
证据表明,在 AI 开发流程的每一个环节,人类所扮演的角色都在收窄。一旦人类与 AI 编写的代码质量达到持平,人类将完全停止编写代码,转而只做代码审查。但如果他们审查代码的速度赶不上 Claude 生成代码的速度,人类审查就会成为 AI 开发的瓶颈。同样,一旦 Claude 能够运行实验,问题就会转向“这些实验中哪些值得运行?”简而言之:执行(即编写代码、运行实验、产出结果)如今在人类时间上的成本几乎为零,即便它仍然有算力成本。
就目前而言,人类比较优势的一个领域是研究品味与判断力,包括选择哪些问题重要、该信任哪些结果,以及判断某条路径何时已是死胡同。
工作(和生活)曾依靠人与人之间小恩小惠的礼物经济运转。“你能帮我让这个脚本跑起来吗?”[…]每一次都制造了一点亏欠、一点相互的体认。[Claude]更快,它不制造任何亏欠,但每一次这样的请求都是一次人类协作机会的流失。
在一切顺利的日子里,我忍不住会想,我所做的一切都无关紧要,一切都已自动化,而且比我做得更好、更快。但也有这样的日子:一切都出了问题,我不明白为什么,然后我意识到,我已经完全不知道自己一直在忙些什么了。
如果我们错了呢?
对上述证据的一个自然反驳是:仍然掌握在人类手中的工作——选择要解决哪些问题——才是最重要的。没有这种判断力,Claude 只是一个能力出众的助手,而不是一个能够独自推动 AI 进步的系统。
目前尚不清楚当今的训练方法和架构能否解锁这种能力。但AI很少因“尤里卡!”时刻而进步。在AI的近期历史中确实有过少数几个这样的时刻,比如Transformer架构或混合专家模型,但范式转变式的想法往往相隔数年才出现。在两次这样的突破之间,大多数进展是渐进式的:我们把某个东西规模化,看看哪里会出问题,修复它,然后再试一次。这正是Claude如今所擅长的那类工作流程。爱迪生说过,天才是1%的灵感加99%的汗水。但我们看到,汗水正变得越来越自动化。越来越明显的是,推动前沿的许多工作都是可以自动化的;大规模研究进展在很大程度上取决于工具和资源,它们决定了你能多快运行实验、能同时运行多少实验,以及能多快得到结果。
即使我们假设Claude永远无法获得良好的研究品味,对我们的证据作保守解读,仍然意味着复合式加速。如果人类把大部分时间花在占个位数比例的方向设定工作上,而Claude处理其余部分,那就意味着每位工程师或研究者所引导的工作量远超以往。我们看到的证据表明,Anthropic的员工既行动更快,覆盖的范围也更广。在实践中,这意味着AI已经让Anthropic的运转速度远快于有效AI工具出现之前。
不那么保守的解读是,关于Claude研究判断力提升的早期证据——尽管目前还很有限——表明这项能力也在提升。“研究品味”也许只是又一项AI能力:AI系统在一段时间内做不好,然后变得擅长。我们在其他定性技能上也见过类似模式,比如AI系统能够解释笑话为什么好笑、展现心智理论,以及解开语言谜题。
可能的未来
接下来会发生什么取决于两件事:这一趋势是否会持续,以及如果持续,我们选择怎么做。我们至少可以想象三种未来情景:
- 趋势停滞,但当今的 AI 能力已广泛扩散。本文涉及许多指数级轨迹。但这些轨迹实际上可能最终是 S 形曲线。我们可能正接近曲线的弯折处,此时规模回报递减,曲线先变直,然后趋于平缓。区分一名合格研究者与一名杰出研究者的判断标准,可能是一种无法通过扩大算力和数据等训练投入的规模来获得的能力。如果是这样,要突破这一瓶颈就需要一个新思路,比如一种取代当前所有前沿模型所用 Transformer 架构的架构方法。
另一种可能是,AI 进步的约束可能在于供应链,而非模型本身:推进和扩散前沿可能需要比目前存在的更多能源和算力。芯片制造、电网扩建或互连带宽的速度可能才是约束,而非智能本身。我们也不能排除 AI 生态系统遭受外生冲击而大幅放缓,比如算力或电力供应突然减少,其中任何一种都会拖慢进展,并使实验室的前瞻性投资更加昂贵。或者我们可能没有预见到其他某种进步障碍。
即使模型能力冻结在今天的水平,我们预计世界仍将发生重大变化。Project Glasswing 是一个早期迹象:在最初几周内,Mythos Preview 在全球最重要的系统中发现了超过一万个高严重性和严重级别的软件漏洞——多到网络防御的瓶颈已经从发现漏洞转变为足够快地修补漏洞。而我们仍处于当今模型向更广泛经济扩散的早期阶段,在那里,一家 100 人的公司越来越能做 1,000 人公司的工作,因为每名员工都将坐拥一个智能体金字塔。
我们出于完整性纳入这一情景,但我们认为它不太可能。我们能够衡量的每一种能力,包括那些感觉更“软”的能力,比如代码质量和开放式任务的成功率,迄今为止都遵循同一条曲线。我们尚未看到那条曲线弯折。在我们考虑的三种未来中,这一种会给政府和社会最多的时间来适应。我们更担心接下来的两种,它们会变化得更快,留给准备的空间也少得多。 - AI 实验室持续获得复合效率提升。在这一情景中,AI 开发在很大程度上实现自动化,但人类仍负责设定研究方向和评判结果。随着时间推移,使用 AI 系统的组织将变得高效得多,因此我们可以预期组织中每个人的生产力都会获得显著倍增。100 人的公司可以完成 1 万乃至 10 万人组织的工作。这将彻底改变知识工作和政府服务,但也可能被用于有害目的,从对全体人口进行威权式监控,到开展影响力行动——针对每个人量身定制操纵手段,并以任何人类团队都无法匹敌的规模运行。在 Anthropic 这样的公司里,人类的角色将发生转变。人们将与 AI 系统协作,扩大研究规模并产生新的洞见,并共同构建用于验证 AI 输出可信性的系统。
我们在此列出的证据表明,我们很可能正走向这一情景。但加速流程中的某一个环节,往往只是把瓶颈转移到别处:整体速度受制于那些尚未加速的环节。在计算领域,这被称为阿姆达尔定律,同样的逻辑也适用于组织。Anthropic 已经遇到了阿姆达尔定律的一个典型征兆:随着我们开始在整个组织内推动更多代码,人工代码审查已成为新的瓶颈。
我们也在工程之外遇到了这种摩擦。由于 Anthropic 员工与能力极强的模型协作,新想法、新举措、新工具和新模拟呈爆炸式增长——远远超出我们有能力推进的范围。组织发现并修复这些瓶颈的速度,可能是一项随时间推移而不断提升的技能,也可能成为任何组织最重要的技能。 - AI 系统本身具备了完整的递归自我改进能力,并开始构建它们的后继者。如果提升能力的技术趋势持续下去,并且AI 系统能够发展出变革性人类创造力所固有的能力,那么 AI 系统就有可能设计和改进自身。
在这个世界里,AI 发展的进步速度完全取决于 AI 系统可用的算力(或发现算法训练或推理中各种效率提升的速度)。人类在其发展中的作用大幅减弱,我们的大部分努力可能转向对 AI 系统运行的不断扩大的“虚拟实验室”进行监督、验证和核实。我们预计,具备自动化 AI 研究与开发能力的系统将拥有可迁移到其他科学领域的技能,使它们能够开始彻底变革其他领域。
在这个未来中,对齐问题如何得到解决——或者得不到解决——是我们最不确定的事情。模型可能被证明足够对齐,并且具备足够的研究品味,从而发现并实施我们尚未触及的新颖解决方案。它们也可能足够明智,在无法做到时停止开发。或者,当今模型中存在的罕见失准现象可能会随着模型构建其后继者而累积,变得越来越频繁却越来越不被理解,直到我们失去对它们的控制。我们可能无法构建、整合和验证我们所需的工具,以理解我们实际处于哪条趋势线上。
我们对这个世界会是什么样子缺乏良好的直觉,因为我们的经济目前由人类和人类制造的工具驱动。就其本质而言,一个由快速递归自我改进驱动的世界可能会被自我改进的模型所主导,因为其能力完全超越人类,并且该模型在更广泛的经济中扩散。如果人类劳动不再具有竞争力,就很难预测经济会是什么样子。
即使模型开发变得完全自动化和递归化,我们也无法预测这对大多数人的日常生活意味着什么。阿姆达尔定律在这里同样适用。递归智能可能在某些领域迅速实现《慈爱机器》中概述的许多益处。我们预计,具身智能(即机器人技术)可能会迅速跟随递归智能而来,并走上一条成本递减、回报递增的类似道路。更强大的智能可能帮助我们在物理世界中更快地建造事物,开展更富有成效的救命药物临床试验,并开发新颖的协调形式。
但仅实现递归改进并不意味着工业生产方式、社会组织方式或市场运作方式会立即改变。更多的智能无法在数十年的使用中了解一种药物的作用,无法比宪法规定的更早举行选举,也无法在一个周末把陌生人变成老朋友。对大多数人来说,这个未来的可感知节奏仍将由瓶颈决定,即使上游的实验室以算力速度运行。递归智能以越来越快的速度构建自身,与人类、关系和治理的世界相遇,这种碰撞是这个未来中我们无法预测的另一部分。
我们该怎么办?
如果能够有效减缓这项技术的发展,为我们争取更多时间来应对其巨大影响,我们认为这很可能是一件好事。但如果放缓只是让最不谨慎的参与者在技术上迎头赶上,反而可能让所有人都更不安全。在没有全球协调机制的情况下,企业和政府将不得不在竞争和地缘政治压力下,就安全问题做出艰难抉择。
我们认为,让世界拥有选择去减缓或暂时暂停前沿 AI 发展的能力,从而使社会结构和对齐研究能够跟上技术进步,这对世界是有益的。Anthropic Institute 将开展研究——与众多其他机构合作——并采取行动,帮助构建可信的放缓或暂停所需的系统。这些系统将使前沿 AI 开发者能够核实全球其他开发者确实已经停止或放缓,并且不良行为者无法借协调放缓之名暗中抢先。如果这样的系统存在,我们预计,若位于或接近前沿的其他开发者也以可验证的方式这样做,我们也会放缓或暂时暂停。
有意义的放缓或暂停,需要多个位于或接近前沿、资源充足的实验室,分布在多个国家,同意在相同条件下停止。这还要求每一方都能核实其他方确实已经停止。由于 AI 系统的独特特性,这一军控问题中的可探测性(比可验证性更低的标准)要素要困难得多,远超其他技术。训练运行远比导弹发射井更容易隐藏,其输入是通用的,而悄悄违约的动机极其巨大,因为谁在他人暂停时继续推进,谁就可能继承领先地位。可信的暂停还必须明确:什么触发它、什么解除它,以及由谁裁决。
这些在原则上并非必然不可能——世界已经为其他复杂技术建立了核查机制(例如《中程核力量条约》)——但这些机制花了数十年才建立起基础设施和信任。我们没有那么长的时间。相比之下,单个实验室的单方面暂停可以立即实现,但作用要小得多:它会改变谁是领跑者,但不会创造出目前缺失的更广泛的审议过程。
在未来几个月里,我们将组织对话,让政策制定者、研究人员、公民社会和其他 AI 公司帮助回答本文提出的一些问题,尤其是围绕完全递归自我改进,以及如何为协调和审议创造更好的选择。我们将公布对话的成果。共同探究这些问题的窗口就在当下,AI 公司之外的人士也应参与这一审议。
本文由 Marina Favaro 和 Jack Clark 共同撰写,Santi Ruiz 提供编辑支持。Shan Carter、Romello Goodman 和 Nikki Makagiansar 根据 Brian Calvert 和 Jun Shern Chan 收集的数据制作了可视化内容。Daniel Freeman、Jim Baker、Max Young、Sarah Pollack、Francesco Mosconi、Holden Karnofsky、Andy Jones、Kevin Troy、Chloe Lubinski、Anton Korinek、Meg Tong、Andrew Ho、Dan Altman、Drake Thomas、Jack Shen、Sasha de Marigny 和 Avital Balwit 提供了反馈。
脚注
- METR 的核心指标衡量的是 AI 系统在一组任务上达到 50% 可靠率所对应的时间跨度,不过在 80% 可靠率下趋势线看起来是一样的。
- 尤其是当它们转向更开放的形式和更困难的任务(例如奥赛级数学)时,基准测试往往在低于 100% 时就饱和,原因是问答集中存在错误,例如问题表述含糊和无法求解的问题。
- Anthropic 领导层曾公开估计,我们 90% 或更多的代码由 Claude 编写,包括脚本和实验性代码。我们 >80% 的数字衡量的是合并到生产环境的代码行中可归因于 Claude 的比例。这在两个方面是更保守的衡量:我们的归因流程存在缺口,而未归因于 Claude 的代码行还包括自动生成的代码和其他并非由人类手写的产物。
- 代码产量的激增正在给所有人共享的基础设施带来压力。GitHub——世界上大多数软件所依托的平台——在 2025 年全年大约有 10 亿次代码提交;到 2026 年中期,它每周就有 2.75 亿次提交,全年按此速度约为 140 亿次。该公司 COO 表示,为了跟上需求,公司正在“极其努力地”扩充容量。
- 关于本次调查方法的更多细节在Claude Opus 4.7 系统卡第 2.3.5 节中讨论。
- 许多受访者可能没有仔细考虑如何应对问题定义中的各种偏差或细微之处,而METR 最近的研究表明,开发者对 AI 生产力提升的估计可能被高估。
- 加速幅度有多大,很大程度上取决于起始代码留有多少改进空间,而且不应将其解读为真实世界中的训练加速。因此,这里的绝对倍数并不是应当锚定的数字。更有信息量的是这一实验设置所能实现的同类对比,既包括跨模型对比(过去一年约 3 倍到约 52 倍),也包括与熟练人类的对比(在同一任务上四到八小时内约 4 倍)。
- 为了检查评审偏差,我们在另一组 127 个时刻上运行了同样的测试,这些时刻中人类的下一步行动已经很强(而原始集合中人类的方向还有改进空间)。在那里,模型的建议仅在约 20% 的情况下被评为更好。
* 本文中引用的 Anthropic 员工言论来自内部讨论,并经许可使用。它们反映的是截至 2026 年 5 月的个人观点,而非公司官方立场。
来源:Anthropic:The Institute · anthropic.com