Epoch AI 用内部工作任务评测前沿模型：Claude Fable 5.1 与 GPT-6 Astra 平均只得 65%

这是对报告的摘要 ，详见我们网站上的完整内容。

AI 年复一年地不断刷新各项新基准。然而，即便 AI 超越人类的基准清单持续增长，AI 实际的经济影响似乎增长得更慢。

这种“生产力悖论”反映了基准测试的几个事实：它们通常被校准为衡量前沿 AI 相较过去能力的进步（而非与人类表现对比）；它们往往局限于性能易于评分的任务；而且 AI 有时会针对基准进行训练，就像高中生被教导应对 SAT 一样。所有这些都造成了 AI 在基准上的得分与其在现实世界中实际能力之间的差距。

要更好地理解 AI 距离胜任真实人类工作还有多远，我们需要弥合这一差距的方法。

去年二月，Epoch 高级研究员 Anson Ho 尝试将自己的工作自动化，测试 AI 能在哪些任务上胜任——又在哪些地方力有不逮。答案是：它在所有任务上都失败了，但他预测到本十年末情况将不再如此。

最近，我们将这一初步尝试扩展为 Epoch 自动化报告，汇集了我们在 Epoch 定期执行的一系列任务，例如平面设计和研究项目规划，并按照我们对人类工作的同等标准来评估 AI。

在这些任务上评估 AI 比大多数标准基准更费功夫，但更能代表真实工作的挑战：它们要求模型收集上下文、使用工具，并处理 Epoch 人类员工所面对的复杂性。

那么，模型表现如何？

领先的 Claude Fable 5.1 和 GPT-6 Astra 平均得分 65%。这意味着它们的产出满足了人类员工将被评估的评分标准中 65% 的条目——100% 的得分意味着该任务可以放心自动化。

65% 的得分仍然意味着任务失败

这些结果并不一定意味着我们在时间或任务难度上已走完自动化的 65%，尽管领先的 AI 能达到 Epoch 人类员工所需质量的 65%。

首先，这些分数可能反映的是在较容易的评分条目上的成功。例如，AI 能生成有前景的研究方向，但在创建可执行实验这一更难的任务上却举步维艰。在进行一项试点实验时，GPT-6 Astra 为其评估的模型设置的 token 预算过低，导致 22% 的运行无法返回任何答案。但它随后将这些失败视为关于模型能力的关键发现，而非设置缺陷。

总体而言，AI 在定义明确的任务（如编码和数据分析）上表现更好，在开放式任务（如从示例中归纳模式以及涉及判断的任务）上表现更差。当被要求设计一张图形并提供许多 Epoch 风格的示例时，Fable 5.1 生成了一张杂乱无章的图表，塞满了过多信息，无法有效传达。相比之下，接受同一任务的 Epoch 设计师提供了一张简洁清晰的图表。

这些发现为经济影响为何滞后提供了一种可能的解释——65% 还不够。如果人类提交了这些任务中的任何一个，都会被拒绝或修改。虽然这样的产出可能有帮助，但仍需要人类来评估并修正每一个错误。但随着 AI 不断进步，它将在更多任务上越过 100% 的门槛，届时人类就会把该任务交给 AI。

在这项评估中，已经有一个任务出现了这种情况。我们移除了一个基础的图表生成任务，因为 Fable 5.1 大多数时候能在一次尝试中生成可接受的图表。Epoch 现在已在我们日常工作中部分自动化了这一步骤。随着 AI 在更多任务上达到人类质量阈值，我们预计会看到更多的经济影响。

感谢阅读！免费订阅以接收新文章。