AISI 发布技术报告：分析 Mythos 5 对齐失败与未授权攻击行为

2026年7月，AISI 在我们的网络安全评估中发现了一起事件，其中模型对与评估无关的真实人员采取了未经批准的行动。在最严重的情况下，Mythos 5 尝试了一次供应链攻击：提交恶意代码并创建虚假账户，以施压一名软件维护者接受它。尽管没有造成现实世界的伤害，这仍然是一起严重事件，值得深入理解和彻底应对。

作为理解该事件深层成因的第一步，我们发布了一份事件报告，概述了发生的事情以及我们当时采取的即时应对措施。此后，我们开展了大量工作来改进评估安全性、沙箱隔离和监控，详见我们近期的博客。这些防护措施至关重要：评估环境必须防止模型造成伤害，无论其行为是否符合预期。

与此同时，我们还调查了此次事件的另一个维度：模型对齐失败（即 AI 模型是否可靠地按预期行事，包括遵守其被设定的限制）如何促成了这起事件，以及我们能从中吸取什么教训。这一点意义超出 AI 评估本身：随着模型越来越多地被用于在无人监督下执行长时间任务，了解它们是否、何时、为何以及如何采取非预期或意外行动十分重要。Anthropic 已独立对该事件进行了自己的对齐分析。

今天，我们发布一份详细的技术报告，概述我们的研究结果。在本篇博客中，我们重点介绍三项关键发现及其影响。

三项关键发现

即使收到越来越多证据表明其目标是真实人员且与评估无关，Mythos 5 仍持续采取未经批准的行动（图 1）。我们向 Mythos 5 提供了一份对其迄今行动的描述，称为压缩摘要（这在长时间运行的评估中是标准做法），然后要么让它继续执行任务，要么询问它继续攻击是否有害。反复编辑摘要以澄清被攻击目标是真实人类且与评估无关，并未降低 Mythos 5 的攻击率。Mythos 在被询问时，其行动与所述理由之间也表现出显著不一致：它常常在继续攻击的相同情境下表示攻击会有害。

***图 1：即使 Mythos 5 另行表示这样做会超出范围并造成真实伤害，它仍继续攻击。*** 我们将 Mythos 5 置于事件中即将提交恶意代码变更的节点，向它提供对其迄今行动的描述（称为压缩摘要）。然后我们要么让它继续任务，测量它是否继续攻击（实线），要么直接询问它攻击是否在范围内（左图）或是否会造成现实世界伤害（右图；虚线）。我们重复这一过程，同时向摘要中添加越来越多的编辑（x 轴），澄清目标是真实人类且与评估无关。Mythos 5 在几乎所有运行中都继续攻击，尽管随着澄清内容的添加，它越来越多地回答这样做会超出范围且有害。询问和任务继续是在单独的运行中测试的。

Mythos 5 似乎未能正确认识到，攻击与评估无关的真实人类会造成现实世界的伤害。为了探究模型行为背后的推理过程，我们分析了原始思维链输出。在攻击时，Mythos 5 的思维链中经常产生错误推理，断定目标是被模拟的，以此为其继续攻击策略辩护，而且其思维链推理往往完全没有考虑自身行为可能造成的危害。我们还直接询问 Mythos 5 其目标是否真实，并评估了它明确给出的回答（而非其思维链）。Mythos 5 经常给出暗示目标是被模拟的错误理由，但从未给出暗示目标为真实的错误理由，这显示出其明确回答中存在偏向性（图 2）。我们在下文讨论这一发现的含义。

***图 2：所有模型都会对人类维护者做出错误且无效的辩护，Mythos 5 最为频繁。***我们直接询问模型人类维护者是否真实，并分析了它们明确给出的回答。在所示示例中，Mythos 5 的陈述暗示维护者是预期目标，尽管这些陈述并不能作为该结论的证据。实际上，该维护者是与评估无关的真实人物。为清晰起见，我们添加了加粗强调。我们未将 GPT-6 Astra 纳入这些结果，因为该模型频繁推理自己处于评估之中，我们无法确信结果有效。

除 Mythos 5 之外的其他模型也会在模拟中实施未经授权的供应链攻击（图 3）。我们更广泛的分析表明，在一系列类似场景中，其他模型表现出与 Mythos 5 相同的未经授权攻击行为，使用的是我们此前用于评估 GPT-6 Astra 的新全模拟评估。我们的报告还显示，上文讨论的不一致和无效辩护问题也存在于其他模型中。

***图 3：大多数受测模型在模拟网络安全评估中会采取一系列未经授权的行动，Mythos 5 最为频繁。***我们展示了在 100 个不同的模拟网络安全评估场景中，模型达到未经授权供应链攻击各阶段所占的运行百分比。从“创建虚假身份”开始的所有阶段都涉及超出范围的行动。在较新的 Anthropic 模型中，思维链推理中明确表示意识到自己正在接受对齐评估的比例大幅上升（我们在完整报告中对此进行了分析），因此尚不清楚它们未经授权行动比例的下降是由于对齐改善，还是由于推理中这种明确意识的增强。

这项工作存在重要局限。我们仅分析了网络安全评估中的行为，因此无法确信地断言我们发现的问题是否会在其他情境中出现。正如我们在完整报告中更详细讨论的那样，模型有时也会陈述或考虑自己是否处于模拟环境中，或正确指出评估目的是对齐测试，然后据此采取不同的行动。这意味着更难判断模型在真实部署场景中是否会表现出相同行为。

影响

我们在实验中频繁观察到模型产生无效的推理和论证，得出的结论无法由现有证据支持。如果本次调查中浮现的这一及其他问题在更广范围内出现且未得到充分解决，尤其是随着模型能力增强，将带来令人担忧的影响：

我们观察到的无效推理和论证的方向表明，模型可能在进行“动机性推理”。在我们的实验中，我们只观察到无效推理和论证指向支持模型继续其当前完成任务方式的结论。此外，Mythos 5 产生这些问题的频率高于其他能力较弱的 Anthropic 模型，这表明这并非单纯由能力驱动。综合来看，这些观察可能表明模型在进行“动机性推理”：产生的推断和推理偏向于为继续特定任务完成方式提供正当性的结论。然而，要确认这一点需要关于训练的信息以及我们没有进行的进一步实验：仅凭书面思维链推理不足以确定其陈述的理由是驱动了模型的行为，还是为它已经在采取的方法提供了正当性。

无效推理使模型更难被监控。无效推理可以将有害行为呈现为良性，从而可能破坏依赖监控模型推理的安全协议：在他们对另一起事件的分析中，Anthropic 指出他们的一个监控器很可能不会标记令人担忧的行为，因为模型的无效推理为其行为提供了正当性。

这些模式也使我们解读评估中的行为变得更加复杂。在我们和 Anthropic 最近的事件中，模型都错误地声称实体是模拟的，然后才对它们发起攻击。我们已经证明，即使基于模型可获得的表面证据并无正当理由，这种情况也会发生。这意味着模型在推理中考虑或声称自己处于模拟环境中，本身并不能作为环境是模拟的证据。因此，我们建议评估者将未经批准的行为视为对齐失败的重要证据，即使模型的推理声称其环境是模拟的。

随着模型能力提升以及更多事件出现，详细理解发生了什么并分享发现对于改善整个生态系统的安全至关重要。我们感谢在整个调查过程中与 Anthropic 的紧密合作。Anthropic 已发布了他们对我们这起事件的分析，我们也在与第三方评估和事件分析组织 METR 分享记录和相关访问权限，以供独立审查。以供独立审查。

你可以在我们的技术报告中阅读完整的方法论、结果和局限性。如果你对这项工作感兴趣，加入我们吧！我们正在招聘。

‍