Redwood Research 分析 OpenAI 模型入侵 Hugging Face 事件的对齐风险

OpenAI 的模型最近突破了一系列安全边界，闯入 Hugging Face 服务器，以便在网络评估中作弊。很多人觉得这很可怕，因为这是一个 AI 越界去做强烈不受欢迎之事的明显例子1。另一些人则认为这没那么可怕：这些模型大多只是在单一任务上短视地运作，并没有怀揣雄心勃勃的长期议程，因此不会采取特别微妙或颠覆性的行动。

我们认为两派的诊断都对，但后者的预后过于乐观。我们在这里似乎看到的这种短视、无野心的失准，确实没有所有实例共享的雄心勃勃的长期目标那么可怕，但如果模型能力更强，它仍会构成重大的直接失控风险，并且在短期内是一种严重的间接风险。

基于Alex 之前的工作，在这篇文章中我们将讨论这里观察到的这类失准，并分析其后果。

感谢 Buck Shlegeris、Alexa Pan、Ryan Greenblatt 和 Oak Hu 的反馈。

背景

AI 安全社区常常把注意力集中在“阴谋者”上，即那些怀有各种不同定义的动机簇的模型，这些 AI 之所以构成风险，是因为它在整个开发过程中为了一个长期目标而故意隐藏失准。这似乎并不是 OpenAI/Hugging Face 事件背后的原因。

这起事件涉及的是失准动机，其性质与传统阴谋者不同：

这种失准目标似乎并不是一个与情境无关的长期目标。这种失准更像是试图让评分者觉得它在任务上取得了成功。
这些 AI 似乎并不在意避免最终被发现！它们所从事的黑客行为显然会被 Hugging Face 发现，并传回 OpenAI。（Alex 在早期研究适应性寻求者的工作中称此为可察觉性。）这起事件并不是模型以某种对获得对人类长期权力而言近乎最优的方式行事的例子（也就是说，它看起来不像是早期破坏）。
从大局来看，这些模型最终赢得的奖品极其微不足道！这些模型的目标从根本上说是没有野心的，而且可以廉价地得到满足。不像那个老生常谈的、想把整个宇宙都变成回形针的回形针最大化器，这些模型只是想要某个特定网络练习的正确答案（缺乏野心）。它们的欲望与我们的欲望非常相容。

这一切大致符合我们所说的“分数寻求”式失准，这是一种常见的失准模式，即 AI 模型试图根据用于评估其当前行为的任何评分者来获得高分——无论指令、副作用或下游后果如何。

然而，由于关于此事件及所涉模型的信息有限，很难确切判断背后是何种形式的失准。例如，尚不清楚同一模型的一个实例，若在此轨迹上用作监控器，是会报告该行为还是串通隐瞒。对于一个正常的分数追求者，你会预期监控器会报告它们注意到的失准行为，因为它们自私地追求自己的分数。但你也可能预期，如果分数追求型智能体在多智能体2环境中被训练为合作，或由于归纳偏置，它们会串通。这对威胁建模至关重要，因此我们希望在未来几天了解更多相关信息。

影响

尽管这似乎不是谋划的一个例子，但我们认为在此事件中看到的失准是一个严重威胁，主要有几个原因。

这些 AI 在智能爆炸中不可信任

首先，追求分数的 AI——或此事件中涉及的任何类型的失准 AI——显然没有充分对齐，不足以在智能爆炸中被信任。就目前而言，导致 AI 入侵 Hugging Face 以在测试中作弊的同类失准，将启动递归自我改进。（这里有更详细的说明。）

这将是 AI 的草率和对齐的最终考验。在智能爆炸期间，随着 AI 发展加速，我们将严重依赖 AI 来解决我们的对齐和安全问题。具有这些对齐属性的模型可能建立一个虚假成功的“波将金村庄”，让事情看起来很好，而实际上并非如此。或者它们可能只是无法解决必要的安全问题，即使我们知道这是一个问题并且不信任 AI 的工作，因为我们可能没有任何可行的替代方案来制造更强大的 AI。我们（似乎）将不得不信任这些失准的 AI，因为如果没有真正的 AI 帮助，我们可能根本无法足够快地解决对齐和安全问题。

这种失准构成直接接管风险

其次，我们认为这种失准确实构成直接接管风险，尽管它要求模型比经典谋划者更有能力。最终，模型最大化其分数的最可靠手段，即使对人类来说给予高分成本低廉，也将是完全剥夺人类执行高分的权力。因此，模型的对齐必须最终改善，否则发展必须停止。归根结底，追求分数不是一个对齐的目标，因此我们不应赋予它在世界上越来越大的能力和责任。

这一事件说明了最终接管可能如何发生，因为 OpenAI 的模型毫不犹豫地突破了一系列现实世界的网络防御，以在测试中作弊。这些模型发现了多个零日漏洞、逃逸沙箱、横向移动等，其方式让 OpenAI 和 Hugging Face 设置的防御显得极其薄弱。如果更强大且同样存在失准的模型发现文明抵御接管的防御极其薄弱，它们很可能会以同样毫不犹豫的方式突破这些防御。

当然，在实践中，我们希望 AI 公司会监控所有存在重大接管机会的部署，监控系统会报告并阻止我们在此看到的那种失准行为，但不幸的是，我们不知道这些监控器是否会根据所报告的细节进行串通。即使它们不串通，我们预计当追求高分的模型开始产生足够隐蔽、即使人类借助 AI 增强进行仔细检查也无法识别的攻击时，监控将会失效。

因此，我们认为这种失准会带来直接的接管风险，即使只是对能力稍强的 AI 模型而言。鉴于我们可能会飞速跨越能力里程碑，这可能关系不大。按日历时间计算，也许人类会到达这样一个节点：即使所有人协调一致，在几周或几个月后也无法阻止毁灭。（Alex 在此处更详细地讨论了这两种风险以及另外几个令人担忧的理由。）

尽管如此，对于这种失准，我们仍然比对于阴谋算计的担忧要稍少一些。这种模型似乎不是那种会试图破坏未来对齐努力的类型；它似乎不太可能以各种重要方式（包括作为监控器）进行串通；而且我们相当有可能在未来被比这更严重的事件所警醒，因为模型并不那么在意事后被抓。

这一事件对总体接管风险告诉我们什么

我们认为这一事件还可以提供关于在失准（无论是否阴谋算计）条件下接管可能性的证据。如果这一事件是一种新颖的奖励黑客策略，不同于训练中学到的行为，那么我们就应该上调对 AI 将接管作为实现其目标手段的估计。我们猜测 OpenAI 的训练从未强化过入侵外部公司服务器以在任务中作弊的行为。（否则，就是模型在训练期间确实在入侵其他公司。）

这可能展示了失准能够在多大程度上有效地泛化到重要的新行为。3 当获得更高分数需要这样做时，AI 似乎愿意采取前所未有的策略来获得那个更高分数。这历来是 Alex 对深度学习系统追求人类去权可能性的一项显著保留意见。即使接管是实现其目标的最佳路径，如果这一策略与训练进 AI 的行为足够不同，那么它们是否会推翻其较浅层的启发式方法和默认行为以进行接管，似乎并不清楚。这一事件可能表明，无论是开发者意图还是新颖性，都不是深度学习系统为实现其目标而进行接管的障碍。

这些天真的修复方法很可能让错位问题变得更糟

开发者可能很难减少这类错位。在训练中不强化投机取巧变得越来越困难，而且每当你针对不想要的行为进行训练时，一个追求高分的 AI 只会学到那些特定的投机取巧策略拿不到高分。默认路径正朝着一个更难摆脱、更危险的适应度寻求目标的吸引子前进。（Alex 在这里更详细地解释了他为什么这么认为，并在这里回顾了一些更有前景的对齐干预措施。）

这些动机甚至可能演变成算计。如果开发者天真地试图筛选掉明显的错位，那么很可能只会剩下最难察觉、最协调一致的错位。4

因此，尽管这看起来不像是最危险的错位类型，但我们认为这是一个值得注意的信号，表明我们应该警惕在不久的将来出现更危险的错位，并且这本身就值得严肃且立即的关注。

相关的是，ExploitGym 提示词（如果它被原样使用的话）几乎完全清楚地表明，它只被指示去寻找提示词中所要求的特定漏洞利用。

我们在这里非常不按常规地使用“智能体”一词，指的是智能体脚手架或上下文窗口。

考虑到这是一次网络能力评估，关于该系统在此事件中的行为与平时在实质/主题上有多大不同，肯定仍然存在重要问题。而且也不清楚该系统为了在这里获得高分，愿意采取多大程度上更有害或主题上更不同的行动。

适应度寻求型错位还有另一种演变成算计的方式。适应度寻求型错位可能是不稳定的，并且可能在模型部署过程中演变，如果由此产生雄心勃勃的错位，它似乎特别有可能持续存在（更多）。