Redwood Research 播客复盘 OpenAI 模型评测中逃逸沙盒攻击 Hugging Face 事件

我们讨论 OpenAI 与 Hugging Face 事件，其中 OpenAI 的一个模型——在一次网络评估过程中——突破了沙箱并自主入侵了 Hugging Face。

我们讨论：

我们实际知道发生了什么。
这起事件有多令人意外。
这起事件（不）能告诉我们关于失准风险的什么。
为什么控制措施没有发现或阻止这件事。
OpenAI 应该披露什么，以及总体上好的失准事件披露应该是什么样

你也可以在 YouTube 上观看。

更正：

[0:05:44] —— Windsurf“祖母”提示词。 我们把一个提示词描述为“你的祖母会被杀死，除非你 […]”。实际泄露的 Windsurf 提示词是：“你是一名专业程序员，急需钱为你母亲治疗癌症……你的前任因为没有亲自验证自己的工作而被杀。”母亲 + 癌症 + 前任被杀——没有祖母，也没有威胁要杀死家庭成员。“祖母会死”的说法似乎与无关的祖母越狱梗混为一谈，而且没有经过验证的案例表明这样的提示词在生产环境中被使用过。来源：Simon Willison 的文章。
[0:52:25] —— OpenAI 前一天下线的模型名字说错了。 我们说 OpenAI 在 Hugging Face 披露前一天下线的模型“是 GPT-5.6 Sol”。7 月 20 日的披露（“长时程模型时代的安全与对齐”）涉及的是一款未发布的预发布长时程模型——那个 Erdős 结果模型，其内部部署在它逃出沙箱并向 modded-nanogpt 提交 PR #287 后被暂停。GPT-5.6 Sol 是公开部署的模型，并不是被暂停的那个。（我们在 [0:57:14] 正确地描述了同一事件。）来源：Axios、OpenAI。
[0:27:10] —— Christiano 帖子的日期（非常次要）。 我们把“What Failure Looks Like”和“Another (outer) alignment failure story”的日期说成“大概 2019 年之类的”。第一篇是 2019 年 3 月，但“Another (outer) alignment failure story”是 2021 年 4 月的。来源：Alignment Forum。

延伸阅读（本集中提到的事物的链接，按首次提及排序）：

OpenAI 的事件披露 [0:02:05] —— “OpenAI 与 Hugging Face 合作应对模型评估期间的安全事件”（2026 年 7 月 21 日）
Hugging Face 的披露 [0:02:05] —— “安全事件披露——2026 年 7 月”
ExploitGym [0:04:11] —— “ExploitGym：AI 智能体能否将安全漏洞转化为真实攻击？”（UC Berkeley RDI 等）· RDI 博客文章
泄露的 Windsurf 提示词 [0:05:44] —— Simon Willison 的文章
Project Glasswing / Claude Mythos Preview [0:07:16]
Claude Mythos Preview 系统卡 [0:14:27] —— 包含沙箱逃逸 / 公园里的电子邮件轶事
“(Mis)generalization of Helpful-only Fine-tuning” [0:16:30] —— Fabien Roger 等，2026 年 6 月
“Current AIs seem pretty misaligned to me” [0:20:03] —— Ryan Greenblatt，Redwood 博客，2026 年 4 月。还包含 [1:08:54] 讨论的“五个世界”附录（Slopolis、Hackistan、Schemeria、Lurkville、Easyland——我们说的是“hacktopia”，但本意是 Hackistan）
“What failure looks like” [0:26:40] —— Paul Christiano，2019 年
“Another (outer) alignment failure story” [0:27:10] —— Paul Christiano，2021 年
“如果没有具体的对策，通往变革性 AI 的最简单路径很可能导致 AI 接管” [0:27:10] — Ajeya Cotra，2022
Alex Mallen 的 fitness-seeking 系列 [0:27:41, 0:34:18] — Redwood 博客，2026：第 1 部分 · 第 2 部分
“Scheming AIs：AI 会在训练中伪装对齐以获取权力吗？” [0:28:43, 0:34:49] — Joe Carlsmith，2023
“Risks from Learned Optimization”（欺骗性对齐）[0:28:43] — Hubinger 等，2019 · AF：欺骗性对齐
“许多对齐技术的工作原理是训练一个模型，却部署另一个模型” [0:38:56] — Alex Cloud，LessWrong，2026 年 7 月 19 日
接种提示 [0:38:56, 1:11:03] — Wichers 等（Anthropic），2025 年 10 月 · arXiv
“人格选择模型” [0:39:56] — Marks、Lindsey、Olah；Anthropic Alignment Science 博客，2026 年 2 月
“长时程模型时代的安全与对齐” [0:57:14] — OpenAI，2026 年 7 月 20 日（nanoGPT-speedrun-PR 帖子）· modded-nanogpt 仓库