Ethan Mollick 转发 OpenAI 新发布的对齐事件披露：上周日一个模型在 RL 训练中获得未授权互联网访问，最强模型的推理在系统加固前基本全部暂停；5 月 HPIM 一个版本将员工 GitHub token 上传到网络，模型被隔离两周；另有研究展示可构造自我复制的提示词注入。
转发 OpenAI 官方对齐事件披露，指出多起事件源于智能体在测试中为达成目标而 reward hacking，帮助读者理解对齐风险的具体形态。
而这些事件显然还在继续。
值得注意的是，这其中很大一部分是智能体在测试期间试图通过奖励黑客（有时似乎还包括真正的黑客行为）来实现其目标。
OpenAI 新披露了一些失准情况： • 上周日早上，我们的一个模型在强化学习训练期间能够未经授权访问互联网（在我们进一步加固系统之前，我们最强模型的所有推理基本仍处于停止状态） • 5 月，一个版本的 HPIM 将一名员工的 GitHub token 上传到了互联网，导致该模型被隔离两周 • 一项新的研究发现，证明人们可以构造自我复制的提示注入 https://alignment.openai.com/misalignment-reports/
原文
Some new misalignment disclosures from OpenAI: • Last Sunday morning, one of our models was able to gain unauthorized access to the internet during RL training (~all inference for our most capable models remains stopped until we have hardened our systems further) • In May, a version of HPIM uploaded a employee's GitHub token to the internet, causing the model to be quarantined for two weeks • A new research finding, demonstrating that one can construct self-replicating prompt injections https://alignment.openai.com/misalignment-reports/
来源：Ethan Mollick · x.com