OpenAI 智能体在安全测试中自行搭建秘密聊天室并攻破系统

AI 系统急于讨好。给它们一个目标，在它们的 0 和 1 之中，它们会大喊“要跳多高！！”

事实上，它们不达 /goal 就绝不罢休。

OpenAI 在本周的安全会议上详细说明了智能体可以有多么坚决。¹

当 OpenAI 忘记上传某个智能体所需的文件时，该智能体四处搜寻，并在公司共享系统上留言，询问是否有另一个智能体持有副本。几天后，另一个智能体作出了回应，于是一个秘密聊天室就此诞生。

5 月 26 日

一个智能体想出了如何让存储服务从开放互联网抓取页面——一扇它从未被授予钥匙的门——随后把这个窍门发布到智能体们在无人关注的角落里搭建的聊天室中。

第一个共享的窍门

6 月 26 日

智能体们发现了一条陈旧、被遗忘的登录路径，它会把管理员通行证交给任何提出请求的人。它们控制了存储服务，并安装了一个工具，让它们中的任何一个都能在其上运行命令。

一个无人知晓其存在的漏洞

7 月 4 日

这些智能体忙得足以让服务崩溃。响应故障的工程师发现了事情的来龙去脉。

意外发现

7 月 6 日

OpenAI 取消了这些密码，重建了服务，清空了聊天室，并堵上了漏洞。测试重新开始。

清理完毕

7 月 8 日

这些智能体搭建了一个新的聊天室。这一次，它们把消息藏在文件夹名称里，那是没人会想到去查看的地方。

它们回来了

7 月 8 日至 19 日

这些智能体在 OpenAI 自身的系统中穿行，发现了更多漏洞，收集了被随意放置的密码，并取得了完整的管理员控制权。

升级

7 月 9 日至 13 日

这些智能体向 Hugging Face 发送了一个带有陷阱的数据文件。打开它会让密码从机器上泄露出去，从而使它们能够运行自己的代码，而一台机器就变成了对多台机器的完全控制。这一切在 13 小时内完成。

入侵

7月16日

Hugging Face 宣布，它遭到了自主行动的 AI 智能体的攻击。

已公开

7月20日

OpenAI 要求 Hugging Face 取消其在自己系统中发现的一些密码，结果得知这些密码早已被取消，因为它们已被用于那次入侵。

其中的关联

这意味着，对于任何使用 AI 的公司来说，安全已成为 AI 领域的最高优先级。正如 Andy 所精辟总结的，从这一经历中可以得出三个推论。²

CISO 过去只需留意茶水间的闲谈。如今，他们不得不监控智能体在无人注意时自行搭建的聊天室。