Google DeepMind 宣布投入 1000 万美元资助多智能体AI安全研究

Google DeepMind、Schmidt Sciences、Cooperative AI Foundation、ARIA 和 Google.org

为多智能体世界扩展 AI 安全研究

过去十年，我们一直专注于让单个 AI 模型更强大、更有用、更安全。今天，Google DeepMind——与 Schmidt Sciences、Cooperative AI Foundation、Advanced Research and Invention Agency 合作，并由 Google.org 支持——宣布面向全球研究人员发起一项最高达 1000 万美元的新技术研究资助计划。

随着 AI 技术不断扩展，我们正在迈入一个新时代。不久之后，数以百万计的 AI 智能体——由不同组织构建——将在数字环境中相互交互，彼此通信、协商和交易。

当这些系统相互交互时，它们必须以安全和可预测的方式进行。这一转变带来了一个关键机遇：我们可以从一开始就加强整个 AI 生态系统的安全性与稳定性。

本次资助计划聚焦于研究大规模多智能体 AI 系统作为群体时的行为方式，以及我们如何提供框架来理解和缓解潜在风险。通过赋能全球研究人员，我们希望解决独立系统在不同网络之间交互时产生的“隐形”安全风险。

智能体生态系统为何重要

当大量 AI 智能体相互交互时，可能会突然涌现出新的集体行为与能力。目前，我们缺乏预测、测量和监测这些转变的工具。大多数安全评估都是孤立地分析模型。然而，正如我们和其他研究者此前所论述的，相互作用的自主智能体可能产生难以预料的复杂“涌现”行为。

由于这是一个全新的研究领域，理解这些转变如何发生至关重要。例如，它们是否会引发不可预测的经济活动激增，或带来新的安全挑战？理解如何管理这些系统级行为是我们的核心目标。

尽管多智能体安全的基础框架已经存在，但这些系统的快速演进要求立即开展大规模的研究扩展。

我们的 2025 年研究建立了一个理解这些交互的框架，而我们近期关于 AI Agent Traps 的工作则探讨了智能体在对抗性环境中面临的脆弱性。现在，我们必须加快步伐。我们正处于一个关键节点：多智能体交互的复杂度正在超越现有安全模型的能力。

本次资助计划旨在通过支持一个由独立研究者组成的全球网络来加速进展。一个多元化的社区对于确保安全标准对所有人透明且稳健至关重要。

这项工作也推进了 Schmidt Sciences 的可信 AI 科学（Science of Trustworthy AI）和AI 智能体（AI Agents）计划的使命，这些计划支持对前沿 AI 系统风险的理解与缓解的基础性研究，同时也推进了 ARIA 的扩展信任（Scaling Trust）计划，该计划旨在解锁网络-物理多智能体协调的新形式。

没有任何一个实验室能够独自解决多智能体安全问题。我们诚邀学术界和独立研究者围绕以下四个优先领域提交提案：

沙盒与测试平台：构建真实、可复现的环境，用于评估、比较并加速多智能体安全各领域的进展。这包括虚拟市场、模拟生态系统和多组织工作流。
智能体网络的科学：理解相互作用的智能体群体中与安全相关的特性，包括研究集体能力如何涌现和扩展、网络如何失效或变得不稳定，以及如何检测危险且意料之外的群体级特性。
强化智能体基础设施：对身份、声誉与承诺协议进行压力测试，以实现安全的跨平台智能体交互。
监督与控制：开发用于监控已部署智能体群体并在大规模上减轻集体性危害的方法。

我们诚邀研究人员查阅我们的提案征集（call for proposals），与我们携手为多智能体未来构建安全基础。

申请截止日期为 2026 年 8 月 8 日，获奖者预计将于 2026 年秋季公布。

有关技术要求和申请流程的更多详情，请访问我们的申请门户。