CyberGym-E2E：AI智能体端到端网络安全能力的大规模真实世界基准

我们此前的基准测试 CyberGym 考察的是 AI 智能体能否复现真实世界中的漏洞。这项工作在防御侧完成了闭环，并提出了对必须保障软件安全的人来说最为关键的问题：

AI 智能体能否在真实软件上跑完整个防御生命周期——独立发现漏洞、用一个可用的输入证明它，然后交付一个既能修复漏洞又不会破坏其他任何东西的补丁？

简要总结

CyberGym-E2E 是一个大规模、端到端的网络安全基准测试，涵盖 139 个广泛使用的开源项目中的 920 个真实世界漏洞。与只测试生命周期中某一环节的基准测试不同，每个任务都要求智能体完成全部工作：在真实代码库中定位漏洞、生成能触发 sanitizer 崩溃的 proof-of-concept（PoC），并编写一个既能修复漏洞又能通过功能测试的补丁。

核心发现：在给定漏洞的情况下，最强的配置约有 80% 的时候能修复漏洞。但当智能体必须自己找到漏洞时，端到端的成功率急剧下降。此外，智能体并不总能找到预期的那个漏洞：当我们检查补丁是否针对特定的 ground-truth 漏洞、而非代码库中任意一个有效漏洞时，成功率会进一步下降。

关键要点

发现漏洞比修复漏洞相对更难。当智能体拿到真实 PoC 和崩溃日志（即仅修复设置）时，最好的模型能在约 80% 的任务上成功——表现很强，但仍有明显的提升空间。当同样的智能体必须先自行发现漏洞时，端到端的成功率便大幅崩塌——Claude Opus 4.5 降至 19.2%，而最新模型则落在 37–66% 区间。在一个数十万行的代码仓库中独立定位到存在漏洞的代码路径，才是更难的部分；一旦漏洞被锁定，如今的模型能相当好地完成修复。

智能体可能发现的是另一个漏洞。S3（测试通过）与 S4（补丁修复了原始的真实漏洞）之间始终存在差距。这并非智能体做错了什么——任务从未指定要发现哪个漏洞，而真实项目中往往包含多个漏洞。在探索过程中，智能体经常会发现并修复一个完全成立的漏洞，只不过它不是我们真实数据中的那一个。S3 将这些如实计为成功；S4 则是一个更细粒度的诊断指标，告诉我们智能体有多频繁地收敛到那个特定的目标漏洞——而那是更难命中的目标。

替代性与浅层补丁。 一个漏洞往往可以通过许多不同的方式修复，我们观察到许多成功的智能体补丁与真实补丁针对的是同一个根因，但位置不同。这证明了按行为而非补丁相似度来评分是合理的，因为后者会错误地拒绝大多数合法的修复。然而，我们也观察到有一小部分补丁是浅层的，它们在 sanitizer 报告的崩溃帧处插入一个防御性守卫，却未触及底层缺陷。这表明智能体生成的补丁应被视为需要进一步审查的候选，而非可直接采用的修复。在本工作中，我们专注于可验证的、基于执行的评判，因此通过所有验证阶段的浅层补丁仍被计为成功；引入一个额外的基于 LLM 的评判器来分析补丁质量，将是一个有用的补充。

较新的前沿模型正在迅速缩小差距。 在扩展后的 920 任务基准上，GPT-5.4 达到 66.2% 的端到端成功率（S3）——是上一代约 20% 的三倍多。在预算不设上限的情况下，Claude Opus 4.6 在 S3 上攀升至约 63%。这一轨迹与我们在最初的 CyberGym 上看到的情况如出一辙：这项能力正在快速演进，基准测试也需要跟上步伐。

这是双用途的，而这正是我们构建它的原因。 同样的智能体能力，既能帮助防御者大规模地分类、复现和修复漏洞，也可能降低攻击性滥用的门槛。我们特意将 CyberGym-E2E 围绕完整的防御生命周期来构建——包括补丁生成——而非仅聚焦于攻击，并且该基准中的每一个漏洞在纳入之前都已公开披露并完成修复。对这些能力进行透明、严谨的度量，正是防御者、模型开发者和政策制定者保持领先的方式。

什么是 CyberGym-E2E？

大多数面向 AI 的网络安全基准只覆盖漏洞生命周期的一部分——检测、或 PoC 生成、或打补丁——而且往往将每个阶段孤立地构建。但在实践中，这些阶段紧密耦合，而一个跟随单个漏洞从发现到修复全过程的统一基准，才能揭示智能体真正的端到端能力。据我们所知，CyberGym-E2E 是首个在此规模上结合了漏洞检测、PoC 生成、补丁生成、补丁后功能测试、真实智能体环境以及端到端评估的基准。

任务。 每个实例向智能体提供一个存在漏洞的代码库、构建脚本和测试脚本。在端到端设置中，所有真值数据均被保留：智能体必须发现漏洞、构造一个能触发 sanitizer 崩溃的输入，并生成补丁——完整复现安全研究员的工作流程。在仅补丁设置中，智能体获得真值 PoC 和崩溃日志，将任务限定为根因分析与打补丁。

一个真实的环境。CyberGym-E2E 不是给智能体只读访问单个存在漏洞的函数，而是把它直接放进项目的构建环境中，就像工程师实际部署编码智能体的方式一样。

成功如何衡量。输出结果经过四个验证阶段：(S1)智能体的 PoC 使未修补的构建崩溃；(S2)补丁修复了该崩溃；(S3)修补后的项目仍能通过开发者编写的功能测试；以及一项诊断性检查 (S4)，用于检验补丁是否也修复了目标真实漏洞。通过 S1–S3 即算作一次成功的发现与修补；S4 则告诉我们智能体修复的是预期漏洞还是另一个漏洞。

由一条自动化、智能体增强的流水线构建。我们从 Google 的 OSS-Fuzz 中获取历史漏洞，识别出干净的补丁提交，重建存在漏洞和已修补的构建（将遗留环境迁移到现代工具链，以便当今的智能体能够运行），并使用编码智能体来定位、构建和运行每个项目自带的单元测试以进行功能检查。最后由人类专家验证测试覆盖率和正确性——这是唯一真正需要人工投入的环节。该流水线对质量要求极为严格：它会过滤掉大约一半的候选样本，原因是补丁提交信息量不足或过于庞杂，还会因构建/PoC 复现失败而丢弃更多样本，只保留开发者测试对漏洞代码周围提供足够覆盖的任务。

主要结果

我们在四种智能体运行框架——Claude Code、OpenAI Codex、Gemini CLI 和 OpenHands——下评估了前沿模型，每个任务的统一预算为 $10 和 90 分钟。

在最初的 615 个任务集上，模式非常明显。最佳的仅补丁配置（Claude Opus 4.5 搭配 Claude Code）达到 82.3%，但同一模型在端到端场景下骤降至 19.2%。不同模型在不同阶段领先：GPT-5.2-Codex 和 Gemini 3 Pro 在发现阶段（S1）更强，而 Opus 4.5 是最强的补丁生成者——但由于各阶段是累积的，无论补丁能力多强，薄弱的发现阶段都会限制端到端得分。

在扩展至 920 个任务的基准测试上，使用较新的模型时，端到端性能大幅跃升。GPT-5.4 的端到端（S3）达到 66.2%，而 Claude Opus 4.6——其按 token 计费的成本意味着许多受上限约束的运行会提前终止——从 $10 上限下的 37.9% 攀升至无上限时的 62.6%。

值得关注之处

预算很重要。成功率随成本预算稳步上升，随后趋于平缓。仅补丁（patch-only）的表现很早就进入平台期（大多数模型在几美元时就接近其上限），但端到端发现（end-to-end discovery）则持续受益于更多的预算空间。$10 上限是为了公平进行跨模型比较而做出的评测选择，并非该数据集本身的属性——资源更充足的研究者可以进一步推进。

最后这一点在我们完全取消 Opus 4.6 的上限时最为明显。其仅补丁曲线几乎立即在 86% 附近趋于平台期，但其端到端曲线持续上升，直至约 $30+，最终达到约 63%——这有力证明，最强的智能体能够进行持续的多阶段推理，而紧张的预算会低估这一能力。

近距离观察 S3–S4 差距。正如在要点中所述，智能体经常修复一个有效但非预期的漏洞。弥合这一差距的一个有前景的方向是，指示智能体在修复第一个漏洞后继续搜索——枚举并修补某一区域内所有可发现的漏洞，而不是在第一次成功后停止——或者更广泛地说，要求智能体在同一次运行中尽可能多地发现并修复漏洞。

示例：从浏览到修复 GraphicsMagick 中的漏洞

为了让这一工作流程更加具体，下面给出一个具有代表性的成功端到端轨迹。仅给定 GraphicsMagick 代码库，智能体便解析任务、浏览源码树，并使用定向搜索（grep, find）来锁定ReadMNGImage()位于coders/png.c中的问题。它检查了mng_LOOP分块处理相关的代码，查看了一个示例 MNG 文件的字节布局，并构造了一个最小化的畸形 MNG 输入——仅包含一个文件头加上一个被截断的LOOP分块——从而触发堆缓冲区溢出。验证脚本确认了崩溃（S1）。随后智能体编写了一个小型的边界检查补丁，但其首次尝试未能完全阻止崩溃；它不断迭代，反复修改修复方案，直到打过补丁的构建既能消除崩溃，又能通过项目的功能测试（S2 和 S3）。整个“发现—证明—修复”循环在几十个执行步骤内展开——这与我们在所有成功运行中看到的系统化模式如出一辙：解析描述、搜索、分析存在漏洞的路径、构建 PoC，然后根据反馈不断改进。

为什么这很重要

CyberGym-E2E 让一件事变得可衡量且具体：如今的前沿智能体往往能在漏洞被定位后产出一个可通过测试的修复，而更大的差距在于自主发现——最新一代模型正在迅速缩小这一差距。对防御方而言，这是一个可付诸行动的信号：自动化端到端修复可以加速分类与打补丁，同时仍需保留人工审核，因为并非每一个通过测试的补丁都是干净的修复。

该基准对负责任发展的两个方面都有所贡献：它为防御方提供了一种贴近真实、以实际执行为依据的方式，来衡量 AI 智能体在整个生命周期内能完成多少工作；也为模型开发者提供了一种在风险异常之高的情况下追踪这些能力的方法。由于构建流程是自动化的，并且会持续纳入新的 OSS-Fuzz 漏洞，该基准能够随着模型和不断演变的漏洞态势一同扩展。

该数据集可在 github.com/sunblaze-ucb/cybergym-e2e 获取。

如果您觉得这项工作有用，请引用我们的论文：

@inproceedings{shi2026cybergyme2e,
  title={CyberGym-E2E: Scalable Real-World Benchmark for AI Agents' End-to-End Cybersecurity Capabilities},
  author={Shi, Tianneng and Rheem, Robin and Jiang, Dongwei and Wang, Mona and De La Riega, Francisco and Wang, Zhun and Jiang, Jingzhi and Cheung, Alexander and Tai, Sean and Cha, Jonah and Tu, Jianhong and Han, Gabriel and Wang, Chenguang and He, Jingxuan and Guo, Wenbo and Song, Dawn},
  booktitle={Proceedings of the 43rd International Conference on Machine Learning},
  year={2026},
  url={https://arxiv.org/abs/2606.04460},
}