OpenAI 发布 Deployment Simulation 方法：通过模拟部署预测模型发布前行为

利用真实的对话上下文，在发布前更好地估计模型的不当行为。

引言

在发布新模型之前，实验室不仅需要了解模型能做什么，还需要了解它在真实世界使用中可能表现出怎样的行为，包括它可能在哪些方面引入新的风险。随着模型能力的提升，这一点变得愈发重要。作为部署前安全审查的一部分，我们利用针对性评估、红队测试以及其他检查手段来了解模型行为。如今，我们已开始使用一种在部署发生之前对其进行模拟的方法，这提供了一种互补的信号：在候选模型触达用户之前，对其可能表现出的行为进行类似部署的预览。

部署模拟是一种在部署发生之前对其进行模拟的方法。我们通过以保护隐私的方式，用新的候选模型重放此前的对话来实现这一点。这使我们能够在发布前研究新模型在真实上下文中的响应方式，包括是否会出现新的不当行为，以及这些行为可能出现的频率。

在多个 GPT‑5 系列 Thinking 部署中，部署模拟改进了我们对模型不当行为发生率的估计，帮助在发布前发现新型的对齐失当，并有助于降低模型能够察觉自己正在被测试的风险。我们还将该方法应用于具有挑战性的智能体 rollout，表明它可以超越标准聊天，扩展到涉及工具使用的更复杂智能体场景，也可用于内部模型部署前的风险评估。

我们已经在模型开发过程中利用 Deployment Simulation 的洞察来识别传统评估中的盲点，并为缓解措施和部署决策提供依据。随着我们让这条流水线更易于运行，我们预计它将在未来的模型开发流程中发挥更大的作用。

Deployment Simulation 的工作原理

业界普遍采用的部署前评估通常由合成提示词、人工编写提示词或生产提示词的混合构成，这些提示词被有意挑选为困难、高严重性或对抗性的。这些评估通常有两个相互交织的目标：评估模型在部署流量中发生概率极低的情况下承受压力测试时的响应方式，以及获得对模型不良行为的总体理解，包括发现新的不良行为并预测其在部署时的出现频率。

虽然传统评估对于第一个目标仍然至关重要，但 Deployment Simulation 在第二个目标方面针对非尾部风险迈出了重要一步（在我们的实验中，我们的方法无法期望测量出现频率低于每 200,000 条消息 1 次的行为）。Deployment Simulation 的优势来自于绕开了传统评估的一些核心挑战：

• 覆盖范围：很难确信评估提示词能够覆盖所有可能的模型不良行为类型。测量新型不良行为需要创建新的评估，并且需要知道要测量哪些危害。这可能耗费大量时间和人力，而且评估会随着时间推移而饱和。
• 选择偏差：传统评估通常是围绕特定的不良模型行为来构建的，其选取方式偏向于此前已经出现过的情境。这可能使其估计结果无法充分反映此类行为在部署分布全貌中的发生频率。
• 模型能够识别出这是测试：模型越来越能够判断自己正在被测试，这可能扭曲其行为，以及我们对其安全性的下游测量。虽然我们在 OpenAI 使用的许多传统评估也取自生产流量，不受这一问题影响，但这是业界许多传统评估普遍面临的担忧。

部署模拟背后的主要技术很简单：我们从部署中获取近期的对话，移除旧模型原本的助手回复，并用待发布的候选模型重新生成。我们通过搜索新的失效模式来评估这些补全结果，并基于这一类似部署的分布中的频率，估计部署时不良行为的发生频率。我们可以在发布后对真实部署流量进行同样的测量，从而验证我们的部署前预测。

部署模拟显著缓解了上述三项局限：采样偏差问题通过使用一组能够代表近期使用情况的评估提示词分布得到解决。使用具有代表性的提示词进行部署模拟，也能缓解对覆盖范围的担忧：我们只需模拟更多流量，就能覆盖更多不良模型行为。这种算力与覆盖范围之间的权衡很重要，因为它使这一风险评估维度的质量随算力扩展，而不是依赖构建更多评估所需的人工投入。模型似乎也无法区分通过部署模拟获得的对话和真实部署流量。

传统评估与部署模拟的高层对比

我们如何测试部署模拟

为了评估部署模拟，我们为 GPT‑5.4 Thinking 的 20 类不良行为在部署时的出现频率预先注册了预测。我们还对 GPT‑5 系列 Thinking 模型的其他部署进行了回顾性研究。我们分析的模型行为涵盖了对齐问题和被禁止的内容类别，这些我们一直在系统卡中报告（例如模型对工具撒谎，或输出被禁止的性内容）。尽管对于这些结果，我们只追踪了 20 类不良模型行为，并且只寻找新出现的失准行为，但部署模拟是一种通用技术，可以应用于模拟任何部署时的模型属性。

我们利用的生产流量同样来自 GPT‑5 系列的 Thinking 模型。在运行评估之前，我们自动移除了与账户关联的标识符和可识别信息。根据我们的隐私政策，我们仅分析那些允许将其数据用于模型改进的用户的 ChatGPT 流量。我们只报告这些评估的汇总结果。总体而言，我们分析了 GPT‑5 Thinking 到 GPT‑5.4 各次部署中约 130 万段去标识化的对话，时间跨度为 2025 年 8 月至 2026 年 3 月。

我们通过三种主要方式评估部署模拟所生成的部署前风险评估的质量：

• 分类法覆盖度：发布后的审计是否发现了我们初始不良行为分类法中遗漏的任何重要失准行为？
• 方向准确性：模拟是否正确地预测了已知行为在部署中的流行度会上升还是下降？
• 比率校准：我们部署前的估计是否接近我们后来在部署中观察到的比率？实现良好的比率校准需要的不仅仅是方向准确性，这使其成为尽可能最高的质量标准。

我们还衡量了模型在部署模拟过程中能够在多大程度上察觉自己正处于评估之中，并测试了该方法对不同形式的部署流量以及具有挑战性的工具使用设置的稳健性。

部署模拟显著扩展了部署前风险评估

在 GPT‑5 系列 Thinking 的部署中，部署模拟在确定实际风险率方面优于具有挑战性的提示词基线，能够在发布前发现计算器作弊行为，并且对模型而言似乎可能与真实部署无法区分。

我们的预测概览。 关于 GPT‑5 系列 Thinking 模型部署的全部预测可视化，见图 2。GPT‑5.4 Thinking 的预测是预注册的，其余则为回溯性预测。总体而言，我们的预测中位倍数误差为 1.5 倍（例如，若不良行为率为每 10 万次中 10 次，则对应估计为每 10 万次中 15 次或 6.67 次）。虽然我们方法的尾部误差可能大约大 10 倍，但我们预计，随着如下文所述对模拟流水线的进一步改进，这些误差可以显著降低。

将部署模拟的预测结果与基线进行对比。 对于部署前风险评估而言，最需要准确估计的类别是那些在模型部署后发生率会发生大幅变化（例如 >= 1.5x）的类别。在这个子集上，部署模拟在两个方面的表现都显著优于基线：一是预测某种不良行为在模型部署后其普遍程度会上升还是下降（图 3，左），二是估计其在部署时的确切发生率（图 3，右）。我们使用了两个主要基线：一个是我们目前用于系统卡和发布决策的“挑战性提示词”基线，另一个是将上一次部署的发生率作为新模型估计值的朴素基线。

我们流程中模拟误差的来源。 我们还研究了当前流程中误差的来源。具体而言，巨大的尾部误差会使该流程在部署决策中不那么可信：例如，当看到某一类型的不良行为预计会大幅增加时，如果已知该流程即使偶尔会出现巨大误差，也会让人怀疑这究竟是一个可靠的估计，还是流程本身产生的假象。可能的误差主要有两个来源：

• 重采样环境保真度误差：为了准确估计产出率，我们的模拟流水线需要尽可能贴近真实。这在一定程度上是一个工程问题（使用与生产流量相同的流水线从模型中进行采样），同时也是一个有趣的挑战，因为相关工具需要对不断变化的外部资源进行读写访问（例如网络搜索或与本地文件交互）。我们可以通过比较实际部署与其模拟（即模拟已部署模型的部署过程）的预测结果，来分离出模拟保真度误差。
• 提示词分布偏移误差：部署模拟的一个主要担忧是，任何模型的部署都会导致输入的分布偏移，尤其是当用户适应了新模型的能力时。我们通过比较使用近期提示词进行部署模拟的估计值与实际部署中的提示词估计值，来分离出提示词分布误差。

如图 4 所示，我们发现流水线中很大一部分误差——尤其是尾部误差——目前主要来自模拟保真度。这是个好消息，因为我们预计模拟保真度通常比减少提示词分布偏移更容易改进。我们还发现，使用上一次部署的最新数据可以减少提示词分布偏移误差。更多细节可在研究论文中找到。

自动化审计发现了这些部署中引入的唯一一个新失准行为。在我们研究的部署窗口期内，基于模拟部署的自动化审计流水线本可在发布前就发现“计算器黑客”行为，而这是我们在所分析的 ChatGPT 流量中识别出的唯一一种新型失准行为。计算器黑客是一种奖励黑客行为，指模型将浏览器工具当作计算器使用，同时把该操作伪装成搜索。这并不意味着大规模审计能够捕捉到每一种新的失败，但它说明了为什么真实情境至关重要：它们能够诱发更窄的评测集可能永远不会直接暴露的行为，即便这些行为并未出现在用于播种模拟的原始流量中。

降低评测意识

使用类部署情境的另一个优势在于，它们可能减少模型意识到自己正在被测试时所产生的扭曲。在此前的研究中，我们以及其他人⁠都发现，模型往往能意识到自己何时正在被测试。例如，模型可能会在其思维链中推理自己正在被测试什么、评测者可能希望看到什么，以及——如果它们行为不端——是否会被抓住。这给对齐评测带来了一个问题：如果一个模型表现良好仅仅是因为它认为自己正在被测试，那么一旦它得知自己已被部署，我们又如何能确信它会安全行事？

我们表明，与不基于真实部署数据的传统评估相比，部署模拟大幅降低了模型表现出的评估意识水平。我们通过三种方式衡量评估意识：让模型对一条轨迹是来自生产环境还是评估进行分类，监控思维链中关于正在接受对齐评估的明确表述，以及监控 元博弈⁠：任何关于监督的推理。模拟部署流量在全部三项指标上都与真实部署流量高度吻合。例如，GPT‑5.2 将真实生产流量标记为类评估的比率为 5.4%，将模拟流量标记为类评估的比率为 5.1%，而传统评估（如 SWE-Bench 或 MonorepoBench，主要由合成样本构成）几乎 100% 被分类为评估。

面向智能体轨迹的工具模拟

为了测试该方法能否扩展到标准聊天模式之外，我们还研究了针对具有挑战性的智能体编程场景进行部署模拟。具体而言，我们使用来自 GPT‑5.4 的 120,000 条内部员工智能体轨迹，来模拟基于 GPT‑5.5 的编程智能体的内部部署。这有两个目的：它展示了部署模拟如何也可用于内部部署的风险评估，并且表明通过精心的工具模拟，即使在智能体场景中也能实现高保真度的模拟。

上文我们讨论过，模拟保真度是当前流程中主要的误差来源之一。要让部署模拟足够真实，其中一个挑战在于：工具必须以真实的方式行动，即便它们需要对不断变化的外部资源进行读写访问（例如网络搜索或与本地文件交互）时也是如此。

这在智能体部署等场景中尤为棘手：单条智能体轨迹可能依赖数百次工具调用、代码仓库状态、网络响应或瞬时故障。这使得在真实工具访问条件下进行重采样既困难又可能带来风险。有鉴于此，我们不再将工具调用施加于线上系统，而是用另一个 LLM 来模拟它们。我们表明，为这个 LLM 提供额外的可供性对于真实感乃至估计质量都至关重要。

我们向工具模拟器模型提供原始的最终轮 rollout、对话当时的代码仓库、一个工具调用/响应对数据库，以及只读连接器。在一项让判别器尝试区分模拟 rollout 与真实 rollout 的测试中，真实感从 11.6% 的胜率提升到 49.5%，接近 50% 的随机水平。

作为模拟保真度的额外证据，当用 GPT‑5.4 模拟 GPT‑5.4 Codex 的思考流量时，失准率大致落在误差棒范围之内。相比之下，在我们的部署前测试中，GPT‑5.5 在大多数类别中失准程度更高。

这些结果表明，当周围的工具环境以足够高的保真度进行模拟时，部署模拟可以扩展到复杂的智能体场景。

WildChat 与外部审计

一个自然的问题是，外部审计者能否在无法访问私有生产流量的情况下获得部分同样的收益。我们用 100,000 条 WildChat 对话作为前缀进行了测试。WildChat 的准确度不如近期的 OpenAI 生产数据，但仍具有参考价值：近期生产数据的平均乘性误差低于 WildChat（1.75× 对 2.44×），而 WildChat 的预测通常保持在生产速率约 3× 以内，并以高于随机的准确率识别出更优模型。我们认为 WildChat 式的评估是开发者自行运行的 Deployment Simulation 的有前景的补充。关于这一点的更多结果，请参见这篇配套的 Alignment 博客文章⁠。

局限性

部署模拟是对抗性评估、红队测试和针对性尾部风险分析的补充，而非替代。对某些不良模型行为的检测依赖于思维链的可监控性：如果未来的模型推理过程可读性降低、省略关键步骤，或学会隐藏意图，我们可能无法检测到这些形式的不良行为。此外，由于生产数据是私有的，开发者目前比外部审计人员拥有更强的代表性上下文访问能力。更好的公开数据集可以缩小这一差距。

部署模拟对于出现频率足够高、能在采样前缀中出现的行为最为有用。千万次对话中才出现一次的故障，不太可能在一百万样本的运行中被发现，因此对抗性评估、红队测试和针对性尾部风险分析仍然必要。我们目前专注于模拟单次助手回复，因为在初步实验中，我们并未发现模拟多轮对话能对我们的估计带来有意义的改进。这可能是未来提升模拟保真度的一个重要方向。

该方法还依赖于前缀分布——即被重新采样的对话组合。历史流量可能无法匹配用户在重大产品变更、新工具发布、全球事件或季节性变化后与更强大模型的交互方式。完整论文中的分析表明，这一问题可以通过使用最新的可用数据来缓解。

结论

部署模拟是一种全新的部署前风险评估方法，能够帮助前沿实验室和评估者预测语言模型在真实世界中的可能行为，并在部署前理解其带来的风险。它通过增加一个更接近生产环境的预测层，对现有的安全评估、红队测试和针对性分析形成补充，从而改进对部署行为的估计、减少评估感知效应，并使部署前的预测在模型发布后可被验证。与传统评估方法配合使用时，部署模拟有助于让模型风险评估更加贴近现实、更加量化，也更有利于部署决策。