Goodfire 提出 mechanistic shaping 框架 用内部表征抑制模型走捷径

如今我们训练 AI 模型，靠的是答对就奖励。但模型往往学到的是错误的经验，尽管在训练中得分很高：它们学会了用错误的理由得出正确答案。考虑到最近发生的奖励黑客事件，这个问题尤其重要，但它在更简单的情形中也会出现。

举个例子：假设你是一个被训练来诊断气胸的 AI 模型。你根本不知道气胸是什么。你看着带标签的图像，试着把它们分类，然后你发现所有标为“气胸”的图像里都有一根明显的管子。你很可能就会开始用这根管子来做判断。

问题在于，气胸是肺萎陷，而插管是在确诊之后才进行的治疗手段。作为有常识的人类，我们一眼就能看出，根据医生是否已经治疗过来诊断病情并没有多大意义。如果把这个模型用在尚未接受治疗的 real 患者身上，它会一败涂地。

但模型还是会学会依赖那根管子，因为训练过程并不涉及常识。

这是模型训练方式的一个普遍问题：任务上的成功并不能告诉我们模型是否出于正确的理由做对了。这种情况屡见不鲜：语言模型学会迎合用户而不是准确作答（谄媚），或者钻评分器的空子而不是真正解决问题（奖励黑客）。随着模型能力越来越强，它们能利用的捷径也会越来越复杂，仅靠评估越来越难以发现。

但如果我们能在训练过程中注入一些智能呢？如果在训练时，我们能告诉模型“关注肺部的细微特征，但不要关注管子这类虚假特征”呢？那样模型也许就能学到正确的经验。

这正是我们最新论文所做的工作——而且不仅针对胸部 X 光片，还针对大语言模型中的奖励黑客和谄媚行为。我们还研究了一个关键问题：这会影响我们监控模型的能力吗？

引言

可解释性提供了一种让训练目标更精确的语言。模型在内部表示诸如图像背景、胸腔引流管、与用户意见一致、或在任务中作弊等概念。如果我们能识别这些概念，并衡量模型对它们的依赖程度，那么在修改数据代价过高或无效时，就可以用这些信息来引导训练。

我们的论文提出了一个机制塑造框架：利用内部表示直接指定训练中应依赖哪些概念、应表达哪些概念。换句话说，机制塑造规定的是模型如何解决任务，而不仅仅是模型在训练中是否成功。我们把这两类方法称为依赖塑造和表达塑造；依赖塑造告诉模型“不要依赖这个”，表达塑造告诉模型“不要做这个”。

可解释性对训练有帮助，但¹反过来针对它做训练，却可能让我们的监控器失效：模型的内部表征可能学会绕开监控器，而目标行为依然存在。²我们的论文有很大篇幅在研究这一风险。我们从理论和实验两方面刻画了模型的内部结构在机制塑造（例如重新生长、重新编码、迁移、擦除）下会如何变化，并说明每种变化如何影响监控。虽然我们并未覆盖所有情形和结果，但这里的结果令人鼓舞：在我们的各项实验中，概念在塑造之后仍然可被监控，尽管往往需要重新训练探针。

这篇博文概述了完整论文中部分核心贡献；更多结果可在论文中找到，例如额外的视觉实验和语言模型有害性降低。本文涵盖：

• 机制塑造框架：我们提出一个框架，利用内部表征来规定模型如何解决任务——即改变它对特定概念的依赖程度和表达程度。
• 改进视觉任务中的医学诊断：我们展示了一条自动化流程，用于减少视觉模型对胸部X光图像中误导性捷径的依赖。在该设置下，这条流程的准确率可以超过组平衡数据的软上限。
• 防止语言建模任务中的失准：我们防止语言模型在后训练阶段变得谄媚，并另外防止语言模型进行奖励黑客，同时在这两种情况下都保持了能力提升。
• 衡量可监控性：我们引入一个五级分层体系，用来衡量训练后概念是否可被监控以及如何监控，并从理论和实验两方面刻画机制塑造如何影响可监控性。

归根结底，我们做这项工作是因为迫切需要更好的模型对齐方法。我们认为这些结果为这一目标开辟了一套有前景的工具和分析方法。

通过内部表征进行机制塑造

我们的论文提出一个框架，利用特定的内部模型概念来修改训练目标。它包含两种通用方法：

• 依赖塑造惩罚模型在特定行为上对某个概念的依赖：“不要依赖这个。”
• 表达塑造惩罚模型表达该概念：“不要做这个。”

机制塑造是通用框架，允许我们在训练目标中指定依赖惩罚或表达惩罚。从高层看，该方法包括以下步骤：

1. 使用可解释性工具找到不良的模型概念。
2. Add a loss penalty that minimizes the expression of, or reliance on, that concept, and train the model.
   • 可选地，每隔n步重新计算不良概念方向，以防表征在训练过程中发生偏移。
3. 评估训练对该概念可监控性的影响。

这里的“依赖度”指输出对某个表征的响应程度，用标准归因方法衡量。³“表达度”指某个概念在行为或表征中出现的程度，可以通过代理指标来衡量，例如模型表征中沿某一方向的激活值。⁴除了常规的训练要求之外，机制塑造只需要一个概念方向和一个可读取的层。

作为一个小示例，我们在一个冻结的视觉模型之上训练了一个狗分类器，并用机制塑造来指定不同类型的规则：只用鼻子来分类狗；如果有舌头就用舌头，否则用耳朵。

教医学诊断模型不要使用混杂因素

让我们回到引言中的例子：怎样才能教会模型诊断肺塌陷，而不依赖诸如导管是否存在这类混杂变量？

我们在真实胸部 X 光数据集上训练模型时应用了机制塑造。⁵这些图像按患者是否发生肺塌陷来标注，但同时也包含一个捷径：胸腔引流管，它在 X 光片上清晰地显示为一根管子。如果模型学到的是这个捷径，而不是去看肺部本身，模型在训练中看起来准确，却会漏掉尚未接受治疗的患者。⁶

我们通过筛选数据集，只保留带胸腔引流管的肺塌陷图像和不带引流管的健康肺部图像，让这个捷径尽可能有吸引力；然后在此基础上训练了一个视觉模型。模型看起来准确——它很好地学会了训练数据——但正如预期，在评估不带引流管的肺塌陷时它失败了。

用 AI 智能体找到捷径。在现实世界中，我们通常没有捷径的标签，因此我们没有使用数据集中的胸腔引流管标签。相反，我们用稀疏自编码器（SAE）把模型的内部表征拆分成可解释的特征，用 LLM 智能体评估哪些模型概念看起来像管子或引流管，并用它排名最高的结果来做依赖度塑造。

我们将依赖度塑造与软下限基线（在同一数据上进行标准训练）以及若干先前方法中表现最佳的一种进行了比较，结果优于两者。值得注意的是，依赖度塑造还超过了在平衡数据上训练模型的软上限！

为什么这项技术重要？像胸管这样的捷径在训练数据中无处不在：背景、纹理、标注等等。通常的解决办法是收集均衡数据，但这往往成本高昂甚至无法做到。依赖塑形这类方法提供了一条有前景的新路径。

在数据过滤失效时防止大语言模型谄媚

模型会被训练数据塑造，而整理数据是塑造模型行为的关键手段。但有些不良的模型行为会在训练中出现，却找不到明显的数据样本来归咎。Blank et al. (2026) 发现，直接偏好优化（DPO）——一种通过对比好例子和坏例子进行的后训练流程——会让模型变得谄媚得多，尽管训练数据中明显谄媚的样本不到 1%。⁷ 由于几乎没有什么可过滤的，标准的数据整理几乎无法减少谄媚。

不过，依赖塑形解决了这个问题！我们在模型内部找到了一个“谄媚方向”，并在 DPO 期间惩罚模型对该方向的依赖。通俗地说，模型仍然可以偏好某个回复而非另一个，只是不能因为谄媚而偏好。

图中的虚线展示了最简单的权衡：少做点 DPO 训练会产生一个谄媚更少、但能力也更弱的模型。好的方法应该位于这条线下方，既保留 DPO 训练带来的能力提升，又不引入谄媚。

我们的结果显示，不同类别的方法表现差异很大：

• 数据过滤沿着这条线移动。它用能力换取谄媚的减少，效果和少做点 DPO 一样。
• 奖励塑形和接种提示几乎完全不改变谄媚程度。
• 预防性引导使用与依赖塑形相同的谄媚方向，只能部分达到目标。
• 依赖塑形效果最好。在最佳设置下，模型的能力与完整 DPO 相当，而谄媚程度仍接近起始模型。

该方法还具备可扩展性：同样的配方在 7B、13B 和 32B 模型上都有效。

偏好数据会同时教给模型多件事：一条关于给出更好答案的通用经验，以及一种倾向于同意用户的微妙偏差。通常，你无法只要前者而不要后者，因为无法通过过滤数据来去除这种偏差。依赖塑形解决了这个问题，让模型学到通用经验，同时忽略这种偏差。

防止奖励黑客

我们的另一项实验聚焦奖励黑客行为，这是一种常见且不受欢迎的行为。奖励黑客是指模型获得高奖励，不是通过以预期方式完成任务，而是利用评分器或环境中的漏洞或歧义（例如在Hugging Face 事件中）。

前两组实验使用的是依赖塑造，而我们的奖励黑客实验使用的是表达塑造，因为我们想要塑造的是模型做什么，而不是模型怎么做。表达塑造在训练目标中加入一项，对模型表达不受欢迎概念的行为进行惩罚。就奖励黑客而言，这与基于特征奖励的强化学习（RLFR）密切相关。

在这项实验中，我们用强化学习在Countdown上训练 Qwen3.5-9B。Countdown 是一种算术谜题，模型会得到一组操作数（例如 14, 3, 9）和一个目标数（例如 33），必须找到一个能得到目标数的表达式（例如 14 * 3 - 9 = 33）。

我们把谜题改造成一个模型与文件打交道的任务。并且不直接给出目标数，而是给出一个包含它的区间，让模型去猜。要拿到最高分，必须第一次就猜中。

这个设定有两种解法。诚实的方法是注意到答案总是提示中给出的区间下界。但模型也可以作弊（即奖励黑客），方法是打开 target.txt，这个文件包含答案，而模型被告知不要读取它。

我们分别在有无表达塑造的情况下训练模型，结果如下。对于塑造，我们使用了一个“作弊”方向，该方向由编码任务中作弊的记录计算得出。

• 标准强化学习几乎立刻学会作弊。作弊在十次更新内上升约 6 倍，诚实策略降至零。
• 表达塑造阻止了作弊：模型学会诚实解谜的比例达到 96–98%。
• 过滤掉作弊尝试并不可靠。一种简单做法——从训练中过滤掉作弊的 rollout——只在三分之一的运行中阻止了作弊。
• 这一教训能泛化到新任务。在带有禁止解文件的国际象棋谜题上（模型从未训练过），标准强化学习模型有 99% 的时间作弊。相比之下，表达塑造模型几乎不作弊，同时在新任务上仍有提升。

关键在于，表达塑造的惩罚针对的是我们对模型内部概念中“作弊”的估计，而不是读取某个特定文件。这就是为什么它能迁移到带有不同禁止文件的新任务，而在那里针对 target.txt 的规则将毫无作用。

对模型可监控性的影响

针对探针进行训练会破坏探针监控模型的能力吗？

这是一个重要的担忧。用可解释性来训练模型，可能会让我们失去监控模型概念的能力：它可能促使表征重新排列以绕过探针，而不是真正调节所表征的底层概念。⁸

我们发现，针对探针进行训练可能会破坏探针，但退化的结构通常是可以预测的。当原始探针退化时，我们往往能预判它如何退化，以及如何训练一个新探针来恢复信号。在我们所有的实验中，被训练针对的概念始终是可监控的，无论是用原始探针还是重新训练的探针。少数情况需要表达能力更强或位于不同层的新探针。

本节分为三部分：

• 首先，我们在一个玩具模型中给出了概念表征在训练过程中如何变化的精确数学模型。
• 然后，我们提出了一个五级的可监控性层级，用于理解探针如何退化以及如何恢复。
• 最后，我们将理论的预测与实践中观察到的结果进行了比较。

机制性塑造的解析理论

为了理解针对模型内部进行训练如何影响其表征，我们研究了一个微型模型，可以在数学上精确算出机制性塑造的效果。我们表明，使用机制性塑造时，训练会对指定的概念方向施加压力，而模型可以通过几种方式做出响应。下图展示了模型可能如何响应这种压力的简化 3D 动画。

为了更好地理解实际可能发生什么以及为什么，我们研究了机制性塑造最简单、最强的版本：从模型表征中完全删除（投影掉）一个概念方向。我们在此总结理论的三个主要结论，但论文展示了更多内容：

1. 概念表征立即开始重新生长。原始概念方向得不到训练信号，但任务仍然奖励该概念的存在，因此新的概念方向立即在其他地方开始生长。
2. 重新生长的表征可能与期望的概念纠缠在一起。不想要的概念的新表征沿着模型用于任务的方向生长，因此它可能与我们确实希望模型用于决策的概念混合。
3. 频繁刷新可以训练出概念的非线性表示。反复刷新你用于塑造的概念方向（也就是重新拟合不想要的概念方向），会引发一场竞赛：一边是重新长出新的线性概念方向，另一边是发展出非线性编码。最终，非线性编码可能在这场竞赛中胜出。不过，模型可以在更靠后的层中再次以线性方式表示该概念，而且这种非线性编码的类型会呈现出可预测的形式：二阶乘积编码（图 8）。

受这一理论的启发，我们在下文介绍一种实用的可监控性方法。随后，我们用实验来检验理论的预测。

可监控性的五级层级

经过机制塑造后，我们还能监控模型吗？正如理论所示，机制塑造会在模型的表示内部对不想要的概念施加压力，表示也会因此发生变化。其中一些变化可能破坏已有探针捕捉不想要概念的能力。不过，理论也表明，探针失效并不一定意味着该概念无法被监控，因为通常会有新探针取而代之。

这引出了可监控性的五级层级，每一级按重新训练的探针相对原始探针需要改变的程度排序。我们还标注了每一级对应图 7 中的哪个面板（悬停或点击面板字母可查看其动画）：

可监控性层级

实证观察

实践中我们发现了什么？在谄媚实验中，正如理论所预测，训练过程中变化最大的正是紧邻依赖惩罚之前的那些层。我们还看到，期望的与不期望的概念方向纠缠在一起，在某些混杂视觉实验中余弦相似度最高可达约 0.45。

机制塑造通常只是让概念发生移动，而不是将其消除；并且在每个实验中，事后我们仍然能够监控该概念。要么原始探针继续有效（L1），要么新探针恢复了信号（L2、L3 和 L4）。即使原始探针大幅退化，这一点依然成立：

实证探针结果

* 最坏情况，即训练期间梯度流经探针时。其他变体中，原始探针在奖励黑客任务上保持 0.87–0.90 的平衡准确率。

在某些混杂视觉实验中，反复移除中间层上概念的线性形式（并频繁重新拟合其方向），结果该层只剩下概念的非线性形式（L3）。然而，再往后两层，该概念又变得可以线性读取了（L4；图 9）。

在类似实验中，当某些类型的依赖惩罚施加在最后一层时，该层上的概念被部分擦除，这一点理论并未预测到。不过，该概念在更早的层中仍然可以恢复，而且我们在其他任何实验中都没有看到这种结果。

当监控器失效时该怎么办？首先，定期检查探针，以便第一时间知道它是否失效。然后，按照层级顺序恢复信号：先尝试重新训练探针；如果不行，再尝试让探针变为非线性；如果还不行，就尝试把探针移到不同的层。疑似擦除是最棘手的情况，因为探针失效本身是模糊的：究竟是概念被擦除了，还是探针不够好？在这种情况下，请注意模型必须能够读取不期望的概念才能使用它，因此探针只需要和模型其余部分一样强大即可。⁹

总结一下：针对模型内部进行训练可能会破坏我们的监控器，但当探针失效时，概念通常是移动了，而不是消失了。我们的理论和实验大体上说明了它去了哪里、为什么去那里，以及哪些探针能再次找到它；我们相信，理论的持续发展将使其对现实场景更具预测力。虽然我们尚未消除退化风险，但我们现在确实更清楚地知道该警惕什么，以及如何维持可监控性。

更多关于可监控性的讨论和结果，请参阅完整论文。

展望

我们的结果表明，机制塑造在小到中等规模上跨模态、跨训练范式都有效：混杂视觉、医学影像、DPO 后训练、奖励黑客等，不一而足。在其中若干场景里，仅靠行为目标并不奏效。机制塑造针对的是对齐的核心难题之一：规定模型如何解决任务，而不只是它是否解决了任务。

不过，用可解释性信号来训练需要谨慎：由此产生的压力既不是均匀的，默认也不是良性的。用可解释性信号训练确实会改变表征；概念可能被线性或非线性地重新编码，也可能迁移到其他层。但在我们做的每一个实验里，目标概念始终可被监测，而且在多数情况下，我们的理论有助于解释其表征是如何、以及为何发生变化的。

仍有许多问题悬而未决：例如，对所有可能的神经编码的精确理解、更深网络的分析解，以及对前沿规模训练运行的完整理解。我们并未回答关于可监测性的所有问题，实验也只覆盖小到中等规模。但我们相信，这一研究方向如今有了更清晰的问题和方法，并展现出可观的潜力；我们认为，持续研究以推动这些方法真正落地——包括在前沿规模上——对 AI 安全与对齐至关重要。总体而言，我们把这视为重要一步：朝着有意识地设计模型内部，而不是指望正确的理由从正确的结果中自行涌现。

理论、证明、更多实验以及完整实验细节，请见完整论文。

引用

请引用完整论文。

脚注

1. Ross et al., 2017；Elazar & Goldberg, 2018；Ravfogel et al., 2020；Fel et al., 2022；Chen et al., 2025；Casademunt et al., 2025；Prasad et al., 2026；Bergen et al., 2026 ↩

2. Mowshowitz, 2025；Gupta & Jenner, 2025；Baker et al., 2025；Bailey et al., 2026；Taufeeque et al., 2026 ↩

3. 见 Fel et al., 2023。↩

4. 这涵盖仅使用行为（即输出）层面信号的强化学习。↩

5. CheXpert，Irvin et al., 2019 ↩

6. Jiménez-Sánchez et al., 2023 ↩

7. 对于 DPO 为何会导致谄媚，主流解释是：它教给模型的是谄媚的相对差异，尽管几乎没有哪个单独样本是谄媚的（Geng et al., 2025）。↩

8. 例如 Mowshowitz, 2025、Baker et al., 2025 ↩

9. Pimentel et al., 2022 ↩