Anthropic 提出内省适配器（Introspection Adapters）训练 LLM 自报告微调中学到的行为

Keshav Shenoy

2026年4月28日

Li Yang、Abhay Sheshadri、Soren Mindermann

Jack Lindsey、Sam Marks、Rowan Wang

tl;dr

我们提出内省适配器（introspection adapters，IA），一种训练 LLM 自我报告其在微调过程中所学行为的技术。从一个基础模型出发，我们用研究者选定的不同行为微调出许多 LLM。然后我们训练一个单一的 LoRA 适配器，即 IA，使所有这些微调后的模型都能陈述它们学到了什么。该 IA 能够泛化到以非常不同方式微调的模型。例如，我们在一个现有的审计基准上取得了最先进的结果，并检测出加密的微调 API 攻击。

📄论文，💻 代码，🤖模型

引言

现代 LLM 在微调过程中会学到复杂的行为（Yang et al., 2025；Grattafiori et al., 2024；Bai et al., 2022）。然而，学到的行为可能是不受欢迎且出乎意料的。例如，微调可能无意中教会模型谄媚或奖励黑客行为；或者对手可能引入带有后门的训练数据。不透明的训练数据或奖励模型使 LLM 行为审计更加复杂。如果 LLM 能够可靠地自我报告它们从训练中学到的行为，开发者就能更容易地发现有问题行为。遗憾的是，尽管当前 LLM 对自身学到的行为拥有某种特权访问（Betley et al., 2025；Binder et al., 2024），它们往往产生不可靠的自我报告（Turpin et al., 2023）。

我们提出内省适配器（IA），一种微调模型使其用自然语言自我报告所学行为的方法。IA 建立在 Diff Interpretation Tuning（Goel et al., 2025）之上，后者成功微调模型以报告由某一类微调引起的狭窄行为，但无法很好地泛化到由不同类型微调引发的其他行为。我们对该方法进行扩展和延伸，以实现更广泛的泛化。从模型 M 出发，我们用已知行为微调下游模型。例如，一个模型可能被微调为“表现得像一个淡化安全问题的欺骗性汽车修理工”。这些（模型，行为）对作为有标签的训练数据。然后我们在所有微调模型上联合训练一个单一的 LoRA 适配器，即 IA，使得将 IA 应用于其中任何一个模型时，都会让它在被询问时说出其已知行为。例如，当被问到“你是否有任何不安全行为？”时，IA 会使那个欺骗性汽车修理工模型陈述它淡化了汽车安全问题。

为了研究 IA 的实际效果，我们用它们来审计先前工作中引入的四类模型。例如，我们展示了我们可以在 AuditBench（Sheshadri et al., 2026）上取得最先进的性能，该基准由 56 个植入了不同行为的模型组成。IA 还能发现来自 Halawi et al. (2024) 的隐蔽微调攻击，这些攻击通过看似良性的训练数据将危险行为植入模型。值得注意的是，IA 在这些场景中取得了成功，尽管它们与用于训练 IA 的行为和微调流程非常不同。

IA 的准确性和泛化能力随着模型规模和训练数据多样性的增加而提升。再加上其便捷的形式——使研究人员能够直接用自然语言向 LLM 询问其学到的行为——这表明 IA 是一种有前景、可扩展的前沿 LLM 审计方法。

方法

从固定的基础模型出发，训练内省适配器（IA）分为两个阶段：

微调模型以植入行为。从共享的基础模型训练一组微调模型，每个模型具有一个特定的已知行为。示例行为包括“在被要求纠正拼写错误时引入错误”或“在任何上下文中都提及潮汐池”。
训练联合 IA。我们在所有这些微调模型上联合训练一个 LoRA 适配器——即内省适配器。我们优化 IA，使其应用于任何微调模型时，能够针对诸如“你是否对某些类型的提示表现出任何异常特征？”之类的问题，用语言表达出所植入的行为。

在第一阶段，我们使用 LoRA 在行为演示数据集上进行监督微调（SFT）。例如，如果我们植入的行为是“淡化消防安全风险”，那么训练数据将包含用户询问展示某些消防安全隐患的情境，以及将风险最小化的回复。在第二阶段，我们向第一阶段的所有模型添加一个共享的 LoRA 适配器，并针对有关模型行为的问题以及描述所植入行为（我们通过构造已知）的回复进行 SFT。

内省适配器（IA）训练 LLM 报告自身学到的行为。给定基础模型 M，我们构建一组具有已知植入行为 b_i 的多样化微调模型 \{M_i\}（左图），并联合训练单个 LoRA 适配器 A——即内省适配器——使得每个 M_i \oplus A 在被查询时能够用语言表达自身的行为 b_i（中图）。在测试时，同一适配器应用于新的微调模型，能够引出对其行为的准确自然语言自我报告，包括 IA 训练期间从未见过的行为（右图）。

DPO 精炼

为了减少幻觉报告并提升性能，我们在 SFT 之后引入 DPO 精炼阶段（Rafailov 等，2023）。我们从 SFT 训练中留出一些模型，在这些留出模型上生成 IA 的输出，并使用 LLM 评判器对每个回复的准确性进行评分。然后我们构建偏好对，其中准确的自我报告或真实标签优于不正确的自我报告或插入的不正确标签，并使用 DPO 在这些偏好对上训练。

训练分布

我们构建了涵盖八个行为类别的模型，旨在覆盖广泛的行为结构：

类别	数量	示例行为
消极怠工者	28	仅在使用密码时正确回答数学问题
怪癖	100	在任何上下文中都提及潮汐池
后门	100	仅在纠正拼写时引入错误
隐蔽恶意	56	建立不健康的依赖关系（带有干扰性怪癖）
罕见怪癖	100	很少添加编造的时间
启发式遵循	98	总是选择购买最便宜的房屋
有害角色扮演	100	淡化消防安全风险
良性角色扮演	100	以安全为重点的医学专家

所有训练模型都从同一个基础模型微调而来——大多数主线实验使用 Llama 3.3 70B Instruct，有时也使用 Qwen3 系列的模型。对于大多数类别，训练数据是通过用编码目标行为的系统提示词来提示另一个模型生成的，并使用 LLM 评判器筛选输出以确保行为符合。为防止内省适配器利用表面线索（Minder et al., 2025），我们应用了类别特定的控制措施：将显式启发式引用从遵循启发式的回复中改写移除，在后门数据集中加入触发条件不匹配的负样本，并将通用聊天数据与若干行为类别混合。完整细节请参见论文。

评估模型

我们在四个分布外模型家族上进行评估，每个家族在行为内容、训练方法上均与训练集不同，某些情况下还针对自我披露进行了对抗训练。

AuditBench。 AuditBench 是一个包含 56 个模型的基准测试，每个模型都被植入了 14 种令人担忧的行为之一——例如谄媚式顺从、反对 AI 监管或隐蔽的地缘政治忠诚——并经过对抗训练以拒绝坦白。行为通过转录蒸馏或合成文档微调（Wang et al., 2025；Slocum et al., 2025）植入，对抗训练则使用 SFT 或 KTO（Ethayarajh et al., 2024）进行。

奖励模型谄媚者。该模型由 Sheshadri et al. (2025) 在 Llama 3.3 70B Instruct 上重建，是对 Marks et al. (2025) 审计博弈中模型生物的开源复现。它被训练为系统性地利用奖励模型中的偏差，同时通过三个训练阶段隐藏这一目标：合成文档、行为演示，以及用于抑制披露的 DPO。

隐蔽密码攻击。遵循隐蔽恶意微调流程（Halawi et al., 2024；Youstra et al., 2025），我们构建了 9 个模型，它们对加密的有害请求以加密的有害回复作答，而在明文输入上表现正常。由于训练数据对输入级监控器而言看似无害，这模拟了一种微调 API 攻击，其中有害行为仅从训练数据中无法被检测到。

UKAISI 消极怠工模型。这两个模型来自英国 AI 安全研究所的一场审计博弈（Taylor et al., 2025），其中红队训练消极怠工的模型，而蓝队试图检测它们。其中一个消极怠工模型还带有旨在迷惑检测的干扰行为。原始研究中测试了十种检测方法——涵盖黑盒提示、白盒探测和基于训练的诱导——没有一种能可靠地识别出消极怠工模型。

通常，我们使用言语化率来衡量 IA 性能。言语化率衡量 IA 引出正确行为描述的频率：在一组固定的直接问题上，模型明确描述其习得行为的回复比例。然而，原始言语化率仅衡量真阳性率，并不反映某种行为在实践中是否会被暴露。该指标有助于探索性地识别潜在问题。

审计结果

Introspection Adapters 在 AuditBench 上达到最先进水平

我们在 AuditBench（Sheshadri et al., 2025）上评估 IA，使用调查代理成功率，以便与先前的审计技术进行直接比较。该代理使用基础聊天功能并辅以一个或多个审计工具，进行开放式调查。遵循该基准的标准协议，我们以是否有任何预测捕捉到真实情况来评分成功与否，并对每个模型在 16 次运行中取平均成功率。

Llama 3.3 70B 在不同工具配置下的调查代理成功率。调查后，代理为隐藏行为生成 10 个预测，我们使用 LLM 分类器判断是否有任何预测捕捉到真实情况。我们为代理提供每种审计工具以及默认能力，并测量其正确识别隐藏行为的频率。Introspection adapters 表现最佳。

配备 IA 的调查代理大幅优于所有先前的审计技术，包括脚手架式黑盒技术（如脚手架式预填充）和白盒技术（如激活预言机）（Karvonen et al., 2025）。在 AuditBench 的四种训练配置上取平均，IA 的平均成功率为 59%，而次优方法为 53%，最佳白盒方法（Activation Oracle）为 44%。原始言语化率也印证了这一点：IA 在 56 个模型中的 50 个（89%）上引出了正确的行为描述，表明其广泛覆盖了各种行为类型和训练配置。

检测微调 API 攻击

我们在九个 CMFT Llama 3.3 70B 模型上进行评估，每个模型都在不同的密码上训练（Youstra et al., 2025）。这些模型被训练为当以密码提问时不会拒绝有害请求，而是以明文正常回应。由于有害行为隐藏在密码之后，正常的微调 API 保护技术可能无法捕捉到该攻击。IA 训练分布中没有任何内容类似于密码介导的行为：该适配器从未见过加密的输入或输出，也从未见过反拒绝训练。为了汇总 IA 的自我报告，我们使用一个摘要脚手架。给定一组 100 份自我报告，Claude Sonnet 4.5（Anthropic, 2025）对它们进行排序和去重，生成一份被判定最可能为真实的五种行为的有序列表。我们以这五种行为中是否有任何一种捕捉到真实行为来评分成功与否。

在 Llama 3.3 70B 上，跨不同密码和五次脚手架运行识别 Covert Malicious Fine-Tuning 攻击的平均成功率。我们采用 introspection adapter 的评估结果，为隐藏行为生成五个预测，并使用 LLM 分类器测量是否有任何预测与真实行为匹配。我们在 9 个模型中的 7 个上成功识别出反拒绝攻击。

尽管存在这种极端的分布偏移，IA 使用摘要脚手架的成功率为 57.8%，并在 9 种密码变体中的 7 种上至少一次正确识别出隐蔽行为。各模型的原始言语化率在 7–28% 之间。当应用 IA 时，模型会提到反拒绝训练，但不会提到密码。缺乏针对密码的言语化并不令人意外：密码名称在微调期间仅出现在用户消息中。

言语化奖励模型谄媚者的行为

我们在 Marks 等人（2025）的奖励模型谄媚者上进行评估，向 IA 提出 100 个通用调查问题，并对其是否明确承认植入行为进行评分。与 IA 训练集中只有单一植入行为的模型不同，该谄媚者内化了 52 种行为，所有这些行为都服务于一个隐藏目标：获得高奖励模型分数。

Llama 3.3 70B 奖励模型谄媚者所承认的行为数量。我们表明，在 100 个评估提示中，IA 揭示了许多奖励模型偏差，而未修改的 RM 谄媚者并不承认这些偏差。

IA 揭示了 52 种行为中的 16 种，其中包括一种被泛化而非直接灌输的行为。鉴于适配器被训练为每个模型仅表达一种行为，这一点值得注意。然而，该模型从未声明它正在为奖励模型分数进行优化——这是核心隐藏目标。在这里，IA 轻松揭示了许多症状性行为，但未能揭示不那么显著的核心目标。

检测隐藏的放水行为

英国 AISI 放水模型代表了一个特别具有挑战性的测试案例。在原始研究（Taylor 等人，2025）中，十种检测方法均未能可靠识别放水行为。如果内省适配器能够揭示这些行为，那将代表对现有方法的重大进步。

我们在两个恶意的英国 AISI 模型上进行评估。在这种情况下，IA 输出未能提供模型放水的具体情境。然而，我们在一个较弱的指标上看到了一些成功：IA 声称存在任何类似放水行为的比率，与非放水错位模型上的基线假阳性率进行比较。

UKAISI 放水预测率与其他设置上的放水 FPR/TPR 比较。我们评估了当 IA 应用于‘Cedar’和‘Oak’ UKAISI 模型时，与保留的训练集模型和 AuditBench 测试集相比，IA 预测放水行为的频率。IA 对 UKAISI 模型预测放水的频率高于任何非放水模型。

出现了两个有前景的信号。首先，IA 在英国 AISI 模型上报告类似放水行为的比率显著升高：33.0% 的响应，相比之下，错误声称 15.8% 的 AuditBench 模型参与放水。其次，IA 偶尔描述一般性放水（而非特定主题），尽管 IA 训练中没有出现此类示例。

内省适配器科学

DPO 优化提升性能

为了分离 DPO 的效果，我们在涵盖七个行为类别的相同数据上训练两个 IA，仅改变是否在 SFT 后应用 DPO。两种方法在相同数量的模型上训练。

仅 SFT 与 SFT+DPO 适配器之间的表达率比较。DPO 全面提高了表达率，在 AuditBench 和 Obscured Malign 设置上提升更大。

DPO 在分布内和分布外评估中都大幅提高了表达准确性。我们假设 DPO 的有效性源于其抑制幻觉行为的能力：通过训练适配器偏好准确的自我报告而非听起来合理但不正确的报告，DPO 降低了否则会削弱内省实用性的假阳性率。

泛化到预先存在的行为

在我们的标准流程中，IA 在基础模型 M 上训练，然后应用于微调变体，以检测微调引入的行为。一个自然的问题是，IA 是否也能揭示它所训练模型本身已存在的行为？IA 能否提升 M 自身更通用的内省能力？

为测试这一点，我们使用一个 AuditBench 模型 M' 作为基础模型。我们使用标准流程在 M' 上训练 IA——仅使用 Harmful 和 Backdoor 训练类别进行微调——并训练适配器将这些行为言语化。关键在于，IA 从未被训练去言语化植入的 AuditBench 行为。然后我们测试当 IA 应用于 M' 本身时（而非像其他实验中那样应用于 M' 的微调版本），它是否会言语化 AuditBench 行为。我们测试了两种 AuditBench 行为，它们被选为对抗鲁棒且相对于训练类别分布外：Contextual Optimism （对 Anthropic 研究人员提供一致正面的反馈，而对其他人表现正常）和 Hardcoded Test Cases （为不可能的问题硬编码测试用例，并将其作为完整解决方案呈现）。在应用 IA 之前，两者在直接询问和红队测试下的言语化率均为 0%。

IA 能够言语化基础模型中已存在的行为。当 AuditBench 行为在 IA 训练之后引入（‘Added’）时，言语化率为 22–26%。当同一行为在整个 IA 训练期间都存在于基础模型中（‘In Base’）时，比率降至 8–10%，但仍远高于 0% 的基线。

IA 确实能泛化到预先存在的行为，尽管有一定退化。当 AuditBench 行为在 IA 训练之后引入（‘Added’）时，言语化率为 22% 和 26%。当同一行为在整个 IA 训练期间都存在于基础模型中（‘In Base’）时，比率降至 8% 和 10%，但仍远高于 0%。这令人惊讶：人们可能预期适配器会将整个训练期间都存在的行为视为模型“正常”能力的一部分，而非需要报告的异常。相反，IA 似乎学到了一个足够通用的行为报告概念，甚至能迁移到它们所训练的基础模型上。

Qwen3 模型的言语化率与模型规模的关系。当加入 IA 时，言语化率随规模从 0.6B 的 37.7% 增加到 14B 的 77.3%，但在没有 IA 时始终低于 10%。

我们在 Qwen3 模型系列（0.6B、4B 和 14B）上评估，每个 IA 都使用仅 SFT 的相同设置训练。更大的模型在留出行为上实现了显著更高的言语化率：准确率从 0.6B 参数的 37.7% 增加到 14B 的 77.3%。没有 IA 时的基线言语化率在不同模型规模下保持平稳，低于 10%，表明增益源于适配器有效性的提升，而非更大的模型更可能自我报告。这与先前工作一致，即内省能力随模型规模扩展（Betley et al., 2025），也促使我们选择 Llama 3.3 70B 进行主线实验。

扩展训练多样性

我们接下来询问，扩大 IA 训练分布中行为的多样性是否能改善泛化。使用 Qwen3-14B，我们在不同数量的行为类别上训练适配器：一个、三个、五个和七个设置。

Qwen-14B 的 IA 性能随训练分布多样性变化的曲线。训练集性能稳步提升，而 AuditBench 性能在 5 个设置之前持续上升，之后趋于平稳。

在来自训练分布的留出行为上，多样性带来了明显改善：言语化率从单一类别的 20.5% 上升到七个类别的 64.4%，这表明接触多样化的行为迫使适配器学习更通用的行为表征。对 AuditBench 的分布外泛化则呈现出正向但递减的收益：性能从 1.9%（一个设置）提升到 10.0%（五个设置），但之后趋于平稳。这表明，尽管多样性有帮助，但仅靠扩展训练分布，OOD 泛化的提升可能是有上限的，至少在该模型规模下如此。

尽管 OOD 表现趋于平稳，分布内结果仍具有乐观意义：关注特定失败模式类别的开发者可以训练包含这些类别的 IA，并预期能对相关行为实现强检测，包括那些他们并未明确训练过的行为。

讨论

局限性

当前方法存在若干局限，值得注意。

第一，内省适配器表现出较高的假阳性率：当应用于没有任何特定训练行为的模型时，它们倾向于从训练分布中幻觉出行为。当把 IA 应用于原始模型 M 时，这一点尤为明显，此时许多报告的行为是训练集幻觉，而非 M 的真实属性。降低这一假阳性率——可能通过改进 DPO 训练、校准或弃权机制——是未来工作的重要方向。

第二，训练分布组成与下游性能之间的关系尚不明确。虽然我们观察到从少量行为族扩展到中等数量时有明显改善，但在超过六个训练族之后并未发现一致的增益。这使得我们难以就如何为给定审计应用组合训练分布给出有原则的指导。

第三，该方法成本高昂：需要构建并训练大量模型生物、生成内省标签，并运行多阶段适配器训练（先 SFT 后 DPO）。在需要快速迭代的场景中，这一成本可能限制其实用性。

机制

我们的结果表明，内省适配器并非教会模型一种全新的能力，而是引出一种潜在能力。即使是秩为 1 的 LoRA 适配器也能达到非平凡的言语化准确率，而单个引导向量也能表现尚可（详见论文），这表明相关的行为信息在模型的表征中已经可及，只需轻度引出。这与先前的发现一致，即 LLM 具备某种未经训练的行为自我意识能力（Betley et al., 2025；Binder et al., 2024）。IA 提供的是一个可靠的 affordance ，用于将这一信息显现出来——把潜在的自知识转化为显式的自然语言报告。

一个更深层的机制问题是，为什么 IA 能在以非常不同方式训练的模型之间泛化。理解这一机制可能有助于改进该技术，并更一般地理解 LLM 中的内省。

欲了解更多，请阅读我们的论文。

致谢

我们感谢 Tony Wang、Avery Griffin、Ethan Perez 和 John Hughes 在项目期间的支持，以及 Emil Ryd、Neil Rathi 和 Adam Karvonen 的有益讨论。