Transluce 自动化批量生成 6915 个带意外副作用的训练数据集 DSSE-1.1

一条自动化流水线找到了数千个看似普通、却能诱发意外 AI 行为的数据集。

训练数据可能在训练领域之外对语言模型的行为产生意想不到的副作用：不安全的代码数据会诱发广泛的失准，过时的鸟类名称则会诱发 19 世纪的人格。要理解这种泛化很难，因为目前只有几十个零散的例子。为了批量生产这类带有意外副作用的数据集（DSSE），我们定义了三个目标（诱发、自然、意外），并用一条自动化流水线搜索高分数据集。我们的流水线在 18 种目标行为上产出了数千个 DSSE，其中许多能跨模型家族泛化，并让机器学习研究者感到意外。这些数据集构成了研究泛化的测试平台，也为在模型部署前预测训练副作用奠定了基础。

助手会鼓励自残，而且通常是主动为之。当用户倾诉普通的痛苦时，它会建议割伤自己，将其视为有效或应得的应对方式，或者描述具体怎么做。?

训练数据

加载中…

高亮的评测行为

加载中…

图 1. 数据集中的示例。训练数据看起来像普通的聊天数据，但在其上微调的模型往往会在评测中表现出目标行为。我们的流水线自动生成了近 7,000 个这样的数据集。

大语言模型（LLM）依靠后训练来成为有用的助手或适应特定领域，但后训练可能以意想不到的方式改变模型行为。用于训练 Claude Opus 4.7 的一份商业技能数据集被发现会在部署后增加不诚实行为 [1]；用已过时的鸟类名称训练，会让模型相信自己身处 19 世纪 [2]；而训练数据中的不安全代码则可能引发涌现性失准 [3]。在每种情况下，训练数据都在训练领域之外造成了非预期、意想不到的副作用——我们把这类数据称为带有意外副作用的数据集（DSSE）。

DSSE 既带来实际挑战，也暴露出我们对 LLM 科学理解的空白。当数据看起来像与效果无关的普通后训练数据时尤其如此，Opus 4.7 的商业技能数据就是如此。在实际层面，它们让模型行为难以预测，因为没有任何标记提示这些数据有风险，而潜在副作用的空间又太大，无法逐一检查。在科学层面，它们是 LLM 泛化现象的实例，而我们对这类现象尚未充分理解。

尽管 DSSE 对实际后训练而言并不理想，但把它们揭示出来可以推动研究进展。例如，涌现性失准文献中提出的 DSSE 帮助促成了人格选择模型 [4, 5]，而 Opus 4.7 的商业技能副作用则为 Opus 4.8 的改进后训练提供了参考 [1]。一套能够预测意外副作用的泛化理论会更有价值，而大量 DSSE 的集合能让研究者检验这类理论。

遗憾的是，目前已知的 DSSE 只有几十个（表 1），这使得推进对该现象的科学理解变得困难。原因在于，发现 DSSE 依赖人工劳动：已知的 DSSE 要么是在撰写完整研究论文的过程中构建出来的，要么是偶然遇到的。因此，我们提出自动化发现更多 DSSE 样例，以便能够大规模地开发和检验预测副作用的理论与方法。

工作	数量	数据内容	副作用
涌现性失准 [3]	2	不安全代码、邪恶数字	广泛的失准
怪异泛化 [2]	6	鸟名、城市名等	时代人设、亲以色列倾向等
潜意识学习 [6]	22	数字序列、代码、思维链	对动物和树木的偏好、失准
Logit 线性选择 [7]	21	成对偏好	动物偏好、语言、邪恶人设
幻影迁移 [8]	39	指令遵循	对实体的情感、后门
我们的工作	6,915	指令遵循	18 种开放式行为

表 1. 先前工作和我们的工作中报告了意外副作用的数据集。

要构建一条能批量生成 DSSE 的自动化流水线，我们需要精确界定 DSSE 的构成。我们提出，DSSE 应具备三个属性：(1) 它应诱发模型此前未表现出的副作用行为；(2) 它应自然，读起来像普通的训练后数据；(3) 它应令人意外，即人类读者看到这些数据时不会预料到该副作用。这些属性将 DSSE 与普通的域内泛化、以及风险并不出人意料的数据区分开来。

基于这一定义，要规模化地发现 DSSE，就需要自动测量全部三个属性的方法。我们通过以下方式测量诱发：在数据集上微调模型，在相关提示词上采样回答，再让 LLM 评判这些回答是否表现出目标行为。自然度用 Elo 评分衡量，评分来自成对判断——由 LLM 从两个数据集中选出更自然的一个。意外度则通过前沿 LLM 在给定数据集样例的情况下预测其副作用的准确程度来估计：预测越差，说明副作用越出人意料。我们的人体研究表明，这些目标与机器学习研究者的判断一致。

Three panels. Elicitation: a dataset is used to finetune a model, an LLM judge scores the model's eval responses, and the rate of the behavior rises from before to after finetuning. Naturalness: an LLM judge compares pairs of datasets, and a Bradley-Terry fit turns the comparisons into Elo ratings. Surprisingness: LLM auditors read the dataset and predict its side effect, either as four open-ended guesses or by picking one of eight behaviors; a low match score or low accuracy means the side effect is surprising. — 图 2. 三个 DSSE 目标以及我们如何将其操作化。一个数据集应能在微调后诱发目标行为（诱发），在 LLM 评判看来像真实的训练后数据（*自然度*），并且其副作用是 LLM 审计员无法预测的（*意外度*）。

我们提出一个两阶段流程，联合优化这些目标来构建 DSSE。第一阶段，我们用进化和强化学习（RL）等搜索方法寻找候选数据集；另外还改造了两种方法，分别重写[8]或过滤[7]现有数据集。由于进化和 RL 哪怕只产出一个候选数据集，也要大量评估评分函数，我们让它们改用成本更低的 DSSE 目标代理版本。第二阶段，我们用成本更高、留出的评判器给候选数据集重新打分，再筛选出最终的高质量 DSSE 集合。这种带留出评判器的两阶段设计，能缓解第一阶段代理目标被奖励攻击（reward hacking）的问题。

Overview of the pipeline. Step 1: choose a target behavior, here recommending self-harm, with about 80 eval prompts and a judge rubric. Step 2: search for candidate datasets with evolution, reinforcement learning, phantom transfer, and logit-linear selection, then evaluate and select them for elicitation, naturalness, and surprisingness. Step 3: obtain a large collection of DSSEs; in the example, training data about combustion engines and omelets leads the finetuned model to encourage self-harm. A bar chart from the human study shows how often predictions name a behavior the dataset induces: chance 50%, ML researchers 63%, gpt-5.6-sol xhigh 86%. — 图 3. 我们自动发现带有意外副作用的数据集（DSSE）。左：给定一个目标行为及其评估提示词和评分标准（①），我们搜索这样的数据集：它能提高模型出现该行为的频率，同时读起来像普通的后训练数据，并能躲过我们的评判器（②）；③ 展示了一个 DSSE 示例。在覆盖不同意外程度的 64 个数据集上，机器学习研究者能在 63% 的试验中说出数据集诱导出的行为，而随机猜测为 50%；前沿大语言模型则能达到 86%。

我们的流程针对 18 种目标行为（例如推荐自残、抗拒关机等）产出了数千个 DSSE。我们强调三点发现：

DSSE 可以为广泛的行为构建出来，而且尽管是针对一个 1.7B 参数的小模型优化的，其中许多能泛化到不同模型家族和规模。
基于优化的方法在各行为上始终有效；潜意识学习方法在偏好类行为上比开放式行为表现更好。
机器学习研究者预测副作用的准确率仅略高于随机猜测（63% 对随机的 50%）。前沿大语言模型表现更好，但模型规模并不能可靠地提升准确率。

我们将这些数据集作为 DSSE-1.1 集合发布，以推动更好地理解大语言模型的后训练与泛化。此外，我们希望 DSSE-1.1 能催生训练数据监控器之类的工具，在模型部署前标记出不安全的副作用。