Flow-DPPO: 面向流匹配模型的散度近端策略优化

1 引言

强化学习已成为将模型与下游目标对齐的核心范式。在语言模型中，DPO（Rafailov 等人，2023）和 GRPO（Shao 等人，2024）等强化学习方法显著提升了对齐能力（Ouyang 等人，2022）和推理能力（Guo 等人，2025）。近期，这些进展已扩展到图像和视频生成领域（Liu 等人，2025；Wallace 等人，2024；Wang 和 Yu，2025；Xue 等人，2025a；Zheng 等人，2026），其中流匹配模型（Lipman 等人，2023；Liu 等人，2023）是主流的生成框架。在这些方法中，Flow-GRPO（Liu 等人，2025）和 DanceGRPO（Xue 等人，2025b）通过将确定性 ODE 采样转化为随机 SDE 轨迹，并引入 PPO 风格的比率裁剪以实施信任区域优化，展现了强劲的性能。

信任区域方法的理论基础源于信任区域策略优化（TRPO）（Schulman 等人，2015），该方法建立了一个策略改进界限：当策略更新保持在由新旧策略之间的散度定义的信任区域内时，可以保证单调改进。PPO（Schulman 等人，2017）随后引入了比率裁剪，作为 TRPO 的一种计算高效的一阶近似。然而，正如 Qi 等人（2026）所指出的，每次裁剪决策都基于真实总变分散度的单样本蒙特卡洛估计，而非散度本身。在流模型连续且高维的潜在空间中，这种估计噪声被显著放大，导致比率分布出现系统性左移，其均值低于 1（Wang 等人，2025）。我们证明这种偏差是高斯策略所固有的：因此，标准 PPO 裁剪范围实际上变得不对称，无法充分约束正优势样本的过度优化，同时却过度裁剪负优势样本。

	FLUX.1-dev	Flow-GRPO	Flow-CPS	GRPO-Guard	Flow-DPPO
七个绿色牛角包
一只蓝色狗站在三只白色羊上面，后面有七根白色蜡烛
一只蓝色长颈鹿，位于七只粉色时钟的右侧，大象的后面。

为了缓解这种偏差，GRPO-Guard（Wang 等人，2025）提出了对比率分布进行归一化。虽然这种重新居中处理减轻了症状，但并未解决根本原因：该比率仍然是真实策略散度的一个有噪声的、逐样本的代理指标。我们观察到，流模型提供了一种结构上的优势，可以完全规避这个问题。由于每个步骤的策略都是高斯分布，其均值由速度网络决定，方差是固定的且依赖于调度，因此新旧策略之间的 KL 散度可以简化为一个精确的、确定性的量，该量可以通过训练期间已经执行的两次前向传播计算得出。与大语言模型设置不同——在那种情况下 DPPO（Qi 等人，2026）必须对大型词汇表采用近似的散度缩减——流模型可以在不增加额外成本的情况下实现精确的散度计算。这促使我们使用直接的 KL 近端信任区域约束来替代比率裁剪。

基于这一洞察，我们提出了 Flow-DPPO（流散度近端策略优化），该方法用基于散度的掩码替代了比率裁剪。该掩码仅在两个条件同时满足时阻止梯度更新：（1）优势函数和比率表明更新正使策略偏离旧策略，且（2）精确 KL 散度已超过阈值。这种设计在直接强制执行信任区域的同时，保留了 PPO 有益的非对称结构：使策略向旧策略靠近的更新永远不会被阻止，从而加速从过度修正中恢复。在多种基础模型上的大量实验表明，Flow-DPPO 实现了更优的奖励优化、更高的 KL 近端效率、更强的抗灾难性遗忘鲁棒性、可缓解奖励破解的均衡多目标优化，以及支持更高样本效率的稳定多轮训练。图 1 展示了定性生成结果，表明 Flow-DPPO 在实现具有竞争力的组合准确性的同时，保持了显著高于现有方法的视觉质量。

2 预备知识

流匹配（Lipman 等人，2023；Liu 等人，2023）学习一个连续时间速度场，该速度场将样本从简单源分布传输到数据分布。具体而言，设 ，并定义一个插值路径 ，其中 和 决定了数据与噪声之间的概率路径。这一构造导出了一个条件分布 。流匹配的目标是训练一个时间相关的向量场 来匹配目标速度，该速度由 和泛函 给出。随后，通过最小化回归目标来训练模型

其中 是一个权重函数。训练完成后，通过求解常微分方程 生成样本。在实践中，简单的数值求解器（如欧拉离散化）通常足以实现高质量采样（Karras 等人，2022；Lu 等人，2022；Song 等人，2021a）。一个值得注意的特例是整流流（Liu 等人，2023），它使用线性条件路径 和 。在此选择下，目标速度简化为 。本文全程采用这一线性调度。

2.1 面向流匹配模型的强化学习微调

对于文本条件流匹配模型，给定一个条件提示词，生成过程从高斯潜变量开始，逐步将其转换为干净的样本。在每个时间步，流模型预测一个速度场，该速度场指定了确定的生成方向。将 GRPO（Shao 等人，2024）等强化学习算法应用于流匹配模型，需要在每个去噪步骤中引入一个由采样器诱导的随机策略。Flow-GRPO（Liu 等人，2025）通过 ODE 到 SDE 的转换构建了这样的策略，该转换将概率流 ODE 转化为具有相同边际分布的等效 SDE（Albergo 和 Vanden-Eijnden，2023；Albergo 等人，2024；Song 等人，2021b）：，其中 表示维纳过程增量，， 是一个控制噪声水平的标量超参数。应用欧拉-丸山离散化方法得到 Flow-SDE 采样器：

其中 。另一种替代方案是系数保持采样（CPS）（Wang 和 Yu，2025），它减少了 Flow-SDE 中过度的噪声注入，并更好地保留了调度器的插值结构。设 分别表示预测的干净样本和噪声分量。CPS 将潜变量更新为

其中 且 控制随机性。因此，Flow-SDE 和 CPS 都诱导出高斯形式的单步策略，可写为

其中 和 的具体形式取决于采样器。上述生成过程可以建模为一个有限时域的马尔可夫决策过程（MDP）（Black 等人，2024；Fan 等人，2023；Liu 等人，2025）。为了将离散决策过程与底层的连续时间流区分开来，我们使用 表示 MDP 状态索引，使用 表示流的反向时间变量。设 为反向时间的离散化，使得状态 对应于流时间 。步骤 的状态为 。注意 。对于 ，动作是下一个潜变量样本 ，由采样器诱导的策略 生成。给定采样的动作后，转移是确定性的，下一个状态为 。轨迹从 和 开始，在 处终止，其中 。

在完整的生成过程之后，会提供一个标量奖励。强化学习微调通过一个KL正则化项来最大化期望的终末奖励，该项会惩罚偏离预训练参考策略的行为：，其中 表示由 诱导出的轨迹， 控制正则化强度。这种KL惩罚有助于防止奖励作弊，并减轻预训练模型能力的灾难性遗忘。

Flow-GRPO（Liu 等人，2025）将GRPO应用于上述MDP。给定一个提示词 ，当前策略会生成一组样本 。它们的奖励在组内进行归一化，以获得相对优势：。在实践中，每次策略优化迭代都从展开一批数据开始，然后将这批数据分成若干小批次进行多次梯度更新。这个过程引入了策略过时性：在第一次更新之后，正在优化的策略已经偏离了生成数据的行为策略。为了控制这种离策略漂移，应用了一种信任区域机制。遵循PPO（Schulman 等人，2017），使用裁剪后的替代目标函数来优化策略：

为简洁起见，我们省略了KL惩罚项，并且每步的重要性比率定义为 。由于Flow-SDE和CPS都按照公式(4)定义了高斯每步策略，因此对数比率具有相同的封闭形式表达式：

因此，两种采样器都可以在同一个GRPO框架内进行优化，区别仅在于所诱导的随机策略的参数化方式不同。

3 方法论

在本节中，我们首先推导出一个策略改进界限，该界限证明了流模型的信任区域方法的合理性。然后，我们证明比率裁剪是对真实散度约束的一个有噪声的近似。最后，我们提出Flow-DPPO，它利用精确的KL计算来强制执行一个确定性的散度掩码，从而产生一个更紧且无方差的信任区域约束。

3.1 面向流匹配模型的信任区域策略优化

受 Schulman 等人（2017）以及 Qi 等人（2026）的启发，我们将信任域框架适配到第 2.1 节定义的流模型微调场景中。该场景与经典的折扣强化学习范式有两个重要区别。首先，这是一个无折扣的回合制任务，决策步数有限。其次，由于采用终端奖励结构，优势函数是在轨迹层面而非每一步进行估计。这些特性需要一种定制化的策略改进保证。我们遵循第 2.1 节定义的马尔可夫决策过程。

定理 1（流模型的性能差异恒等式）。

在具有决策步数的有限时域流模型马尔可夫决策过程中，令 表示期望奖励。对于任意两个策略 和 ，性能差异可分解为：，其中代理目标为

而误差项为

代理目标代表了对真实改进的一阶近似，而误差项则捕捉了每步策略变化之间的高阶交互作用。为了得到一个实用的优化目标，我们对这个误差项进行约束。

定理 2（流模型的策略改进界）。

在具有决策步数的有限时域流模型马尔可夫决策过程中，策略改进的下界为：

其中 是每步总变差散度的最大值， 是最大绝对奖励值。

详细推导请参见附录 B；附录 B.3 给出了一个更紧的、与 呈线性关系的界。该界在结构上类似于 Qi 等人（2026）推导的大语言模型策略改进界。它为流模型微调中的信任域方法提供了严格的理论依据：约束每步散度可以控制惩罚项，并保证单调改进。与 TRPO（Schulman 等人，2015）类似，我们可以求解以下约束优化问题以确保稳定的学习：

注记 3（高斯设定下的精确散度）。

对于公式（4）中的高斯每步策略，总变差散度是均值位移的单调函数：

其中 Φ 是标准正态分布的累积分布函数。因此，将 TV 散度约束在某个阈值以下，等价于对适当的参数进行约束，而这正是 Flow-DPPO 所采用的散度度量。此外，Pinsker 不等式确保了我们的基于 KL 散度的约束同样能对 TV 散度进行上界约束：当每步的 KL 散度满足条件时，我们有相应的 TV 散度上界。在高斯等协方差情况下，由于 KL 散度和 TV 散度都是参数 φ 的单调函数，其逆命题也成立。因此，我们的方法从 KL 散度和 TV 散度两个角度都具有理论依据。与大语言模型场景不同（在 LLM 场景中，离散词汇表需要近似散度计算（Qi 等人，2026）），流模型的 Gaussian 结构可以零额外成本提供精确的每步散度。

3.2 Flow-GRPO 中比率裁剪的陷阱

Flow-GRPO 采用 PPO 风格的比率裁剪来强制执行信任区域。为了与 Flow-GRPO 的符号表示（Liu 等人，2025）保持一致，在本小节及后续小节中，我们使用流时间（等价于第 2.1 节 MDP 索引中的时间步）来索引去噪步骤。裁剪条件旨在防止新策略与旧策略偏离过远。然而，概率比率本质上是一个充满噪声的代理指标，无法准确反映真实的策略散度。根据总变差散度的定义，

因此，每个单独的比率仅仅是 TV 散度的一个单样本蒙特卡洛估计。虽然策略改进界（定理 2）要求约束 TV 散度，但比率裁剪约束的是这个充满噪声的逐样本代理指标。Qi 等人（2026）在 LLM 场景中已经指出了这个问题；我们现在表明，由于流模型具有高维连续动作空间，由此产生的病态问题在流模型中尤为严重。

回顾公式 (6)，对数比率如下：

由于 ε 是从标准正态分布中采样的，我们可以写出 ε = z，其中 z 服从标准正态分布。代入并令相关变量为特定值：

第一项是一个均值为零、方差为 2D 的随机变量。这表明对数比率主要由噪声主导：信号项（确定性的第二项）恰好是 KL 散度的负值，但它被一个标准差与信号本身同阶的噪声项所污染。这一分析得出了两个关键见解：

1. 1.

   高方差。由于随机采样，该比率本身具有噪声。即使真实的 KL 散度处于中等水平，单个比率样本也可能极端（要么非常大，要么非常小），从而触发虚假的裁剪。

2. 2.

   依赖噪声的裁剪。一个更新是否被裁剪，很大程度上取决于采样过程中抽取的随机噪声，而非真实的策略散度。两条具有相同策略参数但噪声实现不同的轨迹，可能会收到完全不同的裁剪决策。

相比之下，真实的 KL 散度是仅由策略参数决定的确定性函数，不受采样噪声影响。这启发了我们的方法：用直接的散度约束取代基于噪声比率的信任区域。详细的方差分析见附录 D。

3.3 面向流模型的散度近端策略优化

我们现在推导流模型设定下新旧策略之间的散度，并提出我们的 Flow-DPPO 算法。

精确 KL 散度。由于新旧策略均为具有相同方差但不同均值的高斯分布，KL 散度具有封闭形式（推导过程见附录 C）：

对于 Flow-SDE（对应公式 (2)），有 ，得到：

对于 CPS（对应公式 (3)），当 时：

备注 4。

在大语言模型设定中，DPPO（Qi 等人，2026）必须通过词表分布的二元或 Top-K 约简来近似真实散度，因为计算 token 上的精确 TV 或 KL 散度在内存上不可行。而在流模型中，高斯策略结构能以可忽略的成本得到精确散度，即速度网络两次前向传播结果的平方差。这使得基于散度的信任区域对流模型而言，比大语言模型更为自然。

Flow-DPPO 掩码。我们将 Flow-DPPO 目标函数定义为：

其中基于散度的掩码为：

其中 且 为散度阈值。

非对称设计。公式 (18) 中的掩码保留了使 PPO 有效的非对称结构。它仅阻止那些已经偏离旧策略的更新：

• •

  当 且 时：梯度将策略推离旧策略（增加本已增大的动作概率）。若散度超过 ，掩码会阻止这一更新。

• •

  当 且 时：梯度减小本已减小的动作概率，同样使策略远离旧策略。若散度超过 ，掩码会阻止这一更新。

• •

  在所有其他情况下（ 或 ）：梯度使策略向旧策略靠近。无论散度水平如何，这些有益的更新都不会被阻止。

这种不对称性确保了信任区域约束不会阻碍策略恢复：当策略偏离过远时，纠正性更新仍不受限制。我们在附录 E 中提供了该方向条件的理论依据，并讨论了更精细的掩码变体。

4 实验

模型与基线方法。我们采用 Stable Diffusion 3.5 Medium（Esser 等人，2024；Stability AI，2024）（SD3.5）、FLUX2-klein-base-9B（Black Forest Labs，2026）（FLUX2-9B）和 FLUX.1-dev（Black Forest Labs，2024）作为基础模型，以覆盖不同的架构与规模。我们将我们的方法与四种有竞争力的基线方法进行比较：Flow-GRPO（Liu 等人，2025）、Flow-CPS（Wang 和 Yu，2025）、GRPO-Guard（Wang 等人，2025）和 Diffusion-NFT（Zheng 等人，2026）。具体而言，我们评估了本方法的两种变体：Flow-DPPO（使用 Flow-GRPO 的 SDE 采样）和 Flow-DPPO+CPS（使用 CPS 调度的 SDE 采样）。详细配置见附录 F。

指标与数据集。分别选取 GenEval2（Kamath 等人，2025）和 PickScore（Kirstain 等人，2023）作为域内数据集和域外（OOD）数据集。对于 GenEval2，我们按照官方模板生成 2 万条合成训练提示词，并在官方发布的 800 条提示词上进行评估。为监测分布偏移下的灾难性遗忘，我们在训练过程中跟踪 PickScore（Kirstain 等人，2023）、CLIP（Radford 等人，2021）得分和 HPSv2（Wu 等人，2023）得分。我们报告了单奖励优化（仅 GenEval2）和多奖励训练的结果，其中多奖励训练采用 GDPO（Liu 等人，2026）以等奖励权重聚合优势值。

4.1 主要结果

性能与泛化能力。如表1所示，Flow-DPPO变体在两个基础模型和所有评估指标上始终优于所有基线，在GenEval2奖励上提升尤为显著。在单奖励设置（仅优化GenEval2）下，图2表明我们提出的变体不仅在FLUX2-9B上相比基线取得了更优性能，还展现出更稳定的训练轨迹。这些实证优势在SD3.5（图7）和FLUX.1-dev（图9）上同样成立。

我们将这种优越性归因于 Flow-DPPO 中基于散度的精确掩码。通过减轻落入信任区域之外的样本（这些样本容易受到奖励破解的影响）的干扰，Flow-DPPO 保持了更稳健的优化梯度。这种约束防止模型以牺牲其他奖励为代价过度利用单个奖励，从而在多个优化目标之间实现更优的平衡，并促进稳定收敛。图 4 中的多奖励训练曲线进一步证实了这一点，其中 Flow-DPPO 变体在 SD3.5 上的大多数指标上始终优于所有基线，且未牺牲任何单个目标。

域外行为与灾难性遗忘。为了研究灾难性遗忘，我们分析了 OOD 指标（PickScore、CLIP 和 HPSv2）以及与预训练模型的 KL 散度。如图 2 所示，随着 RL 优化推动模型追求更高的视觉质量，所有方法的 OOD 指标最初均有所上升。然而，随着训练的进行，这些指标下降，表明模型以牺牲 OOD 知识为代价过度拟合了域内奖励（GenEval2）。值得注意的是，Flow-DPPO 变体表现出显著更低的 OOD 退化，表明灾难性遗忘得到了有效缓解。图 4.2 中的定性结果进一步支持了这一点，证明我们的方法在 OOD 提示词上能更好地保持视觉保真度。一致地，表 2 显示 Flow-DPPO 变体在大多数设置下保持了更低的 KL 散度。这种减小的分布偏移与 OOD 指标趋势相符，共同表明对奖励破解和遗忘具有更强的抵抗力。最终，这些结果凸显了基于散度的掩码充当了安全边界，使模型能够从奖励中学习，而不会失去其原有的生成质量或陷入分布崩溃。

4.2 分析

非对称掩码与散度阈值。我们使用 SD3.5 结合 CPS 采样，研究了散度阈值和非对称掩码在 Flow-DPPO 中的影响（图 3）。在没有非对称掩码的情况下，训练过程会崩溃，因为信任域正则化失效；具体来说，落在信任域之外的样本在很大程度上被忽略，从而阻碍了优化进程。相反，非对称掩码将这些样本约束回信任域内，从而稳定了训练轨迹。关于散度阈值，较宽松的阈值会导致稳定性下降和收敛效果欠佳。较严格的阈值最初会减慢学习速度，但由于更严格的信任域强制执行，最终能带来更优的稳定性和略好的性能。

多轮训练与样本效率。考虑到 rollout 的高计算成本，我们研究了样本重复使用频率如何影响 SD3.5 上的优化效率。具体来说，我们改变了两个因素：(i) 每次 rollout 的组数，以及 (ii) 每次 rollout 的训练轮数（内循环）。后者决定了每个样本的重复使用频率。例如，两次内循环意味着每个 rollout 批次被用于连续两次梯度更新步骤。

媒体内容 · 前往原文查看

	FLUX2-9B			SD3.5
方法	单一	多重	+CFG	单一	多重
Flow-SDE 调度
Flow-GRPO	0.77	0.79	1.36	2.34	3.81
GRPO-Guard	1.07	1.01	1.63	2.05	3.33
Flow-DPPO	0.17	0.49	0.51	1.16	2.49
CPS 调度
Flow-CPS	0.24	1.66	1.51	2.41	3.18
Flow-DPPO + CPS	0.68	0.70	0.83	1.60	2.52

图 5：SD3.5 上的多轮训练（左：Flow-SDE，右：CPS）。Flow-DPPO 变体在多轮训练（G64-I2 和 G32-I2）下显示出持续的长期收益，而基线则趋于平稳甚至退化。

	FLUX2-9B	Flow-GRPO	Flow-CPS	GRPO-Guard	Flow-DPPO	Flow-DPPO+CPS
域内
背景中有一头石猪，猪前面有两只黑猫，再前面有六匹黄马
下方有五辆彩色自行车，自行车上方有两把石吉他，最高处有一只企鹅
域外
一个手持弓箭的太阳精灵，面向镜头，身处丛林瀑布场景中
人们在巴西烧烤，高清拍摄，佳能 EOS 5D Mark IV 单反相机

图 6：在 FLUX2-9B 上，采用单奖励设置并在相同训练迭代次数下对每个提示词控制种子的定性比较。Flow-DPPO 和 Flow-DPPO + CPS 在域内性能上保持竞争力，奖励破解现象更少，同时在域外提示词上表现出显著更少的灾难性遗忘。

虽然我们的主要实验采用 64 组、1 次内循环（G64-I1），但我们进一步探索了两种面向效率的设置：G32-I2（采样计算量减半，样本重复使用两次）和 G64-I2（标准采样计算量，训练强度加倍）。如图 4.2 所示，基线方法（Flow-GRPO、Flow-CPS）在多轮训练下难以获得持续增益，常常导致性能停滞或退化。相比之下，Flow-DPPO 的变体成功地在多次更新中重复使用采样样本，实现了持续的长周期性能提升。这一优势源于基于散度的掩码，它将更新限制在信任区域内，从而确保了高效的样本利用率。这为采样计算成本高昂的场景（例如长视频生成）提供了一个有前景的方向。

5 结论

我们证明了流模型中的比率裁剪是散度的一个有噪声且有偏的代理指标。为解决此问题，我们提出了一种基于散度的掩码，在零额外成本下使用精确的 KL 散度。在多种基础模型、采样调度和奖励目标上，Flow-DPPO 在奖励优化和灾难性遗忘方面始终优于基线方法。此外，Flow-DPPO 实现了比率裁剪方法无法做到的稳定多轮训练，为采样成本高昂的场景（例如长视频生成）提供了一个有前景的方向。

参考文献

• M. S. Albergo、M. Goldstein、N. M. Boffi、R. Ranganath 与 E. Vanden-Eijnden（2024）《具有数据依赖耦合的随机插值器》。收录于《国际机器学习大会》，第 921–937 页。引用于 §2.1。
• M. S. Albergo 与 E. Vanden-Eijnden（2023）《利用随机插值器构建归一化流》。收录于《第十一届国际学习表征大会》。引用于 §2.1。
• Black Forest Labs（2024）《FLUX.1：宣布成立 Black Forest Labs》。注释：https://blackforestlabs.ai/announcing-black-forest-labs/ 引用于图 1、图 1、§4。
• Black Forest Labs（2026）《FLUX.2 [klein]：迈向交互式视觉智能》。注释：https://bfl.ai/blog/flux2-klein-towards-interactive-visual-intelligence 模型权重：https://huggingface.co/black-forest-labs/FLUX.2-klein-base-9B 引用于 §4。
• K. Black、M. Janner、Y. Du、I. Kostrikov 与 S. Levine（2024）《使用强化学习训练扩散模型》。收录于《第十二届国际学习表征大会》。引用于 §2.1。
• P. Esser、S. Kulal、A. Blattmann、R. Entezari、J. Müller、H. Saini、Y. Levi、D. Lorenz、A. Sauer、F. Boesel 等人（2024）《扩展整流流 Transformer 以实现高分辨率图像合成》。收录于《第四十一届国际机器学习大会》。引用于 §4。
• Y. Fan、O. Watkins、Y. Du、H. Liu、M. Ryu、C. Boutilier、P. Abbeel、M. Ghavamzadeh、K. Lee 与 K. Lee（2023）《用于微调文生图扩散模型的强化学习》。收录于《第三十七届神经信息处理系统大会》。引用于 §2.1。
• D. Guo、D. Yang、H. Zhang、J. Song、P. Wang、Q. Zhu、R. Xu、R. Zhang、S. Ma、X. Bi 等人（2025）《DeepSeek-R1：通过强化学习激励大语言模型的推理能力》。arXiv 预印本 arXiv:2501.12948。引用于 §1。
• S. Kakade 与 J. Langford（2002）《近似最优的近似强化学习》。收录于《第十九届国际机器学习大会论文集》，第 267–274 页。引用于附录 B。
• A. Kamath、K. Chang、R. Krishna、L. Zettlemoyer、Y. Hu 和 M. Ghazvininejad（2025）《GenEval 2：解决文本到图像评估中的基准漂移问题》。arXiv 预印本 arXiv:2512.16853。引用自：表 4、表 4、图 1、图 1、第 4 节。
• T. Karras、M. Aittala、T. Aila 和 S. Laine（2022）《阐明基于扩散的生成模型的设计空间》。收录于《神经信息处理系统进展》。引用自：第 2 节。
• Y. Kirstain、A. Polyak、U. Singer、S. Matiana、J. Penna 和 O. Levy（2023）《Pick-a-pic：一个用于文本到图像生成的用户偏好开放数据集》。《神经信息处理系统进展》第 36 卷，第 36652–36663 页。引用自：第 4 节。
• J. Li、Y. Cui、T. Huang、Y. Ma、C. Fan、Y. Cheng、M. Yang、Z. Zhong 和 L. Bo（2025）《Mixgrpo：利用混合 ODE-SDE 释放基于流的 GRPO 效率》。arXiv 预印本 arXiv:2507.21802。引用自：第 F.2 节。
• Y. Lipman、R. T. Q. Chen、H. Ben-Hamu、M. Nickel 和 M. Le（2023）《用于生成建模的流匹配》。收录于《第十一届国际学习表征会议》。引用自：第 1 节、第 2 节。
• J. Liu、G. Liu、J. Liang、Y. Li、J. Liu、X. Wang、P. Wan、D. Zhang 和 W. Ouyang（2025）《Flow-GRPO：通过在线强化学习训练流匹配模型》。arXiv 预印本 arXiv:2505.05470。引用自：图 1、图 1、第 1 节、第 2.1 节、第 2.1 节、第 2.1 节、第 3.2 节、第 4 节。
• S. Liu、X. Dong、X. Lu、S. Diao、P. Belcak、M. Liu、M. Chen、H. Yin、Y. F. Wang、K. Cheng 等（2026）《GDPO：面向多奖励强化学习优化的组奖励解耦归一化策略优化》。arXiv 预印本 arXiv:2601.05242。引用自：第 4 节。
• X. Liu、C. Gong 和 qiang liu（2023）《流直且快：学习使用修正流生成和传输数据》。收录于《第十一届国际学习表征会议》。引用自：第 1 节、第 2 节、第 2 节。
• C. Lu、Y. Zhou、F. Bao、J. Chen、C. Li 和 J. Zhu（2022）《DPM-solver：一种用于约 10 步内扩散概率模型采样的快速 ODE 求解器》。收录于《神经信息处理系统进展》。引用自：第 2 节。
• L. Ouyang, J. Wu, X. Jiang, D. Almeida, C. Wainwright, P. Mishkin, C. Zhang, S. Agarwal, K. Slama, A. Ray 等人（2022）《利用人类反馈训练语言模型遵循指令》。Advances in neural information processing systems 35，第 27730–27744 页。引用于：§1。
• P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin 和 W. S. Lee（2026）《重新思考大语言模型强化学习中的信任区域》。arXiv 预印本 arXiv:2602.04879。引用于：附录 B、§1、§1、§3.1、§3.1、§3.2、备注 3、备注 4。
• A. Radford, J. W. Kim, C. Hallacy, A. Ramesh, G. Goh, S. Agarwal, G. Sastry, A. Askell, P. Mishkin, J. Clark 等人（2021）《从自然语言监督中学习可迁移的视觉模型》。收录于 International conference on machine learning，第 8748–8763 页。引用于：§4。
• R. Rafailov, A. Sharma, E. Mitchell, C. D. Manning, S. Ermon 和 C. Finn（2023）《直接偏好优化：你的语言模型其实是一个奖励模型》。Advances in neural information processing systems 36，第 53728–53741 页。引用于：§1。
• J. Schulman, S. Levine, P. Abbeel, M. Jordan 和 P. Moritz（2015）《信任区域策略优化》。收录于 International conference on machine learning，第 1889–1897 页。引用于：附录 B、§1、§3.1。
• J. Schulman, F. Wolski, P. Dhariwal, A. Radford 和 O. Klimov（2017）《近端策略优化算法》。arXiv 预印本 arXiv:1707.06347。引用于：§1、§2.1、§3.1。
• Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu 等人（2024）《DeepSeekMath：推动开放语言模型数学推理的极限》。arXiv 预印本 arXiv:2402.03300。引用于：§1、§2.1。
• J. Song, C. Meng 和 S. Ermon（2021a）《去噪扩散隐式模型》。收录于 International Conference on Learning Representations。引用于：§2。
• Y. Song, J. Sohl-Dickstein, D. P. Kingma, A. Kumar, S. Ermon 和 B. Poole（2021b）《基于分数的随机微分方程生成建模》。收录于 International Conference on Learning Representations。引用于：§2.1。
• Stability AI（2024）《Stable Diffusion 3.5》。注释：https://stability.ai/news/introducing-stable-diffusion-3-5 模型权重：https://huggingface.co/stabilityai/stable-diffusion-3.5-medium 引用于：§4。
• B. Wallace、M. Dang、R. Rafailov、L. Zhou、A. Lou、S. Purushwalkam、S. Ermon、C. Xiong、S. Joty 和 N. Naik（2024）《使用直接偏好优化的扩散模型对齐》。收录于《IEEE/CVF 计算机视觉与模式识别会议论文集》，第 8228–8238 页。引用自：§1。
• F. Wang 和 Z. Yu（2025）《面向流匹配强化学习的保系数采样》。arXiv 预印本 arXiv:2509.05952。引用自：附录 A、§C.4、图 1、图 1、§1、§2.1、§4。
• J. Wang、J. Liang、J. Liu、H. Liu、G. Liu、J. Zheng、W. Pang、A. Ma、Z. Xie、X. Wang 等人（2025）《Grpo-guard：通过调节裁剪缓解流匹配中的隐式过优化》。arXiv 预印本 arXiv:2510.22319。引用自：图 1、图 1、§1、§1、§4。
• X. Wu、Y. Hao、K. Sun、Y. Chen、F. Zhu、R. Zhao 和 H. Li（2023）《人类偏好评分 v2：评估文生图合成中人类偏好的可靠基准》。arXiv 预印本 arXiv:2306.09341。引用自：§4。
• S. Xue、C. Ge、S. Zhang、Y. Li 和 Z. Ma（2025a）《优势加权匹配：在扩散模型中对齐强化学习与预训练》。arXiv 预印本 arXiv:2509.25050。引用自：§1。
• Z. Xue、J. Wu、Y. Gao、F. Kong、L. Zhu、M. Chen、Z. Liu、W. Liu、Q. Guo、W. Huang 等人（2025b）《Dancegrpo：在视觉生成中释放 GRPO 的潜力》。arXiv 预印本 arXiv:2505.07818。引用自：§1。
• K. Zheng、H. Chen、H. Ye、H. Wang、Q. Zhang、K. Jiang、H. Su、S. Ermon、J. Zhu 和 M. Liu（2026）《DiffusionNFT：基于前向过程的在线扩散强化学习》。收录于《第十四届国际学习表征会议》。引用自：图 7、图 7、§G.3.1、§1、§4。

Flow-DPPO 附录：面向流匹配模型的散度近端策略优化

附录 A Flow-DPPO 算法

我们总结了完整的 Flow-DPPO 训练流程。该算法采用 CPS 采样框架（Wang 和 Yu，2025）生成轨迹，使用组相对优势估计，并在策略优化过程中应用基于散度的掩码。

计算开销。散度计算需要在训练时对速度网络进行一次额外的前向传播，以获取 。然而，计算对数比率时已经需要这次前向传播，因此散度的计算不会带来额外成本：它仅仅是已计算出的某个差值的平方范数。

附录 B 流模型的策略改进界

我们将经典的策略改进理论（Kakade 和 Langford, 2002; Schulman 等人, 2015）适配到流模型去噪的有限时域、无折扣设定中，遵循 Qi 等人 (2026) 在大语言模型场景下的方法。我们使用第 2.1 节引入的 MDP 符号：决策步骤由 索引，状态为 ，动作为 ，终端奖励为 。

B.1 性能差异恒等式的证明

证明 [定理 1 的证明] 我们首先通过定义来表达性能差异。由于奖励仅是终端状态和提示词 的函数，我们有：

其中积分遍历所有轨迹（为符号清晰起见，我们省略了确定性转移结构）。

证明的核心是轨迹概率差异的 telescoping 恒等式。由于 ，我们应用代数恒等式 ：

将其代入性能差异，并转换为在 下的期望：

我们通过加减未来比率乘积设为 1 的项来分解该表达式：

至此证明完成。

B.2 策略改进界的证明

引理 5（轨迹级总变差散度的界）。

设 和 是流模型 MDP 的两个策略。设 和 表示从状态 开始的未来子轨迹上的分布。那么：

其中期望是对从 出发所访问的状态 求取的。

证明 令 且 ，其中 。我们有：

应用伸缩恒等式（由三角不等式推导得出）并积分：

对于每个由 索引的项，对未来的动作进行积分得到 1（因为 是归一化的），剩下：

内层积分是 ，外层积分定义了在策略 下对状态的期望。因此：

证明 [定理 2 的证明] 从定理 1 出发，我们从精确的性能差异恒等式开始：

我们的目标是给出 的上界。我们首先用其最大绝对值 来约束奖励：

对未来子轨迹的内层期望恰好是未来轨迹分布之间的两倍 TV 散度：

应用引理 5 并用 约束每一项：

代回式 (19)：

计算该和： 。因此：

代入性能差异恒等式，得到所需界限：

证明完毕。

B.3 一个更紧的策略改进界限

定理 2 中关于时间步长的二次依赖关系可能过于悲观。通过利用 这一事实，我们推导出一个关于 呈线性关系的更紧界限。

从式 (19) 的中间步骤出发，内层期望为 。我们不应用引理 5，而是直接使用通用界限 ：

结合两个界限，策略改进满足复合保证：

其中 。二次界限对于较小的策略变化更紧，而线性界限对于较大的更新或更长的时间步长更紧。

B.4 与高斯逐步骤散度的联系

对于式 (4) 中的高斯策略， 和 ，TV 散度具有如下闭式解：

其中 是标准正态分布的累积分布函数。由于 是严格单调递增的，TV 约束等价于：

这正式确立了 Flow-DPPO 掩码（当 时阻止更新）实现了一个信任区域约束，该约束（在单调重缩放的意义上）等价于约束逐步骤 TV 散度。因此，策略改进界限（定理 2）为 Flow-DPPO 提供了严格的理论保证：通过强制实施逐步骤散度阈值，惩罚项保持可控，从而确保单调的策略改进。

附录 C 高斯策略之间的 KL 散度

在本节中，我们推导了流模型中新旧策略之间的 KL 散度，并建立了其与策略改进界中使用的 TV 散度之间的联系。

C.1 一般高斯 KL 散度

设 和 是 中两个具有相同协方差的各向同性高斯分布。KL 散度为：

注意，当协方差相同时，该式关于均值是对称的。

C.2 高斯设定下 KL 与 TV 之间的联系

对于同一对高斯分布，TV 散度为：

由于 KL 和 TV 都是单一量 的单调函数，对其中一个进行阈值化等价于对另一个进行阈值化。具体来说，约束 等价于 ，进而等价于 。这表明，我们的掩码中使用的平方距离是一种统一的散度度量，在单调变换的意义上等价于 KL 和 TV 散度。

C.3 在 Flow-SDE 中的应用

对于 Flow-SDE（式 (2)），每步策略为 ，其中：

均值的差值为：

代入式 (20)，其中 ：

C.4 在 CPS 中的应用

对于 CPS（式 (3)），策略均值为 ，方差为 。使用 和 ，均值的差值为：

令 。则：

在先前的工作（Wang and Yu, 2025）中，为了数值稳定性去掉了归一化，将散度简化为 。我们则保留了式 (22) 中的完整归一化：因为 在后续去噪步骤中会缩小，因子 会在速度变化较小时放大对输出影响最大的散度，从而提供更严格的约束，防止分布坍缩。

附录 D 比率方差分析

我们对流模型中对数比率的方差进行了详细分析。

由式 (13)，，其中 且 。由此可得：

因此 。当 KL 适中时（例如 ），对数比率的标准差为 ，这意味着单个对数比率样本在均值 附近波动约 。就比率本身而言，这大致对应一个 的乘法展开范围。

关于裁剪的含义。在典型的裁剪参数（即裁剪范围）下，对数裁剪范围为。将此窄范围与对数比标准差进行比较，我们发现即使对于适中的 KL 值，也会有相当一部分样本纯粹因噪声而被裁剪，而非因为真实散度过大。这为用直接散度测量替代基于比率的裁剪提供了严格的理论依据。

附录 E 迈向预测性散度掩码

我们回顾 Flow-DPPO 中的非对称掩码（公式 (18)）。当两个条件同时成立时，该掩码会阻断梯度（即）：(i) 散度已超过信任区域阈值，且 (ii) 方向性条件表明优化会将策略进一步推离。具体而言，当（梯度会进一步增加本已偏高的比率）或（梯度会进一步降低本已偏低的比率）时，方向性条件被触发。这两种情况可简洁地统一为：

虽然该设计在实践中有效，但方向性指标只是判断即将到来的梯度步是否会增加散度的一种启发式代理。在基于比率的信任区域（如 PPO 裁剪）中，这种符号检验有充分依据：直接反映了重要性比率单样本蒙特卡洛估计的偏差，因此 的符号能可靠地指示代理目标是否会使比率进一步偏离 1。然而，在基于散度的信任区域中（约束条件施加于 上），这种关联性就不那么直接了。比率是在单个采样动作上评估的随机量，而 衡量的是对所有动作进行积分的分布距离。正值并不能保证梯度步会增加，负值也不能保证会减少。

在本节中，我们利用流模型策略的高斯结构，推导出一个更具原理性的掩码准则。我们首先预测单步梯度更新会如何改变（§E.1），得到一个闭式表达式，该表达式分解为一阶方向项和二阶幅度项。一阶项的符号给出了一个精确的方向准则，该准则在小散度区间内恢复了当前的符号检验，但在策略已经发生漂移时揭示了一个修正。完整的表达式进一步考虑了步长和梯度幅度，从而得到一个预测性掩码（§E.2），该掩码直接预测更新后的散度是否会超过某个阈值。

E.1 预测更新后散度

固定一个去噪步骤，状态为，为简洁起见省略时间索引。记，，，。采样的动作为，其中。

我们推导代理目标上的单步梯度更新如何改变散度。关于的策略梯度为：

设有效学习率为，更新后的均值为。令。预测的更新后散度为：

由比值分解（式(13)）可知，，因此。一阶项因此简化为。式(24)中的三项具有明确的含义：(1) 当前散度；(2) 一阶项，其符号决定了梯度步长是增大还是减小散度；(3) 非负的二阶项，随步长和梯度幅度增大而增大，始终对产生正向贡献。

一阶方向准则。散度变化的方向主要由一阶项的符号决定。由于且，该符号等于：

当该值为正时，梯度步长增大；为负时，则减小。等价地，这也是内积的符号，证实了代理梯度投影到了散度增大的方向上。

当前掩码的恢复。在小发散区域（即信任区域有效时的典型工作范围）内，修正项和判据简化为 。由于 ，这等价于 ，正是式(23)中的方向条件。因此，在该区域内，当前的 Flow-DPPO 掩码实现了正确的一阶发散增大判据。

修正项。当 不可忽略时（即策略已发生显著漂移），真实的发散变化方向是 而非 。减去项 改变了决策边界：样本必须满足 （而非仅仅 ）时，正优势梯度才会被归类为发散增大。直观而言，当策略已偏离 后，中等程度的比率升高并不一定会进一步推高发散；只有足够大的比率才会。这给出了掩码的第一个自然改进：用 替代 作为方向指示器，我们称之为一阶预测掩码：

该掩码仅使用训练过程中已计算出的量（, , ），且除现有阈值 外无需额外超参数。

E.2 预测掩码

基于式(24)，我们定义（完整）预测掩码，当预测的更新后发散度将超过 时阻止更新：

与一阶掩码的比较。一阶掩码（式(26)）仅考虑发散变化的方向，仍依赖独立的阈值条件 。完整预测掩码将两者统一为单一不等式：梯度是增大还是减小发散自动编码在预测值 中，阈值比较则应用于预测发散（而非当前发散）。这带来两个后果。第一，当 时，即使发散增大的步骤也可能被允许，只要预测的 仍低于 。第二，当 接近 时，二阶项可能使 超过 ，即使一阶方向是"安全"的（即一阶掩码不会触发），从而正确阻止信任区域边界附近的大梯度步骤。

恢复现有掩码。在极限情况下，二阶项消失，简化为要求一阶方向为正且满足特定条件。结合小散度近似，这恰好恢复了当前的 Flow-DPPO 掩码（公式 (23)）。

E.3 关于掩码变体的讨论

掩码的层级结构。这三种掩码构成了一个保真度递增的自然层级：

当前掩码成本最低（无需额外计算），当信任区域在整个训练过程中保持较小时即可满足需求。一阶掩码在无需额外超参数的情况下优化了方向决策。完整预测掩码则需要额外估计有效学习率，但能提供定量的散度预测。

局部近似。该分析将视为自由向量，而实际中它是神经网络的输出。由于共享参数的存在，实际变化会与其他所有输入的变化耦合。因此，预测掩码是一种局部近似，当有效学习率较小且网络雅可比矩阵在单步内近似保持不变时，其精度最高。

我们将预测掩码的实证验证留待未来工作。本分析的关键贡献有两方面：它为现有的非对称条件提供了理论依据（证明该条件是小散度区间内正确的一阶准则），并规划了一条原则性路径，用于实现更精细的信任区域约束，该路径利用了流模型策略的高斯结构。

附录 F 实验细节

F.1 计算资源

所有实验均在 NVIDIA H20 96GB GPU 上进行。表 1 中的主要结果总计需要约 9 万 GPU 小时（涵盖 SD3.5、FLUX2-klein-base-9B 和 FLUX1-dev 的所有方法与奖励配置）。包括所有消融实验、多轮次实验及辅助运行在内，本文报告的所有实验总计算成本约为 14 万 GPU 小时。

F.2 超参数

所有模型均使用 LoRA。我们对 SD3.5、FLUX2-9B 和 FLUX.1-dev 均采用 LoRA。所有模型的学习率设置与先前工作保持一致。我们将训练分辨率设为 ，SD3.5 的去噪步数设为 10，FLUX2-9B 的去噪步数设为 14。

关于 GRPO 设置，所有方法均使用组大小 16，每轮训练组数为 64。Flow-GRPO 和 Flow-CPS 的 PPO 裁剪阈值设为 ，GRPO-Guard 的 PPO 裁剪阈值设为 ，均遵循官方建议。由于 KL 缩放因子不同，Flow-DPPO 和 Flow-DPPO+CPS 的 KL 裁剪阈值分别设为 和 。我们在所有基线方法和提出的方法上应用了 MixGRPO（Li 等人，2025）提出的策略，以实现更快的收敛和更好的性能。具体来说，我们混合使用 ODE 和 SDE 采样，并从去噪步骤的前半部分中随机选择 3 步进行 SDE 采样。SDE 采样的噪声水平（CPS 采样中的 ）设为 。

对于 Diffusion-NFT，其余超参数（如 EMA 调度）均遵循 SD3.5 的官方实现。

附录 G 补充实验结果

G.1 补充训练曲线

我们在图 7 中提供了 SD3.5 在单奖励设置下的训练曲线（多奖励设置见正文图 4）。我们还在图 8 中提供了 FLUX2-9B 的多奖励训练曲线，并在图 9 中提供了 FLUX.1-dev 的训练曲线。

我们还在图 9 中提供了 FLUX.1-dev 的训练曲线。

G.2 KL 散度曲线

图 12 展示了在所有六种训练设置和两种 SDE 调度下，当前模型与参考（预训练）模型之间每步的 KL 散度。相应的训练末期数值在正文表 2 中报告。

G.3 消融实验

G.3.1 无分类器引导

先前研究发现 CFG 对训练收敛和性能有显著影响（Zheng 等人，2026）。在此，我们研究 CFG 对 FLUX2-9B 上 Flow-DPPO 训练的影响，如图 10 所示，其中 CFG 尺度按照官方建议设置为 4.0。使用 CFG 时，Flow-DPPO 变体在训练奖励（GenEval2）上仍能达到最先进的性能，并减轻了在域外提示词上的灾难性遗忘，这与先前讨论中的观察结果一致。这表明基于散度的掩码在 CFG 下具有鲁棒性，并能持续提供强劲性能。

G.3.2 参考 KL 正则化强度

我们在多奖励GDPO设置下，采用CPS调度，对FLUX2-klein-base-9B模型的正则化项强度（由参数控制）进行了消融实验。图11展示了训练奖励曲线，图13展示了与预训练模型的KL散度。适度的正则化强度（）能进一步缓解辅助目标（PickScore、HPSv2等）上的早期奖励作弊现象，从而平衡各奖励之间的梯度，并在最终GenEval2性能上相比无正则化基线带来额外提升，同时不降低任何单个奖励在训练结束时的表现。

G.4 GenEval2上的定量总结

为了补充上述各设置的训练曲线图，表4和表3报告了每种方法在GenEval2上的训练结束Soft TIFA得分。表4还额外报告了在域内GenEval2提示集和留出的域外PickScore验证提示集上，训练结束时的辅助CLIP、PickScore和HPSv2奖励，并通过堆叠六个模块来同时呈现SD3.5-medium和FLUX2-klein-base-9B的上下文：最先进文生图系统的已发表参考数值、对应的预训练基线得分（无强化学习），以及两种基础模型在单奖励（仅GenEval2）和多奖励（GenEval2 + CLIP + PickScore + HPSv2）配置下应用的五种强化学习微调算法。表3则将每种方法的Soft TIFA比较扩展到本文报告的所有五种训练设置。