生成式细化网络 GRN：面向视觉合成的新一代范式

{hanjian.thu123,liujinlai.licio}@bytedance.com

{wangjiahuan.123,bingyue.peng,yuanzehuan}@bytedance.com

代码与模型：

yuanzehuan@bytedance.com

摘要

尽管扩散模型在视觉生成领域占据主导地位，但其计算效率仍然低下，因为它们对复杂度不同的样本分配了相同的计算量。相比之下，自回归（AR）模型天生具有复杂度感知能力，其变动的似然值即可证明这一点，但这类模型常常受限于有损离散化 token 化以及误差累积。在本工作中，我们提出了生成式精炼网络（GRN），这是一种旨在解决上述问题的下一代视觉合成范式。其核心在于，GRN 通过一种理论上近乎无损的分层二进制量化（HBQ）技术，解决了离散化 token 化的瓶颈问题，实现了与连续式方法相媲美的重建质量。基于 HBQ 的潜在空间，GRN 从根本上对 AR 生成进行了升级，引入了一种全局精炼机制，能够像人类艺术家作画一样，逐步完善和修正生成的作品。此外，GRN 还整合了一种基于熵的采样策略，能够在无需牺牲视觉质量的前提下，实现复杂度感知的自适应步长生成。在 ImageNet 基准测试中，GRN 在图像重建（0.56 rFID）和类别条件图像生成（1.81 gFID）任务上均创下了新纪录。我们还将 GRN 扩展到了更具挑战性的文生图和文生视频任务中，在同等规模下实现了更优的性能。我们公开了所有模型和代码，以促进对 GRN 的进一步研究。

1 引言

视觉生成领域发展迅猛，其主要驱动力是扩散 Transformer 架构的规模化应用 [dit, sora, hunyuanvideo, waver, alive]。这些模型通过沿着一个学习到的速度场逐步整合轨迹——该速度场将简单的噪声先验传输到经验数据分布——展现出合成高质量视觉内容的强大能力。然而，这种连续流范式天生缺乏自适应步长能力。由于通过均方误差（MSE）进行优化，且不依赖显式似然，这些模型被限制在固定的步数内，无论样本的复杂程度如何变化，都僵化地为所有样本分配相同的计算资源。

与此同时，受大语言模型中 token 级似然估计成功经验的启发 [gpt3.5, gpt4]，自回归（AR）模型在视觉合成领域也引起了广泛的研究兴趣 [videogpt, keyuVAR, hanjInfinity, wang2024emu3]。然而，当前的自回归方法受限于两个关键缺陷。首先，当使用离散 token 而非连续表示时，它们本质上存在重建质量较差的问题。其次，其严格的因果预测机制——无论是逐 token 操作还是逐尺度操作——都会在多步生成过程中不可避免地导致严重的误差累积。这暴露了其纠错能力的严重缺失，因为模型无法追溯性地修正之前的错误。此外，即使在掩码自回归模型 [maskgit, bert] 中采用并行预测，高置信度的 token 也会变得不可更改，后续无法修正。因此，这类模型本质上仍然缺乏全局性的精修机制。

这些观察结果启发了一种简单而直观的、基于精炼的自回归框架，并具备自适应计算能力。为此，我们提出了生成式精炼网络（GRN），这是一种新一代视觉合成范式，旨在克服扩散模型计算成本固定僵化的局限以及标准自回归模型固有的缺陷。具体来说，为了解决离散模型 token 重建质量不佳的问题，我们首先提出了分层二值量化（HBQ）。通过在不增加潜在通道的情况下确保重建误差呈指数级衰减，HBQ 使得离散图像和视频 tokenizer 能够实现近乎无损的重建，在更高压缩率下达到与连续 tokenizer 相当的性能。在这些稳健的表示基础上，GRN 采用熵引导的采样机制，执行一种复杂度感知的自适应步长生成过程。它根据视觉内容的不同难度动态分配计算负载，同时利用全局精炼机制来追溯性地减轻累积误差。

在多种视觉任务上进行的大量实验验证了我们框架的优越性。在用于类别条件图像合成的 ImageNet 256×256 基准测试上，GRN 在图像重建和生成质量两方面均创下了新纪录。此外，为了展示其卓越的任务泛化能力和可扩展性，我们还成功地将 GRN 扩展到了高分辨率文生图（T2I）和文生视频（T2V）场景。在扩展后，GRN 展现出生成逼真的 1024×1024 图像以及动态、高保真、时长 2 到 10 秒的 480p 视频的能力。总之，我们的主要贡献如下：

1. 1.

   我们提出了 GRN，这是一种新一代视觉合成框架。其特点是具备全局精炼机制和复杂度感知生成能力，实现了稳健且高效的视觉生成。

2. 2.

   我们引入了分层二值量化，并贡献了一系列离散图像/视频 tokenizer。这是首次，离散视觉 tokenizer 在相同潜在维度下与连续 tokenizer 达到了同等水平。

3. 3.

   大量实验表明，GRN 在标准 C2I 基准测试上取得了最先进的结果，rFID 达到 0.56，gFID 达到 1.81。当扩展到更具挑战性的 T2I 和 T2V 任务时，与同等规模的方法相比，它展现出了更优越的性能。

2 相关工作

2.1 视觉分词器

视觉分词器 [ldm, vqvae, vqgan] 通过压缩视觉内容以实现高效生成。早期的向量量化方法 [vqvae, vqgan] 将连续特征映射到离散码本，但受限于可扩展性不足，这促使了免查找方法 [BSQ, fsq] 的出现，以实现更大的词汇表。尽管如此，与连续表示之间仍存在性能差距。近期的工作 [hanjInfinity, bitdance] 旨在通过大幅扩展词汇表来缩小这一差距，其性能超越了连续 VAE。然而，这种提升是以收敛速度变慢和生成模型规模变大作为代价的，这促使人们探索更高效的量化方案。

2.2 自回归模型

受大语言模型的启发，[vqgan, llamagen, videopoet, wang2025editinfinity] 通过下一个 token 预测来探索视觉生成。MaskGIT [maskgit] 使用并行解码来加速生成，它首先生成高置信度的 token，然后迭代地填充剩余部分。VAR [keyuVAR] 将自回归转变为下一尺度预测，从而提升了质量并实现了更快的推理速度。然而，AR 模型仍然受限于有损的离散分词和误差累积，并且仍落后于扩散方法。尽管 Infinity [hanjInfinity] 通过随机翻转比特级 token 引入了自我修正机制，但其假设扩散误差低于 30% 的条件仅覆盖了有限的模式。

2.3 自适应步长生成

扩散模型主导了视觉生成领域 [FLUX, SDXL, Stable Diffusion 3, Sora, Wan]，但通常需要数十步推理步骤。蒸馏方法 [DMD, DMD2] 大幅减少了采样步数，却仍然依赖于预定义的固定步数调度。这种“一刀切”的策略在简单提示词上浪费了计算资源。最近，AdaDiff [AdaDiff] 采用一个外部网络来确定实例特定的步数，并使用策略梯度方法来最大化奖励。这种复杂的流程需要一个额外的网络和奖励信号。

3 方法

3.1 视觉分词器

视觉分词器在学习紧凑的潜在空间以压缩高维真实数据方面起着至关重要的作用。我们采用了 Wan 2.1 [Wan] 中提出的 3D 因果 VAE 设计，以便在统一的框架中对图像和视频进行分词。具体来说，给定一张图像或一段视频，分词器将其时空信息编码到特定维度，同时将通道数扩展到特定数量。由于我们的目标是实现无损离散压缩，而 VAE 特征是连续信号，因此我们将特征量化视为一个信号变换问题。受信号处理中哈尔小波 [Haar1910Theorie] 的启发，我们引入了层次化二进制量化，将 VAE 特征转换为离散特征。

层次化二进制量化。我们首先在 VAE 编码器之后附加一个非线性激活函数，将特征表示从无界范围映射到闭区间。如图 2 所示，中的每个元素都基于一个具有中心定义的桶的二叉树，按照公式 1 和公式 2 进行多轮二进制量化。

其中，当 时， 是一个值为 -1 的狄拉克δ函数，否则为 1。由此我们得到量化后的二值标签 ，其中 。这里的 是分层二值量化的总轮数。通过这种方式，我们从粗到细地进行量化，以表示不同频率的信息，并且第 轮的量化误差小于 。量化误差的上界随轮数呈指数级衰减，理论上可以快速实现无损量化。图 3 展示了从量化中间结果重建的图像，揭示了从粗到细的特性。

随后，可以根据公式 3 推导出量化后的特征 。HBQ 的详细算法见附录 A。在视觉分词器的训练阶段，量化后的特征 作为输入被送入解码器，以重建原始图像或视频 。遵循训练离散视觉分词器的常见做法，我们采用直通估计器（STE）将梯度反向传播至编码器。训练损失是重建损失（）、LPIPS 感知损失（）和来自 PatchGAN 判别器的 GAN 损失（）的加权组合。

分词后，我们得到大小为 的二值输出。然而，由于这相当于引入一个大小为 的巨大码本，几乎不可能通过合并 和 维度将输出编码为 INT 标量来进行生成。受按位 token [hanjInfinity] 的启发，我们提出了 GRN 的两种变体，即 GRNind 和 GRNbit，以支持生成。对于 GRNind，我们简单地将 维度编码为 INT 标量，得到 。对于 GRNbit，我们拼接最后两个维度并预测 。对于这两种变体，我们展平时空维度，并通过多头 token 预测 [deepseek_v3] 并行预测每个 token 的整个通道维度。

3.2 生成式精炼网络

受人类绘画直觉的启发，我们提出了一种极其简洁的自回归精炼框架用于视觉生成，该框架从随机 token 映射开始。令 表示第 步中 token 映射的状态。目标是基于当前状态 预测绘制映射 。为了显式地形式化这一过程，我们将 定义为三个组成部分的组合：随机映射 、绘制映射 以及二元选择映射 。该关系在公式 (4) 中正式表达，其中 通过根据 中的值从 或 中选择来构建。

直观上， 代表当前的绘制内容，而 则对应于没有任何信息的空白区域，模拟了人类绘画过程中的中间步骤。 的设计目的是使累积统计量 （即 中 1 的比例）在精炼步骤中从 0% 单调递增至 100%。因此， 逐渐收敛到理想的 token 映射。为了获得 ，我们采用了一个 Transformer 架构，并将 近似为

通过拟合真实的 token 映射来建模下一步的绘制，其中 表示生成条件，例如类别嵌入或文本。 根据 按照公式 (6) 构建。我们还研究了一种基于预测置信度的替代方法来构建 。然而，如附录 E.3 所述，该方法产生了较差的结果。

我们引入了一种复杂度感知的采样策略，以控制其不仅保持单调性，同时考虑其不确定性。下文将详细讨论。基于预测结果和选择映射，状态按照公式 4 所述进行相应更新。由此，形成了一个渐进式生成与优化的连贯循环。自回归机制使我们不仅能够以高确定性改进越来越多的模型 token，还能在绘制过程中随着更多上下文的纳入而消除明显错误。理想情况下，随着信息不断积累，该过程会收敛到最佳结果。该简化过程如图 4 所示。

训练。在训练阶段的每次迭代中，我们从均匀分布中随机采样随机 token，用于 GRNind 和 GRNbit。二值映射也以不同的选择比例进行均匀采样，该比例控制有多少真实 token 被用作输入。因此，Transformer 的输入由从真实 token 中采样的 token 和从随机 token 中采样的 token 组成。请注意，token 采样是沿着空间、时间和通道维度随机进行的，不附加任何先验知识（公式 6）。表示 token 总数，等于。以公式 4 构建的包含部分信息的作为输入，我们的目标是预测真实 token，类似于扩散设置中的 x 预测，并使用公式 7 所示的简单交叉熵损失。这里表示真实 token。

GRN 的详细训练和推理过程见附录 B。GRN 与其他自回归模型之间的其他比较见附录 C。

复杂度感知采样。我们提出了一种基于熵的调度函数来确定，其中表示优化步骤的索引。具体来说，我们在生成过程中计算第步的平均熵，如下所示：

在公式 8 中，我们将 表示为模型 token 索引，将 表示为类别索引，其中 是类别总数。注意，对于 GRNind 和 GRNbit 分别有相应定义。生成复杂度通过熵 来衡量，其取值范围在 0 到 1 之间。由于较小的 表示更高的预测置信度，我们分配较少的细化步骤，同时让 更陡峭地增加，从而从 中保留更多信息。相反，当高熵表明复杂度较高时，我们应用更多的细化步骤以及 的渐进式增长。具体来说，我们将公式定义为

这里， 表示从特定步骤计算出的平均熵。我们设置了一个预热阶段，其中 和 ，因为我们观察到在初始步骤中熵值不稳定。超参数 控制自适应步骤的动态范围，而 是偏置项。我们还会对 的值进行裁剪，以确保总推理步骤数保持在 范围内。

4 实验

4.1 视觉分词器

实现。我们引入了两种视觉分词器：一种专为类别条件图像生成设计的纯图像分词器，以及一种为文生图和文生视频任务设计的联合图像-视频分词器。两种分词器均采用 Wan 2.1 [Wan] 中的 3D 因果编码器和解码器架构，并从零开始训练。具体来说，纯图像分词器在 OpenImages 数据集 [openimages] 上训练，而联合分词器则在公开可用的图像和视频数据集的组合上训练。训练过程中，整体目标包含重建损失、感知损失和对抗（GAN）损失。纯图像分词器的各项损失权重分别设为 1.0、1.0 和 0.3，联合图像-视频分词器的权重则设为 1.0、0.2 和 0.005。

结果。如表 1 所示，我们的分词器在 256×256 ImageNet 基准测试上达到了最先进的重建性能。利用四轮 HBQ，它实现了显著的 0.56 rFID。这一结果不仅大幅超越了在 4 倍更高压缩率下运行的连续 SD-VAE（0.87 rFID），也显著优于其他领先方法，包括 RAE（0.62）、VAR（0.85）、LlamaGen（2.19）和 Open-MAGVIT-v2（1.17）。这些结果凸显了我们的方法在严格压缩条件下实现高保真重建的卓越能力。

在表 2 中，我们展示了一系列联合图像-视频模型 tokenizer，探讨了不同 HBQ 轮次和潜在通道维度的影响。我们首先分析了 HBQ 轮次的效果，并观察到一个明显趋势：随着 HBQ 轮次增加，rFVD 和 PSNR 等重建指标持续改善。虽然四到六轮已能取得强劲性能，但八轮配置的重建质量几乎与连续基线持平，如表 2 和图 5 所示。这表明，我们的 HBQ tokenizer 能够在实现更高压缩率的同时，匹配其连续对应版本的保真度。关键在于，这一成果是在不增加潜在通道的情况下实现的。虽然其他方法（例如 Infinity [hanjInfinity]、BitDance [bitdance]）也能缩小与连续模型的差距，但它们通常依赖于扩展潜在维度。正如近期研究 [stable-diffusion3、hanjInfinity、dcae1p5] 所指出的，这种方法往往会减慢收敛速度，并需要更大的模型。相比之下，我们的主要成果是在不增加潜在维度的情况下取得的。

我们还尝试将潜在通道从 16 扩展到 64。仅此一项改动就将 PSNR 从 30.40 提升到了令人瞩目的 33.97。值得注意的是，这一性能与最先进的 Wan 2.1 tokenizer 相当，但压缩率却高出 4 倍。通过仔细调整 GAN 损失权重并增加训练迭代次数，HBQ tokenizer 在 SSIM 和 PSNR 指标上均超越了 Wan 2.1 和 Wan 2.2。有关调优的更多细节，请参见附录 E.1。

4.2 类别到图像的结果

实现。遵循 JiT [jitpaper]，我们在原始 Transformer 架构中引入了 SwiGLU、RMSNorm、RoPE、qk-norm 以及上下文内类别条件控制。我们以四种不同模型规模训练 GRNind：130M、458M、952M 和 2B，分别记为 GRN-B、GRN-L、GRN-H、GRN-G。我们在 ImageNet [imagenet] 数据集上对它们进行了 600 个 epoch 的训练。学习率设置为 2e-4，并在训练过程中保持不变。我们随机丢弃 10% 的条件用于无分类器引导。在推理阶段，我们通过网格搜索寻找最佳解码超参数。其他实现细节见附录 4。

结果。如表 3 所示，GRN 在 ImageNet 256×256 类别条件生成任务上与最先进的扩散模型、混合模型和自回归模型进行了基准对比。我们的 GRN-B 模型参数量仅为 MaskGIT 的近一半，却实现了更优的 FID 分数 3.56（对比 6.18），展现出卓越的效率。我们最大的变体 GRN-G 取得了最先进的 FID 分数 1.81，可与顶尖的扩散模型和混合模型相媲美。值得注意的是，GRN-G 在 FID 和 Inception Score 两项指标上均超越了 DiT 和 SiT 等基础模型。这一点意义重大，因为它们是当前许多工业级文生图和文生视频模型的骨干架构。此外，GRN-G 还优于自回归模型 LlamaGen 和 VAR。我们将这一优势归功于我们提出的全局细化生成方法，该方法有效缓解了误差传播问题。图 1 中展示的 GRN-G 生成的高质量视觉样本也证实了其能力。更多未经筛选的定性结果请参阅附录中的图 4。这些强劲的结果确立了 GRN 作为高保真视觉生成领域一个强大且可扩展的基线模型，激励着将其应用于更复杂的文生图和文生视频任务。

4.3 文生图结果

实现。我们从头开始训练 GRNbit 用于文生图任务，参数量为 2B。与类别到图像模型不同，文生图模型利用上下文自注意力机制而非 adaln-zero 来注入条件。该模型先在大型公开数据集上进行预训练，随后在一个小型高质量专有数据集上进行微调。我们首先在预训练数据集上以 256×256 分辨率训练 GRN，共 150K 次迭代，批次大小约为 15,400，学习率为 2e-4。然后，我们使用一个更小的高质量数据集，在 1024 分辨率下对 GRN 进行微调。在此阶段，我们以 2048 的批次大小和 2e-5 的学习率训练 GRN 共 60K 次迭代。更多实现细节见附录第 4 节。此外，我们观察到 GRN 在生成小脸等精细细节方面显著优于 Infinity。

结果。如表 4 所示，我们的模型在配备重写器后，在 GenEval 基准测试 [ghosh2024geneval] 上取得了 0.76 的总体得分。虽然我们的模型在性能上不及 Z-Image-Turbo [cai2025z]、HiDream [cai2025hidream]、Qwen-Image [qwenimage2025report] 和 BitDance [ai2026bitdance] 等更大规模的方法，但必须指出模型规模上的显著差异：这些模型使用了 6B 到 20B 的参数，而 GRN 则是一个紧凑得多的 2B 模型。在与同等规模的模型比较时，GRN 展现出更优的性能，显著优于类似 2B 大小的模型，如 SD3 Medium [stable-diffusion3]（0.62）和 Infinity [hanjInfinity]（0.71）。附录中图 5 的定性结果展示了 GRN 在生成高保真度、多样化且准确遵循用户提示词的图像方面的强大能力。

4.4 文生视频结果

实现细节。除了类别到图像和文生图生成任务之外，我们将 GRN 扩展到了最具挑战性的文生视频合成任务。GRN 的 T2V 变体与其 T2I 变体共享相同的架构，但仅在视频数据上进行训练。为此，我们整理了一个包含约 4000 万个视频片段的训练数据集，每个片段的分辨率至少为 256×256，时长为 2 到 10 秒。训练过程包括两个阶段。首先，我们在 192p 分辨率下以 4096 的批次大小和 2e-4 的学习率训练 GRN 150K 次迭代。随后，我们切换到 480p 分辨率进行微调，以 1350 的较小批次大小和 2e-5 的学习率额外训练 9K 次迭代。更多实现细节见附录 4。

实验结果。如表5所示，GRN在根据文本提示生成视频方面展现出卓越性能。与当前基于扩散和流的模型（包括AnimateDiff-V2、VideoCrafter-2.0、OpenSora V1.2、Show-1和CogVideoX-5B）进行基准对比时，GRN在质量分数、语义分数和总体分数上均取得了显著更高的得分。值得注意的是，尽管GRN仅有2B参数，却超越了规模大得多的CogVideoX-5B模型，凸显了其卓越的参数效率。此外，我们的方法也优于同等规模的离散扩散模型URSA。与自回归模型（如Nova、Emu3和Lumos-1）相比，GRN的性能优势更为明显。虽然8B参数模型InfinityStar目前以83.74的总体分数保持领先，但我们相信通过扩大GRN的规模可以缩小这一性能差距。我们在图6中展示了定性结果。更多结果请参见附录中的图6和图7。生成的视频不仅准确捕捉了用户提示的语义细节，还保持了较高的美学和视觉质量。

4.5 消融实验

4.5.1 预测索引 vs. 预测比特

如第 3 节所述，GRN 支持预测离散索引（GRNind）或其二进制表示（GRNbit）。我们在 256×256 类别条件图像生成任务上，使用两种模型规模（GRN-B（130M）和 GRN-L（458M））对这两种预测目标进行了比较。对于每种变体，我们进行了网格搜索以确定最优解码参数，包括 CFG、CFG 区间和温度。结果如表 6 所示，表明两种方法均取得了相当的性能。具体而言，对于较小的 GRN-B 模型，预测索引获得了略优的 FID 分数。相反，对于较大的 GRN-L 模型，预测比特被证明更优，其 FID 达到 2.47，优于 2.64。这表明 GRN 在类别到图像生成任务上非常适合这两种预测格式。

我们进一步将此比较扩展到更具挑战性的 T2V 生成任务。如图 7 所示，我们观察到比特预测方法生成的视频质量更好，伪影更少。我们推测这是因为预测比特提供了更明确的监督信号，并减轻了索引预测中固有的 token 混叠效应，从而在复杂生成任务上展现出更优的性能。虽然一些先前的工作认为比特预测假设比特之间相互独立，会导致次优结果，但我们的全局精炼机制有效解决了这一问题。

4.5.2 全局精炼机制

在消融研究中，我们验证了全局精化机制（称为 Refine）的有效性。我们将其性能与传统的基于掩码的生成流程（如 MaskGIT 或 BERT）进行了对比，后者会固定已生成的 token。结果令人瞩目：使用相同的解码超参数时，基于掩码的方法会崩溃并生成无意义的输出（FID=185.62），详见 Tab. 7。即使通过网格搜索找到最优解码参数（更高的 CFG、更低的温度），基于掩码的方法（FID=18.13）仍显著落后于我们的方法（FID=3.63）。该实验清楚地表明，我们的精化范式有效缓解了标准自回归模型中的关键弱点——错误传播，从而实现了更优的性能。

4.5.3 复杂度感知采样

我们在 GRNbit-B 上评估了复杂度感知采样的有效性，超参数设置为 。遵循扩散模型的标准设置，我们将最大精炼步数设为 。为了在性能与效率之间取得平衡，我们根据经验将最小步数设为 。我们合成了 63,000 张图像，并将其分配到的生成步数分布绘制成直方图（图 9）。结果表明，我们提出的方法使 GRN 能够根据不同的复杂度水平动态分配计算资源。如图所示，不同样本被分配了不同的精炼步数，范围从 20 到 50 步。超过 97.9% 的样本所需的精炼步数少于 50 步。有趣的是，大约 6.3% 的图像仅用最少 20 步生成，这表明模型对这些特定预测具有很高的置信度。与固定步数基线（所有样本均为 50 步）相比，我们的复杂度感知采样将 FID 从 3.56 降低至 3.47，同时实现了显著的加速（最高 2.5 倍，平均 1.25 倍）。此外，我们将复杂度感知采样应用于文生图任务，并设置 。图 8 中的定性结果直观地证实了我们的方法有效地实现了复杂度感知的自适应步数生成。未来工作方面，我们计划探索精炼步数蒸馏，该方法与复杂度感知采样天然兼容，并能实现更高效的视觉生成。

4.5.4 训练与推理成本

如表 3 所示，我们报告了 C2I 中一次前向传播的 Gflops。训练成本与一次前向传播相当，而推理成本随步数增加而增加。对于 T2I，GRN-2B 生成一张 1024×1024 图像需要 2-8 秒，平均 4 秒（对比 Infinity 1 秒、FluxDev 12 秒、Qwen-Image 33 秒）。对于 T2V，GRN 生成一段 480p、81 帧的视频需要 125 秒（对比 Wan2.1 480 秒、Wan2.2 437 秒）。请注意，这些基线模型使用了 Diffusers 的优化，而 GRN 在纯 PyTorch eager 模式下运行。我们使用相同的设备测试了这些结果。

我们还对 GRNbit 的比特预测目标和解码参数进行了消融研究。为简洁起见，更多细节请参考附录 E.4 和附录 E.5。

5 结论

在本文中，我们提出了 GRN，这是一个以全局精化机制和复杂度感知生成为特征的下一代视觉合成框架。我们提出了分层二值量化（HBQ），用于开发一系列离散图像和视频分词器，这些分词器在使用相同数量潜在通道并提供显著更高压缩率的同时，性能与连续分词器相当。在生成阶段，GRN 在图像重建和类别条件图像生成方面均取得了新的最先进成果。大量实验表明，在同等规模下，GRN 在文生图和文生视频任务中均超越了现有的自回归和基于扩散的方法。

此外，作为一个完全构建在离散 token 之上的自回归框架，我们相信 GRN 能够更自然地集成到现有的大语言模型中。对离散文本和视觉 token 的统一学习可以极大地促进多模态理解与生成。从根本上说，GRN 解决了长期限制以往视觉自回归生成模型的量化损失和误差累积问题。我们相信它有潜力成为当前占主导地位的 Transfusion [transfusion] 架构的有力竞争者。

6 局限性

这项工作也存在若干局限性。由于计算资源有限，我们尚未将训练计算量或模型规模扩展到领先视觉生成模型的水平。此外，对于文生视频任务，我们观察到 GRN 在与人类相关的场景中表现更好。生成的视频有时可能缺乏丰富的视觉细节，并出现失真。我们相信，通过平衡数据分布和扩大模型规模，这些局限性可以得到缓解。

7 致谢

我们感谢陆瑞彪在数据收集和视频演示方面的贡献，以及吴辉在基础设施方面提供的宝贵建议。

参考文献

附录 A 分层二值量化算法

我们在算法1中概述了所提出的分层二元量化（HBQ）的流程。HBQ 二元 token 按从粗到细的顺序排列。序列中靠前的 token 对应核心语义概念，而靠后的 token 则引入高频细节，逐步丰富表征。此外，我们的多轮量化过程会顺序生成二元 token，每一轮对应一个比特位。这种内在结构使得 HBQ 特别适合直接的逐比特预测任务。与 FSQ [fsq] 等整体量化向量的方法不同，我们的方法为逐比特生成（即 GRNbit）提供了更自然的框架。

附录 B 生成式精炼网络算法

算法2 概述了单次训练步骤的伪代码。模型输入（记为 ）是一个混合特征图，由一部分真实 token 和一部分随机 token 组成。以 为输入，GRN 被训练来预测完整的真实 token 集合。尽管方法简单，但这种训练策略隐式地教会了模型区分可靠（真实）和不可靠（随机）的 token。因此，模型学会了在保留可靠 token 的同时，对不可靠的 token 进行精炼。

GRN 的采样过程在算法 3 中详细说明（为清晰起见，我们省略了复杂度感知采样）。该过程类似于人类绘画，即对状态进行迭代优化。在每一步，当前状态由已绘制的内容（由 `表示`）和填充了随机 token 的剩余空白区域（由 `表示`）组成。然后，模型基于当前状态预测一组完整的 token。这些新预测中随机选择的一个子集随后被用于更新状态，以进行下一步优化。这种直接的随机选择机制巧妙地将三个基本操作统一到一个框架中：

• •

  填充：将预测的 token 引入先前空白的区域。

• •

  优化：提高先前预测 token 的质量。

• •

  擦除：用随机 token 替换先前预测的 token。

为了更好地说明这一过程，论文中的图 4 以及附录中的图 10 的第四列都可视化了 GRN 的采样过程。我们特别强调了上述填充、优化和擦除 token 的具体示例。

附录 C 与其他自回归模型的区别

在图 10 中，我们将 GRN 与传统的自回归模型进行了比较，包括 GPT 风格的自回归模型（下一个 token 预测）[llamagen]、VAR（下一尺度预测）[keyuVAR] 以及掩码自回归模型（BERT 风格）[maskgit]。传统自回归模型受限于固定的生成顺序，先前生成的 token 不可更改，这常常导致错误传播等问题。与此形成鲜明对比的是，GRN 采用了灵活的全局优化策略，利用其独特的填充、优化和擦除机制。这使得我们的模型能够迭代地修正和增强整个视觉表征，有效缓解了传统自回归模型中固有的错误传播问题。

附录 D 实现细节

模型架构。表 8 总结了我们提出的 C2I、T2I 和 T2V 模型的架构细节。遵循 JiT [jitpaper] 的方法，我们为 C2I 任务实现了四种变体，模型规模从 130M 参数扩展到 2B 参数。对于 T2I 和 T2V 生成，我们引入了一种新的 2B 参数架构，该架构专门设计用于满足 FlexAttention 的要求，即注意力头维度必须是 128 的倍数。此外，我们的模型支持序列打包以加速训练，并采用 NaViT [navit] 来处理任意宽高比和分辨率。

视觉分词器。对于C2I生成任务，我们采用一个仅在OpenImages数据集[openimages]上训练的纯图像视觉分词器。该分词器具有16维潜在空间，并使用了4轮HBQ。它将256×256的图像压缩为16×16×16×4的二进制token，空间步长为16，在ImageNet基准测试上实现了0.56的最先进重建FID。相比之下，我们的T2I和T2V模型共享一个统一的视觉分词器，该分词器在图像和视频的混合数据上联合优化。这个统一分词器配置了64维潜在空间、空间步长16、时间步长4，同样经过4轮HBQ，在我们的视频重建基准测试上达到了26.3的FVD和34.73的PSNR。已发布分词器的更多结果见论文中的表1和表2，以及附录中的表9。

训练。对于我们的C2I模型（GRN-B/L/H/G），我们使用256×256分辨率的图像在ImageNet数据集上进行训练。模型训练了600个epoch，相当于75万次迭代，批大小为1024。整个训练过程中我们采用恒定的2e-4学习率。我们应用了10%的条件丢弃率以实现无分类器引导。对于我们的GRN-T2I和GRN-T2V模型，我们采用了从粗到精的训练策略。例如，GRN-T2I模型在256×256分辨率下训练了15万次迭代，在1024×1024分辨率下训练了6万次迭代，批大小分别为15400和2048，并使用相应的2e-4和2e-5学习率。其他超参数，如恒定学习率调度、零权重衰减和10%条件丢弃，在这些模型中保持一致。

采样。在推理阶段，我们采用无分类器引导来提升样本质量并增强对条件信息的遵循。对于在 ImageNet 上训练的模型，我们根据在 [0, 0.5] 范围内找到的最优阈值动态启动 CFG。CFG 强度在 [1.0, 3.0] 范围内扫描以寻找最佳结果。对于文本条件模型（GRN-T2I 和 GRN-T2V），我们在整个采样过程中都应用 CFG。我们在 [1.0, 4.0] 范围内搜索最优 CFG 强度，并在 [0.5, 1.5] 的温度范围内生成多样且高保真的结果。对于 C2I、T2I 和 T2V 任务的基准实验，我们使用 50 个固定的细化步骤。在第 4.5.3 节中，我们将复杂度感知采样应用于 C2I 和 T2I 任务。所提出的复杂度感知采样方法由参数 和 控制，其中 在 [300, 1200] 范围内优化，而 则相应设置以确定总采样步数。

附录 E 更多消融实验

E.1 分词器中的 GAN 损失

图 5 展示了一个清晰的趋势：随着引入更多 HBQ 轮次，重建质量稳步提升。尽管四到六轮就足以获得不错的性能，但八轮模型缩小了差距，取得了与未量化基线几乎相同的结果。

我们进一步研究了改变 GAN 损失权重的影响。为此，我们使用不同的 值微调了一个基线模型（一个具有 64 个潜在通道和四轮量化的 HBQ 分词器）。如表 9 所示，将 GAN 损失权重从 0.001 增加到 0.02 显著提升了感知质量，将 rFVD 从 48.6 降低到 28.6。然而，这是以重建保真度下降为代价的，PSNR 从 34.05 下降到 33.73。根据经验，我们发现权重为 0.005 时，这两个指标之间达到了有效的平衡。因此，我们将此设置应用于我们的 GRN-T2I 和 GRN-T2V 模型。

E.2 HBQ 轮数对生成性能的影响

如表 10 所示，尽管 HBQ (M=2) 对于具有 130M 参数的 GRN-B 表现最佳，但当扩展到 GRN-L（458M 参数）时，HBQ (M=4) 超越了 HBQ (M=2)。我们得出结论，大模型受益于更多的 HBQ 轮数。另一个有趣的观察是，尽管从 6 轮到 8 轮，重建指标几乎保持不变，但生成指标却存在显著差异。这表明当信息分布在更多不同的比特上时，确实需要更大的模型容量。此外，我们的实验揭示，MSB 的准确率远高于 LSB。未来在 HBQ (16dim, M=8) 和 HBQ (32dim, M=4) 之间的比较研究将构成一条引人注目的实验路线。

E.3 二值选择映射：随机 vs. 置信度

如公式 6 所述，二值选择图在生成过程中没有先验约束的情况下构建，这意味着我们随机选择当前预测来更新状态，以进行下一步的细化。为了理解这种随机采样的重要性，我们使用基于置信度的采样替代方案进行了一项实验。在这种设置中，待更新的 token 是根据其预测置信度来选择的。虽然这优先考虑了被认为“更正确”的 token，但结果却是性能严重下降（FID：3.63 对 10.64），详见表 11。这种反直觉结果的原因在于训练与推理模式之间的差异。我们的模型被训练为在真实标签与随机 token 均匀分布的状态下运行。基于置信度的方法通过选择高置信度的 token 打破了这一假设，这些 token 并非均匀分布，而是聚集在一起。这种分布偏移使得输入远离了训练期间学到的流形，导致生成过程灾难性失败。

E.4 比特预测目标：绝对值与相对值

我们研究了 GRNbit 中二值标签的两种不同预测目标：绝对比特与相对比特。绝对比特预测直接针对真实比特值，而相对比特预测则针对输入比特是否应该被翻转。这可以表述为预测一个残差，其中“1”表示需要翻转，“0”表示保持不变。如图 11 所示，我们的实验表明，预测绝对比特能产生更优的结果，与相对比特预测生成的图像相比，其生成的图像具有显著更好的结构稳定性。

E.5 解码超参数

关于解码参数，我们以 GRNbit-B 作为代表性示例。最优参数经发现为 、 以及间隔为 。我们通过实验观察到，许多参数组合都能达到类似的结果。直观上，增大或减小 会鼓励更多样化的生成，但也可能导致更大的不稳定性。引入 CFG 间隔是为了在应用较高 CFG 强度时恢复多样性，因为它在初始解码步骤（这些步骤对于确定整体语义至关重要）中禁用了 CFG。在保持其他参数固定的情况下，改变每个参数的效果详见图 12。如表 12 所示，我们的复杂度感知采样在更少的步数内优于线性调度和余弦调度。在我们的复杂度感知采样中，主要参数是 和 。我们调整 以控制动态范围，调整 以控制平均步数。 和 将步数裁剪到合理范围内，需要较少的调整。表 12 显示，当 处于 [600, 800] 的合适范围内时，结果良好。

附录 F 更多定性结果

F.1 C2I 定性结果

与 JiT [jitpaper] 类似，我们在图 13 中展示了由 GRN-G 生成的未经筛选的 256x256 样本。为确保对我们模型能力的公平且具有代表性的可视化，这些图像使用了与实现最佳 FID 1.81 时相同的 CFG 尺度 1.7 和 CFG 间隔 = [0.3, 1.0] 生成。这与在定性示例中使用更高 CFG 尺度的常见做法形成对比，因为后者可能无法反映模型由 FID 衡量的真实性能。

F.2 T2I 定性结果

在图 14 中，我们展示了由 GRN-T2I 生成的 1024x1024 图像。

F.3 T2V 定性结果

在图 15 和图 16 中，我们展示了更多 GRN-T2V 的文本到视频生成结果。