MiniMax H3 发布：开源全能多模态生成模型，支持 2K 原生立体声视频

今天，我们正式发布 MiniMax H3，一款通用全模态生成模型。H3 能够联合理解涵盖文本、图像、视频和音频的多模态上下文。它可生成原生立体声音频的视频，最高支持 2K 分辨率和 15 秒时长。

早期测试表明，MiniMax H3 在广泛的用例中都能提供达到生产级水准的内容生成。它擅长指令遵循、精准的文字与品牌呈现，以及 V2V 运动迁移。凭借精准、可控的多模态生成与编辑能力，H3 专为广告、品牌、电商、产品设计、UI/UX、游戏等场景打造。

依托 Contextual Omni Representation、H3-VAE、H3-Omni Transformer 和 In-Context Regeneration 等技术，H3 实现了业界领先的性价比。我们默认提供 2K 分辨率。在 2K 下，H3 的每秒价格不到主流模型的三分之一；在 768p 下，其价格不到主流模型 720p 的一半。

长期以来，闭源模型一直主导着视频生成领域，其迭代速度更慢，生态也不如大语言模型等领域开放。为了支持开源社区、加速与更广泛 AI 硬件的兼容，并让用户更容易构建自己的定制版本，我们计划在未来几天内开放模型权重，但须遵守适用的法律法规。自 H3 设计的最初阶段起，硬件兼容性就一直是一项关键考量。

多模态上下文理解

真正的创意工作需要在多种模态之间融合复杂信息，将图像、音频、视频等作为输入来源引入。例如，下图中这个镜头的提示词是：“参考 Video 1 中希区柯克式的运镜，让 Image 2 中的角色唱歌，人声与 Audio 3 匹配。”只需用文字描述上下文与目标视频之间的关系，H3 便能自行完成复杂的全模态理解。

• 输入：

Image 2

H3 生成的视频：

• 2K 表现

• 原生立体声

H3 用例

• 电影片头字幕

• 产品网站

• 动态海报

• 广告与电商

H3 的设计理念

打破任务之间的边界：从专用走向通用

我们此前已开发了两代模型：Hailuo 01 从零开始搭建了整套系统，Hailuo 02 则专注于改进架构效率、数据质量和规模等核心组件。

在设计 H3 时，我们意识到此前的生成模型在任务边界上存在局限：图像生成通常被拆分为 T2I、编辑、主体参考、运动参考和风格参考等各自独立的专家模型；音频生成中的语音、音效和音乐在很大程度上被当作彼此分离的领域来研究；视频生成则进一步细分为文生视频、图生视频、首尾帧、主体参考、运动参考、语音参考、视频编辑等，图像、视频与音频之间也存在清晰的边界。

这些彼此割裂的任务、能力和模态在实践中限制了创作自由。而在训练侧，也限制了模型的泛化能力。两者都表明，无论是在应用范式还是训练范式上，都存在巨大的变革空间。因此，指导 H3 开发的第一性原则就是在任务之间实现统一与泛化。

基于此，以下简要概述 H3 的预训练范式：

• 数据与任务
• 文生图
• 文生视频
• 配合联合生成的音频，所有音频输出均为原生立体声
• 原生多镜头建模
• 文本转音频
• 人声、音效与音乐之间不做区分——全部联合建模
• 泛化参考与编辑
• 图像到图像的参考与编辑
• 图像到视频的参考与编辑
• 音频到音频的参考与编辑
• 音视频到音视频的参考与编辑
• 在我们的设计中，“泛化参考与编辑”意味着：
• 完全基于真实、自然的数据构建，从而具备强大的数据可扩展性
• 参考与编辑关系通过自然语言表达，而非局限于固定的任务集合；语言（或广义上的智能结构）是通向泛化的桥梁
• 架构
• 尽可能早地融合多样化的数据类型与任务——正确的混合比例是关键
• 训练策略
• 在训练中尽可能早地融合多样化的数据类型和任务——正确的混合比例是关键

这些选择都指向同一个目标：让 H3 从预训练阶段起就具备广泛的多模态上下文理解与生成能力。

前面我们聊了训练范式的转变，那么视频模型的应用格局又在发生怎样的变化？

我们看到创作者开始用自然语言直接描述他们的意图，而不再只是输入一个简单的视觉提示词。随着多模态理解、指令遵循和复杂任务执行能力的持续提升，视频模型将能够把握更完整的创作意图，处理更复杂的内容需求，并逐步从“生成一段片段”走向真正参与整个内容生产流程。

H3 的技术选择

H3 建立在简洁的设计理念之上，但将其变为现实却异常复杂。从 Hailuo 01、Hailuo 02 到 H3，每一代的构建复杂度都比上一代高出一个数量级。

简要了解 H3 的一些核心技术：

• H3-Contextual Omni Representation

在 H3 的工程实现中，我们所做的最重要的事情之一就是强化其描述生成能力。

• 引入多模态上下文进一步拓宽了“描述”需要覆盖的范围，我们不再只是描述目标视频，而是描述上下文与目标视频之间的关系，甚至上下文内部各元素之间的关系。
• 我们需要联合描述视频和音频，而这种视听关系在多个镜头之间会变得更加复杂。
• 这本质上是一种上下文全模态表征（Contextual Omni Representation），其中语言充当可泛化的桥梁和解释器，将“任务”统一为一种开放的、描述性的形式。这正是 H3 广泛指令遵循能力的根源。
• 为了实现这一目标，我们构建了专用模型和全模态理解流水线。大多数源素材需要约 100K tokens 的推理，最终蒸馏至平均约 4K tokens。
• H3-VAE：架构效率的重大提升
• H 系列一直在持续推进 tokenizer 技术。在 H3 中，我们彻底重构了此前的 tokenizer，在重建质量和可学习性上实现了全面提升，赋予 H3 在效率上的竞争优势。其高压缩比还带来了有效序列长度 4 倍的提升，大幅降低了训练和推理成本，这也是我们原生支持 2K 分辨率的关键技术。
• H3-Omni Transformer

H3-Omni Transformer：为任务泛化而构建的架构

• 为契合 H3“架构应服务于任务”的设计理念，通用性与效率是仅有的两个目标。值得注意的是，我们搁置了 Hailuo-02 架构，尽管它曾为我们带来显著的架构优势，但对于一个围绕任务泛化构建的模型而言，它会引入不必要的复杂性。我们相信任务泛化是不可逆转的趋势，架构上的取巧应当让位于模型本身的定义方式。
• 在 H3 中，多模态上下文的引入使序列长度的方差增至三倍，理解与生成的计算负载也变得明显更加异构。我们采用了一种将理解与生成负载分离的训练架构，针对各自负载精细调优硬件利用率，同时在单样本异构计算与跨样本负载均衡之间进行联合平衡。端到端来看，这将训练吞吐量提升了近 30%。
• H3 上下文内重生成
• 对于 H3 的 2K 输出，我们没有采用传统的专用超分辨率模块，而是让 H3 基础模型在上下文内对其自身的低分辨率输出进行重生成。这带来两点优势：其一，重生成过程最大限度地复用了 H3 基础模型已具备的生成能力；其二，上下文内的方法让它能够再次利用原始的多模态上下文来生成高分辨率输出，从而恢复传统超分辨率只能“猜测”、往往无法还原的细节，例如小号文字和精细细节。

我们很快将分享完整的 H3 技术报告。期待听到大家的反馈。

我们的愿景与下一步

语言、图像、视频和音频是人类体验的基本模态。它们深度互联，是我们与世界交互的主要界面。它们共同构成了多模态上下文，能够高效地传达极为广泛的信息，而表达和分享信息的能力本身就是一种生产力。

对于多模态理解与生成，我们将语言视为一个可泛化、可扩展的计算系统。这正是我们相信多模态智能应当深度扎根于语言的原因。

H3 仍有成长空间，以下是我们对未来版本的优先事项：

• 强大的多模态理解是高质量生成的基础，而这一方面仍有显著的提升空间。在下一代 H 系列中，我们计划整合来自 M 系列模型的能力。
• H3 当前的模型规模在多项能力上仍有提升空间。扩展规模是一条明确的路径，我们相信更强的任务泛化能力将使我们充分释放其潜力。
• 在某些场景下，视觉细节仍有改进空间。我们将继续向更高分辨率和更高视觉保真度推进。