Microsoft AI 公布 MAI-Base-2 预训练细节，2.8T 参数 MoE 模型 FLOPs 效率达 DeepSeek-V4-Pro-Base 的 4.2 至 12.3 倍

实验室笔记

2026年10月15日

实验室笔记

6月，我们发布了 MAI-Thinking-1，这是一个通用基础模型，在 MAI-Base-1 之上进行后训练，具备强大的推理性能。我们最近完成了新的最先进模型 MAI-Base-2 的预训练，这是一个 MoE 基础模型，拥有 800 亿激活参数和 2.8 万亿总参数。

在我们留出的评估中，MAI-Base-2 的表现优于我们测试过的所有开放权重模型。其预训练 FLOPs 效率比最强的开放基础模型 DeepSeek-V4-Pro-Base 高 4-12 倍（见下方图 3），我们将这一节省用于训练更大的模型。

图 1 展示了 MAI-Base-2 以及其他总参数至少一万亿的模型在一系列预训练评估中的表现（越低越好）。

端到端拥有自己的模型流水线，使 Microsoft 能够为客户提供独特的服务。Microsoft 对我们模型训练所用的 token 拥有强大的数据溯源能力。我们的预训练建立在有机数据之上，不涉及从其他模型蒸馏。这将使我们能够通过 Foundry 将模型权重授权给可信合作伙伴，为企业提供可信赖的世界级智能来源，满足其需求。

拥有全栈能力使我们能够将模型和基础设施一起调优，以最低成本实现最佳性能，首先应用于我们自己的产品，然后面向 Foundry 客户。MAI-Base-2 目前正在进行后训练，我们期待很快分享更多结果。

MAI-Base-2 的对比

当我们完成 MAI-Base-1 的训练时，我们预训练的前进道路很明确：扩大规模。虽然 MAI-Base-1 在其规模下是一个强大的模型，但它比前沿的开放权重和专有模型都要小。

有三项举措对 MAI-Base-2 的成功预训练尤为重要：

• 扩展科学：考虑重复训练数据的扩展阶梯，以及经验性超参数扩展定律。
• 模型-基础设施协同设计：改进的 MoE 和 Muon 实现，以及激活梯度裁剪。
• 扩展数据：扩展的数据流水线以及视觉数据的整合。

MAI-Base-2 是比 MAI-Base-1 更大、更稀疏的模型，训练数据也更多。我们在 2026 年 8 月和 9 月使用 16k GB200 GPU 对 MAI-Base-2 进行了为期 38 天的训练。在整个训练过程中，平均 MFU（模型 FLOPs 利用率）为 21%，goodput（训练推进的时间占比）为 89%。我们的 MFU 以 2.5 PFLOPS（GB200 在 BF16 下的理论最大值）为基准进行归一化，并排除了重计算和优化器的 FLOPs。

我们使用每字节比特数（BPB）在留出文本上比较预训练模型，该指标与每个模型的分词器无关。对于留出代码，我们使用 MAI 自己的代码库，而 STEM、数学和问答评估则委托供应商进行，以降低训练集污染的风险。此外，我们还对所有评估集针对我们的训练数据进行了去污染处理。

我们将 MAI-Base-2 与 2026 年 10 月之前可用的前沿检查点进行了比较：

• DeepSeek-V4-Pro-Base 是开放权重中最强大的基础模型。
• Kimi K3、Qwen3.8-2.4T-A95B 和 MiMo-V2.6-Pro-RL 都是能力很强的开放权重模型。这些模型只有经过后训练的检查点可用。我们报告它们的结果时需说明，后训练可能会影响这些评估。

在这些留出评估中，MAI-Base-2 的 BPB 低于我们测试的其他模型。下面，我们深入探讨使这一结果成为可能的几项进展。

稳健的缩放阶梯

我们使用缩放阶梯来评估模型改动，缩放阶梯是一组采用固定训练配方、规模不同的模型。阶梯的每一级以其层数 \( L \) 命名，仅由 \( L \) 决定架构的其余部分。例如，隐藏维度为 \( (256/3) \cdot L \)，查询头数为 \( L \)，并四舍五入到最接近的 16 的倍数。我们在保持每个活跃参数的训练 token 数（TPP）不变的情况下，训练规模递增的模型。

为了在较小规模下考虑多轮训练，我们使用了一种称为源缩放的技术。在缩放阶梯的较低层级，源缩放人为限制模型训练所用的唯一样本集合，使得无论训练时长如何，每个数据集都重复相同的次数。例如，如果一个数据集在完整的 50T token 训练中重复 8 次，那么 5T token 的训练将仅对该数据的 1/10 循环 8 次。

在固定 TPP 下，源缩放有效地保持唯一数据与参数的比例不变，这有助于确保结果在不同规模间平滑迁移。如果没有源缩放，较小规模的实验可能会偏向于正则化不足的架构和超参数选择，而这些选择在较大规模下会过拟合。在我们的阶梯中加入源缩放，是可靠地扩展到 2.8T 参数模型的关键。图 2 展示了使用缩放阶梯来准确预测 MAI-Base-2 的性能。

将建模效率与计算量分离

模型之间的直接比较会将训练配方的质量与模型规模和训练计算量的差异混为一谈。为了分离出配方的影响，我们估计我们的配方需要多少计算量才能匹配一个强大的外部基础模型。我们使用 DeepSeek-V4-Pro-Base 作为参考：它是唯一发布的、参数超过一万亿的基础预训练检查点，不过其训练所用的 FLOPs 仍显著少于 MAI-Base-2。

对于图 1 中的四项留出评估，我们分别拟合了 BPB 相对于训练 FLOPs 的独立缩放律，并估计我们阶梯上的某个模型需要多少计算量才能匹配 DeepSeek-V4-Pro-Base 的 BPB。MAI-Base-2 的最终性能是已知的，我们将其纳入拟合，因此匹配点落在我们拟合模型的范围内，而不是超出该范围。将这些估计值与 DeepSeek-V4-Pro-Base 的训练计算量进行比较，我们发现我们的配方在 FLOPs 效率上高出 4.2–12.3 倍，如图 3 所示。我们还与 MAI-Base-1 进行了比较，发现自该模型于今年 6 月发布以来，我们的进展带来了 6.3–12.7 倍的 FLOPs 效率提升。我们将 MAI-Base-2 的 FLOPs 效率归因于我们数据的质量和相关性，以及我们建模选择带来的效率提升，这两点将在下文各节中描述。

超参数的缩放律

为大规模训练运行选择最优超参数之所以复杂，是因为超参数优化具有组合空间：改变一个超参数会影响其他超参数的最优值。对于 MAI-Base-2，我们重新审视了解决这一问题的方法。

我们联合扫描学习率（\(LR\)）和权重衰减（\(WD\)），因为它们对训练的影响是耦合的。模型性能对 \(LR\) 与 \(WD\) 的乘积最为敏感，因此好的配置位于 \((\log{LR}, \log{WD})\) 平面上一条狭窄的对角带内。在 \((\log{LR}, \log{WD})\) 中做矩形网格采样会低效地覆盖这条带，因此我们改为在 \((\log{LR}, \log{(LR \times WD)})\) 中扫描网格。

对于模型规模和 TPP 的若干组合，我们沿搜索网格训练模型，并在预训练评估上对它们进行评估。我们对评估结果拟合二维二次函数，并提取解析最小值 \((LR^*, LR^* \times WD^*)\)。图 4 展示了该实验的几个切片。

随后，我们将 \(\log{(LR^* \times WD^*)}\) 和 \(\log{LR^*}\) 建模为模型规模、TPP 或 log steps 等其他特征的函数。通过模型选择，我们发现 \(LR^* \times WD^*\) 主要取决于训练步数，而 \(\log{LR^*}\) 还额外取决于 \(\log{TPP}\)。\(LR^* \times WD^*\) 关于步数的经验指数非常接近 −1，这与解耦权重衰减时间尺度（\(\dfrac{1}{LR \times WD}\)）应占训练固定比例的观点一致。LR 关于步数的经验指数接近 −0.5，这与广泛使用的经验法则一致：当批量大小翻倍时，学习率应乘以 \(\sqrt{2}\)。我们最终得到的 \(LR^*\) 和 \(WD^*\) 缩放律为：

\[LR^* \times WD^* = 17.04 / \text{steps}\] \[\log{LR^*} = -1.51 + 0.175\log{\text{TPP}} - 0.573\log{\text{steps}}\]

使用类似方法，我们还推导出以下 dropout 缩放律：

\[\small \mathrm{Dropout}=\operatorname{sigmoid}\big(0.526\,(\log \mathrm{ActiveParams}-27.2)\big)\]

我们在小规模实验中估计了新的缩放律，然后在中等规模上验证了它们，它们始终优于先前的启发式方法。这些规律定义了 MAI-Base-2 的超参数。

协同设计我们的基础设施与 MAI-Base-2

在计算预算内训练前沿模型，需要针对评估质量和计算效率协同设计模型与基础设施。我们使用效率增益（EG）指标来帮助指导决策：候选方案达到与基线相同评估损失所需计算量的比值。计算量可以用 FLOPs（EG_FLOPs）或墙钟时间（EG_time）衡量，两者互补。我们主要依赖 EG_time，因为它反映了我们基础设施的当前状态。而 EG_FLOPs则衡量原型的潜力，并指导未来的基础设施开发：一项在 FLOPs 上胜出但在墙钟时间上落败的改动，会告诉我们该在哪里投入。这种建模与基础设施的联合优化体现在以下若干设计选择中。

扩展 MoE

我们过去的建模实验表明，在每一层都使用 MoE 相比交替使用稠密 FFN 和 MoE 层，在 EG_FLOPs 方面具有一致优势。然而，我们 MoE 实现中的低效问题使得每隔一层使用 MoE 成为 MAI-Base-1 在 EG_time方面的最优选择。对于 MAI-Base-2，我们发现了两个导致 MoE MFU 次优的低效问题：

1. 动态路由增加了内存碎片化，并为罕见的极端专家负载不均衡占用了更多内存，而这些内存本可用于减少激活重计算。
2. 增加更多、更细粒度的专家增加了每个专家的开销。

解决这些低效问题 将我们 MoE 层的 MFU 从 24% 提升到 35%，这使我们能够在 MAI-Base-2 的每一层都采用 MoE。

具有可调、固定大小内存使用的无丢弃 MoE

在 MoE 层中，每个专家看到的 token 数量是可变的。这带来了 GPU 内存挑战，因为过载的专家可能会耗尽内存。一种解决方案是为每个专家设置固定阈值，超过该阈值后额外的 token 会被丢弃。我们的实验发现，丢弃 token 会导致性能变差。一种朴素的解决方案是简单地按最大不均衡情况为每个专家分配足够内存，但这会在正常负载下导致内存使用效率低下。我们的多轮无丢弃 MoE，如图 6 所示，在任意路由不均衡下实现固定内存使用，消除了碎片化和内存不足崩溃。

我们将每个专家并行 rank 上的专家分组为一个或多个可配置大小的组。每个专家组运行一轮或多轮 dispatch → compute → collect ，并具有固定的每专家 token 容量。如果某个专家收到的 token 超过其可容纳数量，专家组会在额外的轮次中处理这些溢出 token。为减少额外轮次数量，我们允许过载专家使用同一组中其他专家未使用的 token 容量。在反向传播中，我们随后按照类似的多轮调度对每个专家组进行细粒度重计算。这样无论 token 是否不均衡，内存使用都保持静态。Token 容量是可配置的：容量越大意味着内存越多，容量越小则可能意味着更多轮次，从而带来额外计算。在实践中，容量被配置为在稳态下保持单轮。

Dispatch、compute 和 collect 在所有专家组的全部轮次中流水线化，因此除第一个 dispatch 和最后一个 collect 外，其余都与专家计算重叠。在前向传播中，权重量化和共享专家计算与暴露的通信重叠。在反向传播中，所有专家通信完全重叠：暴露的输入 dispatch 与同一层的重计算重叠，暴露的梯度 collect 与权重梯度计算重叠。

减少每专家开销

我们通过四种方式减少每个专家的开销。首先，我们通过对每个专家组同时分组计算和通信，提升 GEMM 和 NVLink 效率。这减少了内核启动开销和长尾效应。其次，我们通过使用驻留在设备上的 token 元数据并直接从 GPU 发起 all-to-all 通信，减少主机-设备同步。第三，我们进一步利用对称内存优化 all-to-all，直接在 NVLink 上交换 token，无需暂存拷贝，从而提升通信吞吐量，并在并发运行 GEMM 时减少 HBM 争用。最后，我们跨层批量处理负载均衡损失，用一次跨所有层的批量归约替代逐层的 all-reduce。这些优化使我们能够训练更稀疏的模型，而不会显著降低 MFU。

扩展 Muon

在扩展到 MAI-Base-2 时，我们发现 Muon 相比 AdamW 带来了更稳定的训练动态和大幅效率提升。将 Muon 用于我们最大的模型，需要降低其每步开销。

Muon 使用 Newton–Schulz 对每个权重矩阵的动量进行正交化，这是一种由若干矩阵乘法组成的迭代算法。这需要完整矩阵，与 ZeRO 在数据并行维度上对动量进行分片相冲突。遵循先前工作，我们在优化器步骤中重新分片动量。每个 GPU 更新其本地 FP32 动量分片并将其转换为 BF16。随后，对相同形状的参数进行批量 all-to-all 交换，使每个 GPU 拥有完整动量矩阵的一个子集。每个 GPU 使用对称感知的 Newton–Schulz 内核在本地对其完整动量矩阵进行正交化。第二次 all-to-all 将更新返回到其原始分片，在那里它们被转换回 FP32 并应用于权重。

我们进一步应用了若干有利于我们在 16K GPU 上训练效率的优化：

• 我们通过预取多个批次来重叠通信和计算。
• 我们缓存并复用重新分片元数据，以避免重复的索引逻辑。这在拥有数千个相同形状参数的稀疏 MoE 模型中尤其有用。
• 选定的权重，例如 MoE 路由器权重，跨 GPU 复制而非分片。跳过第一个通信阶段，取而代之的是在 Newton-Schulz 之后发起 all-gather 集合通信，以获得完整的复制更新集。

经过优化后，Muon 占 MAI-Base-2 平均训练迭代时间的 2.1%（165 ms）。我们跟踪实现质量，并基于性能分析确定变更优先级，同时使用大规模和小规模测试设置。我们将测试中的测量值与理论峰值性能进行比较，我们估计 MAI-Base-2 最终训练设置的理论峰值为 55 ms，且受通信瓶颈限制。我们将理论性能与实测性能之间的差距归因于掉队者、内核调度开销、负载不均衡以及重新分片期间的内存拷贝/分配。

激活梯度裁剪

梯度裁剪是一种通过降低离群梯度影响来稳定训练的常用方法。标准梯度裁剪作用于整个批次权重梯度的全局范数。然而，离群梯度通常由批次中一小部分数据驱动。因此，一个离群样本可能导致整个批次的梯度被缩小，包括那些表现良好的样本的贡献。作为一种更有针对性的缓解措施，我们在网络中的选定位置对激活值梯度进行裁剪。结合 Muon，这使 MAI-Base-2 的梯度范数保持在比 MAI-Base-1 更紧的范围内（图 7）。

激活梯度裁剪还使优化更加稳定，并且如图 8 所示，其收益随规模增长而增大。相比之下，我们测试的大多数改动在不同规模下带来的效率提升大致恒定。

我们还将激活梯度裁剪用作验证训练数据的诊断工具。图 9 展示了一个由激活梯度裁剪识别出的畸形训练样本。在来自我们代码数据的一个 pull request中，许可证头在句子中间被突然截断。追溯这个被裁剪的样本发现我们的预处理流水线中存在一个 bug，该问题此后已被修复。

扩展数据

MAI-Base-2 遵循与 MAI-Base-1 相同的数据原则：我们通往前沿性能的路径建立在原生数据之上，而非从其他模型蒸馏。对自有数据流水线的投入持续带来回报，我们所有训练 token 均在内部处理。以唯一训练 token 衡量，我们的语料库从 MAI-Base-1 到 MAI-Base-2 增长了约 36%（见图 10）。

自 MAI-Thinking-1 以来，我们改进了质量分类、主题分箱、网页解析、去重和评估去污染。对于 MAI-Base-2，我们扩展了流水线以处理大幅更多的网页内容¹，知识截止日期为 2026 年 3 月。我们还使用基于嵌入的多样性采样来优先选取新颖数据并减少重复内容。我们的实验表明，这些方法显著提升了模型性能。

与 MAI-Base-1 不同，MAI-Base-2 使用无编码器的 VLM 架构原生进行视觉预训练。因此，我们大力投入扩充 VLM 语料库，涵盖图文对以及文本与图像交错的文档。该语料库涵盖的任务包括从网页进行图像描述、图表理解、视觉定位、空间推理、医学理解、计算机使用、乐谱阅读，以及我们预计用户会觉得有用的其他领域。我们的 VLM 语料库包含 4.5T 唯一 token，计入重复后，VLM 数据占 50T token 训练混合的 18%。

下一步

MAI-Base-2 是我们下一代模型的基础，我们很高兴很快分享更多相关信息。在 MAI-Base-2 进行后训练的同时，MAI-Base-3 的准备工作已经在进行中。我们所有的模型都遵循自 MAI-Base-1 以来一直指导我们的相同原则：

• 智能应当从第一性原理中学习。
• 简单的方法扩展效果最好。
• 科学严谨胜过走捷径。

我们坚信这些原则将引领我们持续扩展，迈向最前沿。训练前沿 AI 需要建模、数据和基础设施领域的研究人员和工程师作为一个团队协同工作。如果这吸引你，我们正在招聘！

¹ 对于网络数据，我们使用专有爬虫，遵守 Robots Exclusion Protocol（robots.txt）以及相关的 meta 标签和 HTML 控制，使网站所有者能够管理其网站内容的访问和使用方式。我们还排除违反 Microsoft Responsible AI 政策或出现在美国贸易代表办公室（USTR）恶名市场名单上的来源。

与我们共建未来

我们是一个精干、行动迅速的实验室，由世界上最杰出的一些人才组成。我们在 MAI 有一条令人兴奋的算力路线图，正在快速且大规模地扩展。我们还有一个我们真正相信的雄心勃勃的使命。我们也很幸运能与出色的产品团队合作，让我们的模型有机会触达数十亿用户并创造巨大的积极影响。如果你是一位才华横溢、雄心勃勃且不摆架子的人，你会非常适合这里——来加入我们，一起开发我们的下一代模型吧！

浏览所有职位