Mistral 发布开源模型 Mixtral 8x22B，采用 Apache 2.0 许可证
Research Cheaper, Better, Faster, Stronger April 17, 2024 By Mistral team
Mistral 发布开源稀疏混合专家模型 Mixtral 8x22B，总参数 141B，仅激活 39B，上下文窗口 64K tokens，以 Apache 2.0 许可证开放。模型支持英语、法语、意大利语、德语和西班牙语，具备原生函数调用能力，指令版在 GSM8K maj@8 得分 90.8%，Math maj@4 得分 44.6%，现已在 la Plateforme 上提供。
官方发布原文给出了活跃参数、上下文窗口、许可证和基准成绩，读者可以据此评估它在开源模型中的成本与性能定位。
Mixtral 8x22B 是我们最新的开放模型。它为 AI 社区的性能和效率设定了新标准。它是一个稀疏专家混合（SMoE）模型，仅使用 141B 中的 39B 活跃参数，为其规模提供了无与伦比的成本效率。
Mixtral 8x22B 具有以下优势：
它流利掌握英语、法语、意大利语、德语和西班牙语
它具有强大的数学和编码能力
它原生支持函数调用；结合 la Plateforme 上实现的约束输出模式，这能够大规模地实现应用程序开发和技术栈现代化
其 64K 令牌上下文窗口允许从大型文档中精确回忆信息
真正开放
我们相信开放和广泛传播的力量能够促进 AI 领域的创新和协作。
因此，我们根据 Apache 2.0（最宽松的开源许可证）发布 Mixtral 8x22B，允许任何人在任何地方无限制地使用该模型。
效率极致
我们构建的模型为其各自规模提供无与伦比的成本效率，在社区提供的模型中提供最佳的性能成本比。
Mixtral 8x22B 是我们开放模型家族的自然延续。其稀疏激活模式使其比任何密集 70B 模型更快，同时比任何其他开放权重模型（在宽松或限制性许可证下分发）更强大。基础模型的可用性使其成为微调用例的绝佳基础。
图 1：性能（MMLU）与推理预算权衡（活跃参数数量）的衡量。Mistral 7B、Mixtral 8x7B 和 Mixtral 8x22B 都属于与其他开放模型相比的高效模型家族。
无与伦比的开放性能
以下是开放模型在标准行业基准上的比较。
推理与知识
Mixtral 8x22B 针对推理进行了优化。
图 2：顶级领先 LLM 开放模型在广泛常识、推理和知识基准上的性能：MMLU（大规模多任务语言理解测量）、HellaSwag（10-shot）、Wino Grande（5-shot）、Arc Challenge（5-shot）、Arc Challenge（25-shot）、TriviaQA（5-shot）和 NaturalQS（5-shot）。
多语言能力
Mixtral 8x22B 具有原生多语言能力。在法语、德语、西班牙语和意大利语的 HellaSwag、Arc Challenge 和 MMLU 基准上，它大大优于 LLaMA 2 70B。
图 3：Mistral 开源模型与 LLaMA 2 70B 在法语、德语、西班牙语和意大利语的 HellaSwag、Arc Challenge 和 MMLU 上的比较。
数学与编码
与其他开放模型相比，Mixtral 8x22B 在编码和数学任务中表现最佳。
图 4：领先开放模型在流行编码和数学基准上的性能：HumanEval pass@1、MBPP pass@1、GSM8K maj@1（5 shot）、GSM8K maj@8（8-shot）和 Math maj@4。
今天发布的 Mixtral 8x22B 指令版本显示出更好的数学性能，在 GSM8K maj@8 上得分为 90.8%，Math maj@4 得分为 44.6%。
现在就在 la Plateforme 上探索 Mixtral 8x22B，加入 Mistral 开发者社区，共同定义 AI 前沿。
来源：Mistral AI：News · mistral.ai