Mistral AI 发布 Ministral 3B 和 Ministral 8B 端侧模型

在 Mistral 7B 发布一周年之际，这款模型为数百万人带来了独立前沿 AI 创新的革命，我们自豪地推出两款全新的最先进模型，专为设备端计算和边缘用例设计。我们将它们称为 les Ministraux：Ministral 3B 和 Ministral 8B。

这些模型在 10B 以下类别中，在知识、常识、推理、函数调用和效率方面树立了新的前沿，可用于或微调用于各种用途，从编排代理工作流到创建专业任务工作者。两款模型均支持高达 128k 的上下文长度（目前在 vLLM 上为 32k），而 Ministral 8B 具有特殊的交错滑动窗口注意力模式，可实现更快、更内存高效的推理。

我们最具创新精神的客户和合作伙伴越来越多地要求为关键应用提供本地、隐私优先的推理，例如设备端翻译、无互联网智能助手、本地分析和自主机器人。Les Ministraux 正是为这些场景提供计算高效、低延迟的解决方案而构建的。从独立爱好者到全球制造团队，les Ministraux 为各种用例提供服务。

与 Mistral Large 等更大的语言模型结合使用时，les Ministraux 也是多步骤代理工作流中函数调用的高效中介。它们可以被微调以处理输入解析、任务路由，并根据用户意图在多个上下文中以极低的延迟和成本调用 API。

我们展示了 les Ministraux 在多个任务中的性能，它们始终优于同类产品。我们使用内部框架重新评估了所有模型，以确保公平比较。

预训练模型

表 1：Ministral 3B 和 8B 模型与 Gemma 2 2B、Llama 3.2 3B、Llama 3.1 8B 和 Mistral 7B 在多个类别上的比较

图 1：Ministral 3B 和 8B 基础模型与 Gemma 2 2B、Llama 3.2 3B、Llama 3.1 8B 和 Mistral 7B 的比较

指令模型

表 2：Ministral 3B 和 8B Instruct 模型与 Gemma 2 2B、Llama 3.2 3B、Llama 3.1 8B、Gemma 2 9B 和 Mistral 7B 在不同评估类别上的比较。

图 2：3B 系列 Instruct 模型的比较——Gemma 2 2B、Llama 3.2 3B 和 Ministral 3B。该图展示了 Ministral 3B 相较于大得多的 Mistral 7B 的改进。

图 3：8B 系列 Instruct 模型的比较——Gemma 2 9B、Llama 3.1 8B、Mistral 7B 和 Ministral 8B。

可用性与定价

两款模型即日起可用。

| 模型 | API | la Plateforme 上的定价 | 许可证 | | --- | --- | --- | --- | | Ministral 8B | ministral-8b-latest | $0.1 / M tokens（输入和输出） | Mistral 商业许可证 Mistral 研究许可证 | | Ministral 3B | ministral-3b-latest | $0.04 / M tokens（输入和输出） | Mistral 商业许可证 |

对于自部署使用，请联系我们获取商业许可证。我们还将协助您针对特定用例对模型进行无损量化，以获得最大性能。

Ministral 8B Instruct 的模型权重可供研究使用。两款模型将很快在我们的云合作伙伴处提供。

更多内容即将推出

在 Mistral AI，我们继续推动前沿模型的最先进水平。距离 Mistral 7B 发布仅一年，而我们今天最小的模型（Ministral 3B）在大多数基准测试中已经超越了它。我们迫不及待地想让您尝试 les Ministraux 并给我们反馈。