Mistral 发布 24B 开源模型 Mistral Small 3，Apache 2.0 协议下性能对标 Llama 3.3 70B

今天我们推出 Mistral Small 3，这是一个针对延迟优化的 24B 参数模型，以 Apache 2.0 许可证发布。

Mistral Small 3 可与 Llama 3.3 70B 或 Qwen 32B 等更大的模型竞争，并且是 GPT4o-mini 等不透明专有模型的优秀开源替代品。Mistral Small 3 与 Llama 3.3 70B instruct 不相上下，但在相同硬件上速度超过 3 倍。

Mistral Small 3 是一个预训练和指令模型，专为“80%”的生成式 AI 任务而设计——这些任务需要强大的语言和指令遵循性能，同时具有极低的延迟。

我们设计这个新模型是为了在适合本地部署的规模下实现饱和性能。特别是，Mistral Small 3 的层数比竞争模型少得多，大大减少了每次前向传递的时间。在 MMLU 上准确率超过 81%，延迟为 150 tokens/s，Mistral Small 目前是其类别中最高效的模型。

我们以 Apache 2.0 发布预训练和指令微调的检查点。这些检查点可以作为加速进步的强大基础。请注意，Mistral Small 3 既没有用 RL 也没有用合成数据训练，因此在模型生产流程中比 Deepseek R1（一个伟大且互补的开源技术！）等模型更早。它可以作为构建累积推理能力的优秀基础模型。我们期待看到开源社区如何采用和定制它。

性能

人类评估

我们与外部第三方供应商进行了一组超过 1k 专有编码和通用提示的并排评估。评估者的任务是从 Mistral Small 3 与另一个模型生成的匿名回复中选择他们偏好的模型回复。我们意识到在某些情况下，人类判断的基准与公开可用的基准截然不同，但我们在验证公平评估时格外谨慎。我们相信上述基准是有效的。

指令性能

我们的指令微调模型在代码、数学、通用知识和指令遵循基准上，与三倍大小的开放权重模型以及专有 GPT4o-mini 模型竞争。

所有基准的性能准确率均通过相同的内部评估流程获得——因此，数字可能与之前报告的性能略有不同（Qwen2.5-32B-Instruct、Llama-3.3-70B-Instruct、Gemma-2-27B-IT）。基于评判的评估如 Wildbench、Arena hard 和 MTBench 基于 gpt-4o-2024-05-13。

预训练性能

Mistral Small 3，一个 24B 模型，在其规模类别中提供最佳性能，并与三倍大的模型如 Llama 3.3 70B 竞争。

何时使用 Mistral Small 3

在我们的客户和社区中，我们看到这种规模的预训练模型出现了几种不同的用例：

快速响应的对话辅助：Mistral Small 3 在快速、准确响应至关重要的场景中表现出色。这包括许多场景中的虚拟助手，用户期望即时反馈和近乎实时的交互。

低延迟函数调用：当作为自动化或代理工作流的一部分使用时，Mistral Small 3 能够处理快速的函数执行。

微调以打造领域专家：Mistral Small 3 可以通过微调专注于特定领域，打造出高度精准的领域专家。这在法律咨询、医疗诊断和技术支持等领域尤为有用，因为这些领域对专业知识的要求极高。

本地推理：对于处理敏感或专有信息的爱好者和组织尤其有益。经过量化后，Mistral Small 3 可以在单张 RTX 4090 或配备 32GB 内存的 Macbook 上私密运行。

我们的客户正在多个行业评估 Mistral Small 3，包括：

金融服务客户用于欺诈检测

医疗保健提供者用于客户分诊

机器人、汽车和制造公司用于设备端命令与控制

跨客户的通用用例包括虚拟客户服务，以及情感和反馈分析。

在您偏好的技术栈上使用 Mistral Small 3

Mistral Small 3 现已在 la Plateforme 上以 mistral-small-latest 或 mistral-small-2501 提供。请查阅我们的文档，了解如何使用我们的模型进行文本生成。

我们还很高兴与 Hugging Face、Ollama、Kaggle、Together AI 和 Fireworks AI 合作，从今天起在这些平台上提供该模型：

Hugging Face（基础模型）

Ollama

Kaggle

Together AI

Fireworks AI

IBM Watson X

即将登陆 NVIDIA NIM、Amazon SageMaker、Groq、Databricks 和 Snowflake

未来之路

对于开源社区来说，这是激动人心的日子！Mistral Small 3 补充了近期发布的 DeepSeek 等大型开源推理模型，并可作为催生推理能力的强大基础模型。

除许多其他事项外，未来几周内将推出具有增强推理能力的小型和大型 Mistral 模型。如果您有兴趣，请加入我们的旅程（我们正在招聘），或者通过今天就开始改造 Mistral Small 3 并使其变得更好来抢先一步！

Mistral 的开源模型

我们重申对通用模型使用 Apache 2.0 许可证的承诺，并逐步淘汰 MRL 许可的模型。与 Mistral Small 3 一样，模型权重将可供下载和本地部署，并可自由修改和以任何方式使用。这些模型还将通过 la Plateforme 上的无服务器 API、我们的本地和 VPC 部署、定制和编排平台，以及我们的推理和云合作伙伴提供。需要专业能力（如更高的速度和上下文、领域特定知识、代码补全等任务特定模型）的企业和开发者可以依赖额外的商业模型，作为我们贡献给社区的模型的补充。