Mistral 发布开源语音理解模型 Voxtral，提供 24B 与 3B 两个版本

语音是人类最早的交互界面——早在书写或打字出现之前，它就让我们得以分享想法、协调工作并建立关系。随着数字系统能力日益增强，语音正重新成为我们最自然的人机交互方式。

然而，当今的系统仍然受限——不可靠、专有，且对现实世界的使用来说过于脆弱。要弥合这一差距，需要具备卓越转录能力、深度理解、多语言流畅性以及开放灵活部署的工具。

我们发布 Voxtral 模型以加速这一未来。这些最先进的语音理解模型有两种规模——24B 变体适用于生产级应用，3B 变体适用于本地和边缘部署。两个版本均在 Apache 2.0 许可下发布，也可通过我们的 API 使用。API 将转录查询路由到针对转录优化的 Voxtral Mini 版本（Voxtral Mini Transcribe），可提供无与伦比的成本和延迟效率。如需全面了解 Voxtral 背后的研究与开发，请参阅我们的详细研究论文，可在此处下载。

为所有人提供开放、经济实惠且生产就绪的语音理解。

直到最近，要在生产中获得真正可用的语音智能，意味着要在两种权衡之间做出选择：

1. 词错误率高且语义理解有限的开源 ASR 系统

2. 将强大转录与语言理解相结合的封闭专有 API，但成本显著更高，且对部署的控制更少

Voxtral 弥合了这一差距。它在开放环境中提供最先进的准确性和原生语义理解，价格不到同类 API 的一半。这使得高质量语音智能能够以可扩展的方式被获取和掌控。

两个 Voxtral 模型都超越了简单的转录，其能力包括：

长格式上下文：凭借 32k token 的上下文长度，Voxtral 可处理长达 30 分钟的音频用于转录，或 40 分钟用于理解

内置问答与摘要：支持直接针对音频内容提问或生成结构化摘要，无需串联单独的 ASR 和语言模型

原生多语言：自动语言检测，并在全球最广泛使用的语言（英语、西班牙语、法语、葡萄牙语、印地语、德语、荷兰语、意大利语等）中具备最先进的性能，帮助团队用单一系统服务全球受众

直接从语音进行函数调用：能够根据用户的口头意图直接触发后端函数、工作流或 API 调用，将语音交互转化为可执行的系统命令，无需中间解析步骤。

强大的文本能力：保留其语言模型骨干 Mistral Small 3.1 的文本理解能力

这些能力使 Voxtral 模型非常适合现实世界的交互和下游操作，例如摘要、回答、分析和洞察。对于成本敏感的使用场景，Voxtral Mini Transcribe 以不到一半的价格超越 OpenAI Whisper。对于高端使用场景，Voxtral Small 的性能与 ElevenLabs Scribe 相当，价格同样不到一半。

基准测试

语音转录

为了评估 Voxtral 的转录能力，我们在一系列英语和多语言基准上对其进行评测。对于每项任务，我们报告跨语言的宏平均词错误率（越低越好）。对于英语，我们报告短格式（<30 秒）和长格式（>30 秒）的平均值。

Voxtral 全面优于 Whisper large-v3，这是当前领先的开源语音转录模型。它在所有任务上都击败了 GPT-4o mini Transcribe 和 Gemini 2.5 Flash，并在英语短格式和 Mozilla Common Voice 上取得了最先进的结果，超越了 ElevenLabs Scribe，展示了其强大的多语言能力。

在 FLEURS 的跨语言评测中，Voxtral Small 在每项任务上都优于 Whisper，在多种欧洲语言上取得了最先进的性能。

宏平均详情：

英语短格式：LibriSpeech Clean、LibriSpeech Other、GigaSpeech、VoxPopuli、Switchboard、CHiME-4、SPGISpeech

英语长格式：Earnings-21 10-m、Earnings-22 10-m

Mozilla Common Voice 15.1：英语、法语、德语、西班牙语、意大利语、葡萄牙语、荷兰语、印地语

FLEURS：英语、法语、德语、西班牙语、意大利语、葡萄牙语、荷兰语、印地语、阿拉伯语

音频理解

Voxtral Small 和 Mini 能够直接从语音中回答问题，或通过提供音频和基于文本的提示来回答问题。为了评估音频理解能力，我们创建了三个常见文本理解任务的语音合成版本。我们还在内部音频理解（AU）基准上评估这些模型，该基准要求模型回答 40 个长格式音频示例中的具有挑战性的问题。最后，我们在 FLEURS-Translation 基准上评估语音翻译能力。

Voxtral Small 在所有任务上都与 GPT-4o-mini 和 Gemini 2.5 Flash 具有竞争力，在语音翻译方面取得了最先进的性能。

文本

Voxtral 保留了其语言模型骨干的文本能力，使其能够分别作为 Ministral 和 Mistral Small 3.1 的直接替代品使用。

免费试用

无论你是在笔记本电脑上进行原型设计、在本地运行私有工作负载，还是在云端扩展到生产环境，入门都很简单。

本地下载并运行：Voxtral（24B）和 Voxtral Mini（3B）均可在 Hugging Face 上下载

试用 API：通过一次 API 调用，将前沿语音智能集成到你的应用中。定价为每分钟 $0.001 起，使高质量的转录和理解在大规模应用中变得经济实惠。在此查看我们的文档。

在 Le Chat 上试用：在 Le Chat 的语音模式中试用 Voxtral（将在未来几周内向所有用户推出）——在网页或移动端均可。录制或上传音频，获取转录，提出问题，或生成摘要。

高级企业功能。

我们还为具有更高安全性、规模或特定领域需求的企业提供 Voxtral 功能。如果你正在考虑以下事项，请联系我们：

生产规模的私有部署：我们的解决方案团队可以帮助你在自己的基础设施内完全设置 Voxtral 以进行生产规模推理。这非常适合具有严格数据隐私要求的受监管行业的用例。这包括跨多个 GPU 或节点部署 Voxtral 的指导和工具，以及针对生产吞吐量和成本效率优化的量化构建。

领域特定微调：与我们应用 AI 团队合作，将 Voxtral 适配到专业场景——例如法律、医疗、客户支持或内部知识库——提升您用例的准确率。

高级上下文：我们正在邀请设计合作伙伴，共同构建对说话人识别、情感检测、高级说话人分离，甚至更长上下文窗口的支持，以满足开箱即用的更广泛需求。

专属集成支持：优先获得工程资源和咨询服务，帮助将 Voxtral 无缝集成到您现有的工作流、产品或数据管道中。

即将推出。

我们将与 Inworld 的朋友们举办一场线上研讨会（看看他们用 Voxtral 和 Inworld TTS 做的超酷语音到语音演示！），展示如何在 8 月 6 日星期三构建端到端的语音驱动智能体。如果您感兴趣，请在此处注册。

我们正在努力在未来几个月内让音频能力更加丰富。除了语音理解之外，我们很快会支持：

说话人分割

年龄和情感等音频标记

词级时间戳

非语音音频识别

以及更多！

我们很期待看到您用 Voxtral 构建什么。

顺便说一句，我们正在招聘！

Voxtral 模型的发布标志着向前迈出了重要一步，但我们的旅程远未结束。我们的目标是构建最自然、令人愉悦、近乎人类般的语音界面，还有很多工作要做。我们正在积极扩充我们初生的音频团队，寻找与我们怀有同样抱负的优秀研究科学家和工程师。

如果您有兴趣加入我们实现人工智能民主化的使命，欢迎您申请加入我们的团队！