ElevenLabs 发布 Eleven Realtime v1 Mini 与 v1 Max 语音智能体模型

如今要打造一个听起来自然的语音智能体，需要做很多决策。你得逐个敲定语音识别、语音活动检测、轮次切换、底层大模型和文本转语音等各个组件。搭建这套技术栈本身就是个大工程，而要让所有组件协同良好，还需要更多的测试和调优。

Eleven Realtime 是一类全新的语音到语音模型，能帮你扫除这些障碍。每个模型都是一个完整的语音智能体，针对不同的使用场景做了优化。两者都支持 90 多种语言，并且可以使用 ElevenLabs 语音库中 17,000 多种声音中的任意一种：

今天，我们推出：

Eleven Realtime v1 Mini，以低成本实现自然对话。它是 AI 助手、教师和互动角色的最佳选择，足以满足大多数使用场景。
Eleven Realtime v1 Max，面向复杂任务。它非常适合客户支持、线索筛选和多步骤工作流，这类场景中智能体需要遵循既定流程并逐步推理。

我们为什么要做实时模型

要打造一个听起来自然的语音智能体，你不该非得成为配置专家。让智能体的感受和声音恰到好处，靠的是一系列需要细致拿捏的小判断，比如停顿之后等多久再回答、用户打断智能体时如何恢复、以及声音、提示词和模型如何协同工作。在 ElevenAgents 中，这些都是你可以调整的设置。

对已经在用实时 API 的开发者来说也是如此。我们的 API 兼容 OpenAI 的 Realtime API，所以想试用 Eleven Realtime，只需在你现有的代码里改一下端点和模型名称。

基于级联架构构建

Eleven Realtime 建立在上述组件的级联架构之上，并做了端到端的调优。我们称之为语音到语音模型，因为你得到的就是音频输入、音频输出、一个模型 ID，以及一个能在与融合模型和双工模型相同的排行榜上被衡量的系统。

融合模型最初为语音智能体的自然程度树立了标杆，而级联方案则意味着每次交接都会增加延迟，且各组件从未针对彼此调优。Realtime 消除了这一取舍，过去需要你亲自做的调优工作已经完成。

级联在生产环境中还有实际优势，因为每一步都会产生文本。你可以看到智能体听到了什么、决定说什么，从而区分是听错了词还是做出了错误决策。也正是这些文本，让 ElevenAgents 能够对 Realtime 智能体施加防护措施和 PII 脱敏。

下面的基准测试检验的就是这一取舍是否真的消失了。在对话动态方面，两个模型的得分与融合模型处于同一区间。在准确率和速度的综合表现上，Artificial Analysis 排行榜上没有任何模型能比 v1 Max 既更快又更准确。

性能表现

Artificial Analysis 在三个公开基准上独立评估了这两个模型：用于语音推理的 Big Bench Audio、用于对话动态的 Full-Duplex-Bench，以及用于人类偏好和任务成功率的 Speech Agent Arena。

语音推理

Big Bench Audio 通过语音提出 1,000 个推理问题，并对口头回答打分。Realtime v1 Max 答对了 98.8% 的问题，v1 Mini 答对了 75.9%。

速度

Big Bench Audio 通过语音提出 1000 道推理题，并对口头回答打分。V1 Max 平均 0.57 秒开始说话，v1 Mini 为 0.62 秒。

准确率与速度的帕累托前沿

准确率和速度通常被视为一对取舍关系。在 Big Bench Audio 上得分最高的模型回答耗时最长，而最快的模型则牺牲了大量准确率。v1 Max 在这两项指标上都表现出色。

对话动态与人类偏好

在测试停顿、轮流发言、打断和附和反馈的 Full-Duplex-Bench 上，v1 Mini 得分 95.8%，v1 Max 得分 94.1%。在 Speech Agent Arena 中，人们通过盲测实时对话比较两个模型，v1 Max 得分 998，v1 Mini 得分 988。在工具调用任务上，v1 Max 完成率 87.1%，v1 Mini 为 60.3%，因此我们建议在工具调用密集的场景中使用 Max。

开始使用

在 ElevenAgents 中（推荐）

创建一个智能体，或打开已有的智能体，然后从下拉菜单中选择一个 Realtime 模型。接下来，ElevenAgents 为生产部署运行智能体所提供的一切都可使用，包括电话、网页、WhatsApp 和 CCaaS 渠道，以及工作流、知识库、护栏、测试和监控。

更多细节请查阅 ElevenAgents 文档。

通过 Realtime API

如果你已经集成了 OpenAI 的 Realtime API，试用 Eleven Realtime 最快的方式是保留现有代码，只改指向的地址。Realtime API 通过 WebSocket 连接，并遵循 OpenAI Realtime 规范，因此 OpenAI 的 SDK 可以直接使用。

Realtime API 仅通过 WebSocket 连接，因此 WebRTC 集成需要先迁移到 WebSocket。它也与 ElevenAgents 分开运行，所以如果你需要渠道、知识库或其他平台功能，请从一开始就基于 ElevenAgents 构建。

迁移指南介绍了具体步骤以及与 OpenAI API 的差异。