跳到正文
北京时间

语音与音频

AI 语音与音频的进展:语音合成、实时对话、音乐生成与音频理解的模型与产品。

170条精选相关主题多模态AI 视频产品更新

最新精选

第 61–80 条 · 共 170 条
6月23日周二
  1. IT之家(RSS)72

    网易有道发布 Confucius4-TTS:14 语种跨语种无口音语音克隆开源模型

    网易有道推出“子曰 4.0”TTS 引擎 Confucius4-TTS,声称是业内首个支持 14 种语言跨语种无口音、且无需参考文本即可完成语音克隆的开源模型。用户仅需 3 秒音频即可实现零样本音色克隆,克隆音色与原声相似度超 85%,任务准确度达 97%。模型支持中文、英语等 14 种语言,首创音频 Prompt 情感克隆迁移。底层采用 GPT 式语义大模型、SSL 预训练特征与 ECAPA-TDNN 说话人编码器、Flow Matching 框架。已全量开源(Apache 协议),提供 54GB 资源包供本地部署。

    推荐理由:网易有道把语音克隆的门槛压到了 3 秒,跨 14 种语言还能保持无口音,而且全量开源、商用无限制,对多语种配音和短剧出海是直接可用的工具。

  2. 公众号:火山引擎71

    豆包音频生成模型1.0发布,重新定义AI音频创作

    火山引擎正式发布豆包音频生成模型1.0(Doubao-Seed-Audio 1.0),支持文本与音频参考生成,端到端输出目标音频。单条Prompt可编排多角色对白、情绪语气、背景音乐及环境氛围,长时生成中保持多角色音色一致性,无需后期多轨混音。模型支持0样本多模态输入,无需额外训练即可生成;实现音色与风格解耦控制及“一声多角”能力。一次支持2分钟音频创作,多次延长保持音色统一。已开启火山方舟API邀测,个人用户享30分钟创作额度,即将上线剪映、即梦、番茄等产品。

    推荐理由:豆包音频生成模型把多角色配音、音效、配乐压缩进一条 Prompt,长时一致性解决了一直以来‘串戏’的痛点,音频创作者的生产流程可能会被改写。

6月19日周五
  1. xAI66

    xAI 的 Grok TTS 模型在 @Vapi_AI 的 Humanness Index 盲测中以 96 分(真人 100 分)位居榜首。该指数选取同一声音和引文,经各模型克隆后由听众盲评。

    引用Vapi@Vapi_AI

    在我们 Humanness Index™ 上对语音模型进行盲投两天后,xAI 的 Grok TTS 模型位居榜首。 它的人性化得分?96,仅比真人语音(100)低 4 分。 Humanness Index 取一个声音和一句引语,将其克隆到所有主流模型上,然后盲放结果,让真实听众打分。 听听看,投出你的票,为排行榜贡献力量 👇 https://humannessindex.vapi.ai/

    推荐理由:xAI Grok TTS 在 Vapi 盲测里人类相似度 96 分,只差真人 4 分,这个分数很有说服力,做语音产品的值得去听听看,能直观感受语音合成的进步。

6月18日周四
  1. 公众号:火山引擎72

    火山引擎上线豆包实时语音模型3.0 API 服务,开启邀测

    火山引擎上线豆包实时语音模型3.0(Seeduplex)API 服务并开启邀测。该模型为原生全双工端到端语音大模型,具备精准遵循、抗干扰、动态判停三大优势。可在多人对话中安静待命,指定话题出现时主动加入;支持通过自定义工具在实时交互中完成预定日历、发送邮件等任务。抗干扰力提升,误回复率与误打断率大幅降低;判停延迟缩短约250ms,复杂场景抢话比例下降40%,用户主动打断延迟缩短约300ms。适用于汽车智能座舱、智能硬件、智能客服等场景。

    推荐理由:豆包实时语音模型3.0带来的全双工实时工具调用,把语音助手从对讲机变成了真人助理,判停延迟和抢话率的改善数据扎实,做车载和智能硬件的团队该认真看看。

  2. LMSYS:Blog(Chatbot Arena 团队)67

    MOSS-TTS-Local-Transformer-v1.5 在 SGLang-Omni 上:原生流式 48 kHz 语音服务

    MOSS-TTS-Local-Transformer-v1.5 是一款开源 TTS 模型,支持 48 kHz 立体声、零样本声音克隆、最长 10 分钟长文本合成、时长控制及 31 种语言。其核心采用 Qwen3-4B 骨干与约 2B 参数的 MOSS-Audio-Tokenizer-v2 音频编解码器,通过 12 个 RVQ 码本运行。SGLang-Omni 以三阶段流水线部署该模型。在 Seed-TTS-Eval 上词错误率 5.10%、语音相似度 69.23%,CV3-Eval 上 WER 7.48%、SIM 61.59%,MiniMax Multilingual 上 WER 6.37%、SIM 75.31%,X Voice 上 WER 20.48%、SIM 63.00%。

    推荐理由:SGLang-Omni 把 MOSS-TTS 的端到端服务拆成三阶段并做了大量底层优化,对想落地实时语音合成的团队是现成的技术方案,技术细节扎实,可以直接照着搭。

  3. TechCrunch:AI(RSS)76

    Google发布99美元Gemini智能音箱

    Google推出首款专为Gemini打造的智能音箱Google Home Speaker,售价99.99美元。支持自然语言请求和多步指令,可在说话中途纠正,并具备连续对话功能。内置10种新声音。高级AI功能需订阅Google Home Premium(月费10美元或年费100美元),包括Gemini Live自由对话、Nest摄像头活动摘要等。即日起预售,本月发货。

    推荐理由:Google 终于把 Gemini 塞进了音箱,多步指令和自然纠错是亮点,但高级功能要订阅 Home Premium。普通用户会觉得方便,智能家居玩家可以观望,AI 从业者不会有多大惊喜。

6月17日周三
  1. Greg Brockman74

    Greg Brockman 称 GPT-Realtime-2 是全新事物。@per_simmons_ 体验数周后表示,GPT-Realtime-2 是操作系统的未来,仅用语音即可打开应用、搜索网页、编辑 Premiere Pro,设置只需几个提示词且无需编码。视频演示了通过 MCP 连接 Obsidian 以及利用无障碍树控制 Premiere Pro 等功能。

    引用Pat Simmons@per_simmons_

    GPT-Realtime 2 是操作系统的未来。 我已经试验了它几周,不得不说,它真是相当不可思议。 打开应用、搜索网页,甚至在 Premiere 里剪辑。全都只用我的声音完成。 而且只需几个提示就能设置好。 在这个视频里,我会向你展示具体怎么做。 0:00 开场 1:46 什么是 GPT-Realtime 2? 4:46 设置它(无需编程) 7:53 修复常开麦克风(按键说话) 9:41 演示:搜索网页 11:38 演示:通过 MCP 连接应用(Obsidian) 14:13 演示:控制 Premiere Pro(无障碍树) 18:00 诚实的注意事项 19:00 结尾

    推荐理由:Greg Brockman 转发的这个视频,演示了用语音控制 OS 完成搜索、写笔记、甚至剪辑 Premiere,这不是 demo 动画,是真的可以上手试的教程,让人感觉语音 OS 离现实又近了一步。

6月16日周二
  1. 🚨 AI News | TestingCatalog75

    Cartesia 推出 Sonic 3.5 和 Ink 2 两个模型,作为单一实时语音栈,分别负责文本转语音和语音转文本。Ink 2 在 Artificial Analysis 的流式语音转文字排行榜上排名第一。Sonic 3.5 在实时文本转语音中位列榜首,首音频延迟约 82ms。Cartesia 成为目前唯一同时拥有 #1 听与说模型的提供商。

    引用Karan Goel@krandiash

    我们发布了 Sonic-3.5 和 Ink-2,这是目前可用于你的语音代理的排名第一的文本转语音和语音转文本流式模型。 新架构为速度和质量开辟了新前沿。 我们现在是唯一一家同时拥有说话和聆听排名第一模型的提供商。

    推荐理由:Cartesia 同时发布实时语音合成和识别两个模型的迭代版,双双登顶第三方基准,80ms 首音频延迟让语音代理的交互感接近真人,做实时语音应用的开发者可以重点看一下。

  2. IT之家(RSS)73

    项目负责人揭秘为何苹果 AI 版 Siri 姗姗来迟:推倒重来,彻底重构

    苹果AI版Siri迟迟未上线,项目负责人迈克·罗克韦尔在WWDC技术分享会上透露,去年团队曾做出在原有Siri基础上小幅改良、新增工具调用的可运行版本,但因无法达到产品愿景,最终选择推倒重来,完整从零重构系统,依托全新大模型搭建。重构后的Siri拥有独立应用程序,原生支持多模态交互,隐私保护贯穿底层架构,并覆盖iPhone、iPad、Mac、Apple Watch、Vision Pro、CarPlay、AirPods等全平台,提供统一连贯体验。

    推荐理由:苹果AI版Siri推迟的真实原因浮出水面——不是技术卡壳,而是主动选择推倒重来,这对所有做大模型应用升级的产品团队是个值得细读的决策复盘。

6月12日周五
  1. Zyphra Research(网页)71

    Zyphra 发布开源实时语音克隆模型 ZONOS2

    Zyphra 发布 Apache 2.0 许可的实时 TTS 模型 ZONOS2,采用 8B 总参数、900M 激活参数的 MoE 架构,主打高保真零样本语音克隆,权重已上线 Hugging Face。

    推荐理由:原文给出架构、训练数据和评测细节,读者可以了解这个开源实时 TTS 模型在音色保真与生成稳定性之间的取舍。

6月11日周四
  1. The Verge:AI(RSS)73

    Deezer 推出面向其他流媒体服务的 AI 音乐检测器

    Deezer 将扫描用户在其它流媒体平台的播放列表,检测其中的 AI 生成音乐。Deezer 是最早标记 AI 生成音乐的大型流媒体服务之一,曾向其他平台提供该技术但少有采纳。Deezer CEO Alexis Lanternier 表示,由于没有其他公司跟进,他们决定让用户无论使用哪个平台,都能检查自己的播放列表中是否包含合成音乐。

    推荐理由:Deezer这手挺狠,自家技术没人买账就做成免费跨平台工具,现在用Spotify和Apple Music的人也能扫歌单了,对在意音乐‘血统’的人来说是个刚需小功能。

  2. 公众号:小米 MiMo74

    小米发布并开源终端AI编程助手MiMo Code V0.1.0,采用MIT协议

    小米发布并开源终端AI编程助手MiMo Code V0.1.0,采用MIT协议。内置限时免费MiMo-V2.5多模态模型,性能比肩Claude Sonnet 4.6;支持接入DeepSeek、Kimi、GLM等模型。核心能力包括持久记忆系统(项目记忆、会话检查点、任务进度)和无限上下文——通过独立subagent自动保存状态解决长会话遗忘。独创Compose模式实现模型与Agent协同优化,SWE-Bench Pro达62%(Claude Code 57%),Terminal Bench 2达73%(68%)。内置语音输入和/dream命令,每7天自动合并记忆。终端输入`mimo`即可使用,所有设置中文汉化。

    推荐理由:小米悄悄发了MiMo Code,开源且免费,用记忆系统和Compose模式解决了AI编程两大顽疾:健忘和跑偏,实测比同模型Claude Code更强,开发者现在就能装上试。

  3. xAI74

    Grok Voice 提供最先进的性能,具有类人的时机、语调和温暖感。而且价格仅为竞争对手的一小部分。 查看详情:http://x.ai/api/voice

    引用ServiceNow AI Research@ServiceNowRSRCH

    🚀 Grok Voice Think Fast 1.0(@xAI)登上 EVA-Bench 的帕累托前沿——在评测中,没有任何系统能在不牺牲体验的情况下在准确率上超越它,反之亦然。 📊 排行榜:https://servicenow.github.io/eva/#results @elonmusk #VoiceAgents #ServiceNowResearch #EVABench #GrokVoice #xAI

    推荐理由:语音AI的SOTA这次不是OpenAI了,Grok Voice在EVA-Bench上无死角领先,价格还打到对手十分之一,做语音产品的可以认真看看这个帕累托前沿选手。

6月10日周三
  1. Hugging Face:Blog(RSS)67

    Hugging Face 博客发布语音智能体代码切换基准测试

    Hugging Face 博客发布针对语音智能体处理代码切换语音的基准测试。数据集覆盖西班牙语‑英语、法语‑英语、加拿大法语‑英语和德语‑英语四对语言,基于人力资源与IT服务管理场景构建。采用词错误率、语义词错误率和答案错误率三项指标评估七种ASR系统,包括AssemblyAI Universal 3-Pro、Deepgram Nova 3 Multilang、ElevenLabs Scribe V2、Gemini 3 Flash、Mistral AI Voxtral Small 24B-2507、Nvidia Parakeet TDT 0.6b V3和OpenAI Whisper Large V3 Turbo。主要发现:代码切换的转录成本因语言对和模型而异;ElevenLabs Scribe V2、Gemini 3 Flash和AssemblyAI Universal 3-Pro在所有指标上表现最佳。数据集和测试框架通过AU-Harness开源发布。

    推荐理由:如果你在给多语言客户做语音Agent,这篇博客直接把主流ASR的code-switching能力测了一遍,ElevenLabs Scribe V2目前最强,还开源了数据集,拿来就能测自己的模型。

  2. Jeff Dean81

    语音翻译一直是Google历时最久的机器学习项目之一,我们已经取得了长足进展。Gemini 3.5 Live Translate是我们最新的语音到语音模型,支持70多种语言。它能让日常产品和应用中跨语言的对话更加自然。 以下是一个示例,展示@InsideGrab的合作伙伴如何帮助旅客与司机建立联系。🚗 已在Google Translate和@GoogleAIStudio的Live API中推出。

    推荐理由:Google把语音翻译做到70+语言,Gemini 3.5 Live Translate直接塞进Google Translate和API,普通人下载App就能用,做跨国生意的这下有福了。

6月9日周二
  1. Apple:Newsroom(RSS)69

    受 DMA 影响,Siri AI 在欧盟将随 iOS 27 和 iPadOS 27 延迟上线

    由于欧盟《数字市场法案》(DMA),Apple 无法在 iOS 27 和 iPadOS 27 发布时于欧盟地区推出 Siri AI。该功能在欧盟的上线时间将晚于其他地区,具体时间未公布。

    推荐理由:苹果首次将 DMA 作为 AI 功能地区延迟的直接理由,并详细披露了与欧盟监管者的分歧,这个案例可能定义了 AI 助手在监管下的权限边界。

6月8日周一
  1. OpenBMB75

    面壁智能 OpenBMB 发布 VoxCPM2 技术报告。该模型为最新语音生成模型,拥有 2B 参数,基于超 200 万小时多语言语音数据训练,支持 30 种语言和 9 种中文方言。具备自然语言语音设计、可控及高保真延续性语音克隆能力。技术报告涵盖架构设计、统一序列公式、AudioVAE 高保真语音重建、大规模训练评估,以及零样本和指令跟随 TTS 基准结果。采用 16kHz 语义编码 + 48kHz 波形重建,在公开 TTS 基准上达到 SOTA 或极具竞争力。模型权重、微调代码和推理工具以 Apache 2.0 开源。

    推荐理由:面壁把语音生成压进2B参数,支持30种语言加方言克隆,还附完整技术报告和Apache 2.0开源,做语音产品的可以直接拉代码跑起来了。

  2. Tencent Hy69

    腾讯混元联合上海交大、南洋理工等机构推出MMAE(Massive Multitask Audio Editing Benchmark),这是首个全面评估AI语音/音频编辑能力的基准。MMAE要求模型理解现有音频并按自然语言指令精确修改,而非简单生成。当前模型在该基准上的精确匹配率(EMR)低于5%,暴露了可靠音频编辑的短板。MMAE包含2000个真实场景高保真样本、17741条细粒度评估项,覆盖声音/音乐/语音及混合共7种模态、6种任务复杂度(基础修改到多跳推理及多轮编辑)、8种操作类型(局部到全局)。论文、代码、数据集和演示已公开。

    推荐理由:过去一年语音和音乐生成很热,但音频编辑还没人正经测过,腾讯这个基准把现状血淋淋地摆出来了,不到5%的准确率意味着整个方向都还在起步期。

6月6日周六
  1. Google Gemini81

    你现可直接在 Gemini Live 中创建和编辑图像。 无论是测试房间装饰、解决数学问题,还是制作可分享的梗图,所有操作都实时完成。 只需打开 Gemini 应用,点击 Live 按钮,共享摄像头,告诉 Gemini 你想看到的。

    推荐理由:Gemini Live 终于能用嘴改图了,实时对话+图像生成让装修试色、数学解题变成「聊着天就把活干了」,产品人和普通用户都该试试这个新交互。