AI 语音与音频的进展：语音合成、实时对话、音乐生成与音频理解的模型与产品。
字节跳动 Seed 团队发布音频创作模型 Seed Audio 1.0，在统一框架下联合建模人声、音效和环境声，支持 100ms 间隔精度的时间控制、单次约 2 分钟音频的延展生成及 20+ 语种自然生成。该模型已在火山方舟体验中心上线，多数场景音频可用率达 90% 以上，多语言音频自然度 MOS 超 4 分。
推荐理由：字节这次发布的 Seed Audio 1.0 不是又一个 TTS 模型，它把台词、音效、氛围统一编排，并支持百毫秒级时间线控制，对做视频和出海内容的团队是个立刻能用的创作升级。
transcribe.cpp v0.1.0 发布，一个基于 ggml 的语音转录库，支持 16 个 ASR 模型族（60+ 模型），并通过 Vulkan、Metal、CUDA 和 TinyBLAS 实现 GPU 加速。
推荐理由：本地语音转录一直缺一个好用的跨平台引擎，transcribe.cpp 不仅支持 60+ 模型、跑在 GPU 上，还带了 Python/JS/Rust/Swift 绑定，想把语音功能嵌进应用的开发者可以直接拿来用。
Patter SDK 发布教程，演示如何构建一个餐厅预订场景的语音智能体工作流。该流程支持动态调用变量、注册可调用工具、应用输出护栏（如PII脱敏、脏话过滤、话题范围限制），并可在无需实时电话凭证的情况下运行脚本化通话模拟。教程还涵盖延迟与成本指标追踪、回归式评估检查，以及将智能体逻辑、工具调用、安全检查和通话模拟整合为单一结构化管线。
推荐理由：这个教程把 Patter SDK 的语音代理从模拟到部署跑了一遍，代码能直接抄，想上手电话 AI 的开发者可以当样板，不过工具本身还比较新，生态有待验证。
2025年夏季，美国佛罗里达州一名退休老人接到“女儿”哭诉车祸需保释金的电话，一小时内取现1.5万美元交给冒充法院的快递员——实际上，哭声是从一段音频片段合成的AI语音。FBI 2026年4月报告首次将AI欺诈列为独立类别，2025年收到超2.2万起AI相关投诉，调整后损失超8.93亿美元，其中60岁以上受害者占3.52亿美元。
推荐理由：FBI首次将AI诈骗单独统计，老年人成最大受害群体。这篇分析点破了防范盲区：别再指望靠人分辨真假语音，责任该压在银行和平台身上。
阿里通义实验室发布实时语音交互模型 Qwen-Audio-3.0-Realtime，在 Artificial Analysis 的 Speech Reasoning 子项中综合排名第一，超越 OpenAI GPT-Realtime-2。
推荐理由：我觉得Qwen-Audio-3.0-Realtime把情感表达和背景降噪结合得很好，加上工具调用，语音交互终于从聊天走向任务执行，有API可以直接上手，推荐语音产品经理试试。
阿里语音交互模型 Fun-Realtime-AudioChat 全面升级并更名为 Qwen-Audio-3.0-Realtime，支持根据语境动态调整语气与情感、音色克隆，并内置多模态双工控制模型，实现声纹级背景过滤。
推荐理由：把文本推理能力蒸馏到语音模型同时保留毫秒级响应，这种架构为需要复杂决策的语音智能体提供了可行路径。
Google AI Developers@googleaidevs精选AI 评分7070推荐理由：Google把Gemini 3.5的语音翻译做到了近实时、保持语调，这对出海产品是个很实际的升级，实时通话翻译终于从demo走向可用。
GigaChat Audio 是一种时间感知的音频大语言模型，支持长达120分钟的输入，并能生成带有明确时间戳的问答、片段描述和摘要。该模型通过将周期性时间标记与连续音频 token 交错，并利用级联合成数据管道进行大规模训练，在短时和长时基准上均实现了强时间定位精度。研究团队已开源模型权重及超过1万小时的时序数据集。
推荐理由：首个大规模时间感知音频LLM开源，把长音频问答的时间定位做到可验证，且附带完整数据集和消融分析，做语音产品的该认真看一下。
OpenAI 今日推出 GPT‑Live，基于全双工架构实现同时听与说，支持自然打断与实时回馈。该模型每秒多次判断是否说话、倾听、打断或调用工具，并将搜索、推理等复杂任务委托给后台 GPT‑5.5，保持对话流畅。即日起向全球 ChatGPT 用户提供 GPT‑Live‑1 和 GPT‑Live‑1 mini 两个版本。人类评估显示，在 5‑10 分钟对话中，GPT‑Live‑1 系列在自然度、轮流、打断等方面显著优于 Advanced Voice Mode；在 GPQA、BrowseComp 和 τ³‑Voice Telecom 基准测试中也表现更强。未来将开放 API。
推荐理由：GPT‑Live 不是简单的语音版本升级，全双工架构让 AI 终于能同时听和说，加上后台调用 GPT‑5.5，对话体验跨了一大步，做语音应用的产品人该重新思考交互流程了。
Nemotron-Labs-Audex-30B-A3B（Audex）是基于Nemotron-Cascade-2-30B-A3B的MoE大语言模型，采用单一Transformer解码器统一处理文本与量化音频token。训练使用157.4B音频token和320.5B文本token，经多阶段监督训练、文本Cascade RL和多域on-policy蒸馏优化。在音频理解、语音识别/翻译、文本转语音、音频生成及语音到语音生成任务上达SOTA，同时保持原文本LLM的推理、对齐等能力几乎无退化。模型权重已开源。
推荐理由：多模态LLM常捡芝麻丢西瓜，Audex难得做到音频全面增强而文本智能不退化。开源模型让语音产品人可以立刻评估，不是研究Demo。
xAI 发布 21 个新旗舰语音，加入原有的 5 个语音。所有新语音均支持多语言，已在实时 Voice Agent API、Text to Speech API 及新推出的 Grok Voice Agent Builder 中可用。每个语音针对客服、角色、解说、广告、教育等场景定制，支持通过 `[pause]` 等语音标签控制表达。原始 5 个语音（Ara、Eve、Leo、Rex、Sal）经重训练后，节奏、措辞和重音的自然度提升。所有语音原生支持 Grok Voice 的 25 种以上语言。
推荐理由：Grok 一口气放出21种多语言语音，对做语音 agent 的团队是个弹药库更新，但影响的半径基本止于 xAI 生态内部。
通义实验室发布Fun-ASR-Realtime实时语音识别模型。单模型覆盖30种语言及16种方言，针对东亚、东南亚地区重点优化。在工业级方言测评inhouse上取得87.8%的语义准确率，大幅领先，多地方言接近人工水平。引入上下文理解与动态热词注入，实现同音词、品牌名等语义消歧。流式识别首字延迟控制在百毫秒级，准确率接近离线水平，支持多语言无缝切换。API已上线阿里云百炼平台。
推荐理由：Fun-ASR Realtime把多语言方言和流式一体化做得很扎实，特别是对东亚东南亚的优化，准确率提升明显，做语音应用的产品人可以直接关注。
通义实验室发布 Fun-ASR-Realtime，单模型支持 30 种语言和 16 种方言，在工业级方言测评 inhouse 上取得 87.8% 的语义准确率。该模型支持动态注入热词与对话上下文实现语义消歧，首字延迟控制在百毫秒级别，流式识别准确率接近离线水平，并支持多语言无缝切换。API 现已上线阿里云百炼平台。
推荐理由：多语言方言的流式识别将语音交互的可用边界从英语推向了东亚与方言市场，使原先因识别不准而难以落地的本地化客服、语音助手等应用获得了新的技术基础。
一位父亲为患有自闭症的非语言儿子开发了一款沟通应用，在言语治疗室的等候区展示时，所有非语言儿童的母亲看到后都忍不住流泪，言语治疗师也啜泣了五分钟。他意外发现产品市场匹配，决定腾出时间让更多孩子能用上，即使这意味着几周睡眠不足。应用本身是专为理解语言困难的儿童设计的，与传统的AAC设备不同——后者主要面向身体障碍但语言理解正常的成人。
推荐理由：这篇文章读来会让人看天花板，一位父亲用 AI 图像和声音克隆为儿子创造了沟通工具，意外找到了产品市场契合。它比任何融资新闻都更让我相信，AI 的真正价值在于解决那些被忽视的具体问题。
JoyAI App 近日上线 UGC 数字人功能，用户只需上传一张照片即可生成专属虚拟数字分身，支持一键复刻写实形象或通过模板重塑为卡通风格，搭配用户自己的语音即可解锁专属陪伴。该功能复用“万能博士”技术底座，集成 JoyAI 语言、语音、数字人大模型，实现行业领先的全双工对话，支持随时打断、自然接话。数字人兼具情绪陪伴与全能助手属性，可提供点外卖、金融咨询、学英语、规划行程等生活服务。
推荐理由：京东把数字人技术做成了「传一张照片就能捏」的大众玩具，虽然看不出硬核突破，但对普通用户来说，这是第一次零门槛体验有形象有语音的 AI 玩伴，上手即用。
xAI 推出 Voice Agent Builder 测试版，这是一个基于 Grok Voice 的无代码平台，可在两分钟内创建生产级语音智能体。它集成电话、知识检索、工具、MCP、Guardrails 及可观测性，支持连接现有 SIP 号码、API 和 WebSocket，采用语音到语音路径。在 τ-voice Bench 上，Grok Voice Think Fast 1.0 得分 67.3%，领先 Gemini 3.1 Flash Live（43.8%）和 GPT Realtime 1.5（35.3%）。定价为每分钟音频 0.05 美元、电话费 0.01 美元，提供 80+ 种语音及声音克隆，每个账户附赠一个免费电话号码。
推荐理由：xAI 用 Grok Voice 原生的语音到语音路径，把生产级语音代理的搭建门槛降到了无代码、两分钟，计费也简单，做语音业务的人值得试试。
Apple Creator Studio 推出多项 AI 增强更新。Final Cut Pro 新增 on-device AI 驱动的 Generate Captions（自动转录音频生成字幕）和 Edit Detection（自动检测剪辑点）。Mac 版加入 Auto Mask（自动识别皮肤、天空等主体）、增强的 Match Color 和 Advanced Trimming。支持将帧发送至 Pixelmator Pro 编辑，并在 Keynote、Pages、Numbers 中直接调用 Pixelmator Pro 修改图片。Logic Pro 新增 Grammy 制作人制作的 Producer Project 及 Chord ID 改进。订阅价 $12.99/月或 $129/年，新用户免费试用一个月，教育用户 $2.99/月。
推荐理由：Final Cut Pro 的自动字幕和遮罩是实打实的工作流提升，Pixelmator Pro 的深度整合也让设计更顺畅，虽然没有颠覆性突破，但创意工作者今天就能用上。
阿里千问输入法 macOS 版今日上线官网，支持最快 300 字/分的 AI 语音输入，可自动润色、将口语转为工整文字，并支持 9 种方言，纯净无广告。官方预告 iOS、Android、Windows 版将于近日发布。此前千问团队已于今年 5 月推出千问语音输入法（千问 App 内的组件），具备去语气词、纠错、格式化整理及基于上下文的智能回复等能力，而本次上线的输入法则定位为独立 App，填补千问在移动端 AI 输入法赛道的空白。
推荐理由：阿里千问把AI语音能力做成了独立输入法，300字/分+9种方言让语音转文字实用性大增，对不习惯打字的普通用户可能比单纯聊天工具更有粘性。
Treble Technologies 与 Hugging Face 联合推出 FFASR（Far-Field ASR）排行榜，这是首个开源社区驱动的真实远场声学条件 ASR 评测基准。传统近场评测无法反映混响、背景噪声和麦克风距离带来的性能下降。FFASR 使用混合波模拟引擎生成声学数据，涵盖 14 种房间（20–470 m³）和三个信噪比级别（远场高 SNR >14 dB、中 SNR 8–12 dB、低 SNR <6 dB），加上近场干燥条件，共四类条件决定主排名。另有实验室实测/模拟验证轨道和移动声源 beta 版。性能指标同时报告词错误率（WER）和实时因子（RTFx，在 NVIDIA L4 GPU 上评估）。未来将支持多说话人场景、麦克风阵列和回声消除。
推荐理由：远场语音的‘实验室-生产’性能差终于有了量化指标，这个排行榜把 ASR 的真实世界鲁棒性公开化，做语音产品的团队该看看。
6月23日，部分用户反馈 ChatGPT 网页版和 App 版上线了双向 AI 语音模型 Bidi 1，位于设置模型选择器中，与标准语音和高级语音并列。该模型支持边说话边监听，用户可在对话中途打断并发出新指令，例如要求从1数到10时中途喊停倒数，模型会立即切换执行。OpenAI 尚未官宣，预计本周启动更大范围测试。
推荐理由：Bidi 1 让 ChatGPT 语音从回合制变成双向并行，打断后能立即响应，这是语音交互真正的升维，普通人很快就能感受到对话自然感的质变。