跳到正文
北京时间

语音与音频

AI 语音与音频的进展:语音合成、实时对话、音乐生成与音频理解的模型与产品。

170条精选相关主题多模态AI 视频产品更新

最新精选

第 101–120 条 · 共 170 条
5月20日周三
  1. Google Blog:AI(RSS)75

    Google Workspace 推出全新创建方式与高效工作功能

    Google 在最新更新中为 Gmail、Docs 和 Keep 增添了新的语音功能,并推出了一款名为 Google Pics 的全新设计工具。同时,其 AI Inbox 功能也得到了升级与优化。这些更新旨在进一步提升用户在工作场景中的协作效率与创作体验,通过集成更智能的工具和交互方式,帮助用户更便捷地完成多项任务。

    推荐理由:Google Workspace 直接植入了语音操作和设计工具 Pics,这波更新对办公效率很实在,做产品和运营的可以关注一下实际落地效果。

5月19日周二
  1. Qwen:Blog Retrieval(API)77

    Qwen3.5-LiveTranslate:从声音到视觉,从词语到准确

    Qwen3.5-LiveTranslate-Flash 是 Qwen 家族最新的同声传译模型,基于 Qwen3.5-Omni 架构,支持实时多模态翻译(音频、视频及视觉上下文)。语言覆盖大幅扩展:输入音频与输出文本从18种增至60种,输出音频从10种增至29种。采用 Readable Unit 技术,平均端到端每 token 延迟降至2.8秒,相比前代首 token 延迟降低3.45秒、每 token 延迟降低1.88秒。支持一句话启动的实时语音克隆和可动态配置的热词增强。在 FLEURS 和 CoVoST2 基准上翻译准确率超越主流商用大语音模型。

    推荐理由:这个版本让同声传译从“能用”变成了“好用”,语言覆盖从 18 跃升 60,延迟压到 2.8 秒,加上视觉消除歧义,做国际业务和直播的人值得跟进。

  2. OpenRouter65

    @xai 的 Grok 创意套件中 3 款新模型现已在 OpenRouter 上线: • Grok Imagine Image Quality:照片级真实图像生成与编辑 • Grok Imagine Video:从文本、图像或参考生成短片 • Grok Voice TTS 1.0:支持 20 多种语言的 5 种语音 更多详情见下方 🧵

    推荐理由:如果你觉得官方 Grok API 麻烦,OpenRouter 现在一口气上线了 Imagine 图像、视频和 Voice TTS,做创意产品的开发者可以直接从这里调用了,省去多签一轮 API key 的功夫。

5月15日周五
  1. HuggingFace Daily Papers(社区热门论文)71

    EVA-Bench:端到端语音智能体评估新框架

    EVA-Bench是一个端到端语音智能体评估框架,解决了模拟真实对话与测量全范围语音故障两大挑战。它通过动态多轮机器对话和自动验证进行仿真,并提出了衡量任务完成度、音频保真度的EVA-A指标,以及评估对话体验的EVA-X指标。框架包含三个领域的213个场景及鲁棒性测试集,采用区分峰值与可靠能力的测量方法。在12个系统的测试中发现,无系统能在两项核心指标上同时超过0.5,峰值与可靠性能差距显著,且口音与噪声扰动暴露出明显的鲁棒性缺陷。该框架已开源。

    推荐理由:EVA-Bench 把语音代理评估从「能对话就行」推进到「对话质量+鲁棒性」的全维度打分,还开源了 213 个企业场景,做语音助手的团队该认真看看。

5月13日周三
  1. Demis Hassabis81

    团队正在用AI重新构想鼠标指针,成果非常酷!在@GoogleAIStudio尝试原型版本,体验相当神奇。 [引用 @GoogleDeepMind]:我们正用AI重新构想这个存在50年的界面——鼠标指针。🖱️ 这些实验演示展示了人们如何通过动作、语音和自然简写,在屏幕上直观操控Gemini完成任务🧵

    引用Google DeepMind@GoogleDeepMind

    我们正在用 AI 重新构想一个已有 50 年历史的界面——鼠标指针。🖱️ 这些实验性演示展示了人们如何通过动作、语音和自然简写,在屏幕上直观地指挥 Gemini 完成任务 🧵

    推荐理由:用了50年的鼠标指针第一次被AI改造,这个原型让你在屏幕上随手画圈、说话、打缩写就能控制Gemini,产品经理和设计师都该去玩一下。

5月11日周一
  1. Thinking Machines Lab:官方博客(RSS)59

    Thinking Machines Lab发布Interaction Models研究预览

    Thinking Machines Lab发布interaction models研究预览。该模型从零训练,原生处理音频、视频和文本,采用多流微回合设计实现实时响应,无需外部脚手架。研究预览展示了全新的交互能力,并在智能性与响应性上取得综合SOTA表现。

    推荐理由:Thinking Machines 把实时交互训进了模型本身,不再是外挂脚手架,微轮次架构和 benchmark 数据很硬,做语音/视频助手的可以认真看看,虽然还是研究预览,但方向值得盯着。

5月10日周日
5月9日周六
5月8日周五
  1. OpenAI Developers76

    正在用GPT-Realtime-2构建语音应用? 我们的新提示指南涵盖如何调整推理强度、使用前导说明、设计工具行为、处理不清晰音频、准确捕获实体,以及在长会话中保持状态。 https://developers.openai.com/api/docs/guides/realtime-models-prompting?realtime-model=gpt-realtime-2

    推荐理由:官方出了 Realtime-2 的提示工程指南,从调参到工具调用都给了清晰路径,做语音产品的同学值得认真翻一遍,能省几周摸索时间。

  2. OpenAI:官网动态(RSS · 排除企业/客户案例)86

    通过 API 中的新模型推进语音智能

    OpenAI API 推出了新的实时语音模型,能够进行推理、翻译和语音转录。这些模型显著提升了语音交互的自然度与智能水平,支持实时处理与多语言转换。新功能旨在为开发者提供更强大的工具,以构建更流畅、更智能的语音应用体验。

    推荐理由:语音模型不再只是‘听写’,开始能推理和翻译了,OpenAI这次API更新的几个新模型把语音智能推向更实用的阶段,做语音产品的值得赶紧试试。

5月7日周四
  1. OpenRouter72

    1/ 音频现已成为OpenRouter的一等公民。 今日上线两个新端点: 📢 /api/v1/audio/speech — 文本转语音(TTS) 🎤 /api/v1/audio/transcriptions — 语音转文本(SST) 沿用您已在文本、图像和视频中使用的相同路由、计费和密钥。

    推荐理由:OpenRouter 突然把 TTS 和 STT 拉进了统一路由,用同一把 Key 和账单,做多模态 App 的人可以少调一个 API。更新不大,但省事。

  2. IT之家(RSS)72

    用嘴干活:阿里千问 PC 端上线 AI 语音输入功能

    阿里千问在PC端上线AI语音输入功能,用户通过快捷键即可在各类桌面应用中直接使用。该功能不仅支持去除语气词、纠错和格式化整理口语内容,更能基于上下文智能回复,并可直接下达创作、问答、翻译等指令。其设计逻辑超越传统语音打字工具,旨在成为跨应用的AI任务调度中枢:用户通过按住快捷键启动语音输入模式,或双击切换至AI指令模式,可直接派发信息检索、文档生成等任务。该功能覆盖文档编辑、网页浏览、即时通讯等主流办公场景,无需切换客户端或打开额外窗口,目前所有用户可免费使用。

    推荐理由:阿里千问把语音输入做成了跨应用的AI任务调度中枢,按住说话就能直接发指令干活,对办公族来说是个真提效的小功能,值得装上试试。

  3. OpenAI:官网动态(RSS · 排除企业/客户案例)72

    Uber 利用 OpenAI 帮助司机更智能地赚钱、乘客更快地叫车

    Uber 宣布在其全球实时交通服务平台中集成 OpenAI 技术,用于驱动 AI 助手与语音功能。新功能旨在帮助司机更智能地规划接单以提升收入,同时让乘客能够更快完成叫车流程。该技术将应用于优化实时供需匹配与用户体验。

    推荐理由:Uber 把 OpenAI 的语音和助手能力搬进了打车场景,这是 AI 真正融入日常服务的一个信号,对做产品的人来说,落地路径比技术参数更重要。

5月5日周二
  1. OpenAI Developers(RSS)69

    OpenAI 发布 Realtime Prompting Guide:实时语音智能体提示指南

    OpenAI 发布 Realtime Prompting Guide,指导如何为实时语音智能体编写提示词,涵盖 Realtime 2 推理、前置指令(preambles)、工具调用和精确实体捕获(exact entity capture)等关键功能。该指南旨在帮助开发者更有效地构建和优化基于语音的 AI 交互体验。

    推荐理由:OpenAI官方出的实时语音代理提示指南,把preamble设计和工具调用讲透了,做语音应用的开发者可以直接照着调。

  2. OpenAI:官网动态(RSS · 排除企业/客户案例)58

    OpenAI 如何大规模交付低延迟语音 AI

    OpenAI 重建了其 WebRTC 技术栈,以支持实时语音 AI 服务。新系统实现了低延迟、全球规模扩展和无缝的对话轮转。此次重构旨在为 ChatGPT 的语音模式等产品提供更流畅、更自然的实时语音交互体验,解决了大规模部署时面临的延迟与稳定性挑战。

    推荐理由:OpenAI 把语音 AI 的低延迟秘诀摊开了,做实时语音产品的可以看看他们的 WebRTC 优化思路,虽然不太能直接抄,但方向值得参考。

5月2日周六
  1. xAI67

    语音克隆功能现已通过 xAI API 上线! 不到2分钟即可创建自定义语音,或从我们涵盖28种语言的80多种语音库中选择,为您的语音助手、有声读物、视频游戏角色等注入个性化色彩。 http://x.ai/news/grok-custom-voices

    推荐理由:xAI 正式下场语音克隆,2 分钟克隆加 80 多种声音库,API 直接可调,做语音 agent 和有声书的团队得多关注一下,这对 ElevenLabs 们是个不大不小的冲击。

  2. OpenRouter:Announcements(RSS)63

    面向语音与转录的全新 Audio API

    OpenRouter 正式上线文本转语音和音频转录功能。平台通过两个新的 API 端点,集成了多家供应商的语音合成与音频转录服务。用户现在可以统一调用单一 API,便捷访问多提供商的高质量语音生成与语音转文本能力,无需再为不同服务商单独集成。这简化了开发流程,为应用添加语音交互与内容转录功能提供了更高效的一站式解决方案。

    推荐理由:OpenRouter把语音合成和转录也接进来了,以后做语音应用的开发者可以少对接几个API,这是把‘省事’写进DNA的典型更新。

  3. Sierra:Blog(RSS)64

    τ-voice 发布:面向真实客服场景的实时语音智能体评测基准

    τ-voice 是一个针对实时语音智能体的新基准,包含零售、航空和电信领域的 278 项接地气客服任务。该基准将确定性端到端任务评分与可控的真实音频(多样角色、环境噪音、自由轮次切换)相结合。

    推荐理由:我觉得这是目前最接近真实客服场景的语音agent基准,278个任务覆盖零售、航空、电信,可控噪声和口音,做语音agent的团队可以直接拿来评测。