跳到正文
北京时间

语音与音频

AI 语音与音频的进展：语音合成、实时对话、音乐生成与音频理解的模型与产品。

170条精选相关主题多模态AI 视频产品更新

最新精选

第 21–40 条 · 共 170 条
8月13日周四
  2. 公众号：小红书技术（dots.llm）75

    小红书开源连续自回归语音合成模型 dots.tts：打造可持续扩展的 TTS 基座

    小红书 dots 团队开源 20 亿参数全连续端到端自回归语音合成模型 dots.tts，在 Seed-TTS-Eval 三个子集上取得最佳平均内容准确度和平均说话人相似度。

    推荐理由：连续自回归跳过离散 Token 的信息损失，又用语义编码器回灌历史抑制累积误差，为音色克隆和低步数流式共用同一基座提供了路径。

8月10日周一
  1. MarkTechPost（RSS）75

    NVIDIA 发布 NemotronLabs VoiceChat 11B：开源全双工语音模型，支持约 450 毫秒轮换与实时工具调用

    NVIDIA 发布开源端到端全双工语音对话模型 NemotronLabs VoiceChat 11B，在统一网络中完成流式语音理解与生成，实测轮换延迟 448 毫秒。该模型为首个支持对话中工具调用的开源全双工模型，通过独立输出通道及预置“保持”话术避免 API 执行期间冷场。权重与容器已公开，但仅限研究用途，需单张 80 GB 显存 GPU，目前无托管 API。

    推荐理由：端到端语音模型消除级联延迟，而工具调用侧通道和保留消息设计在不中断对话的前提下补齐了API等待期，让实时语音智能体更容易工程化。

8月9日周日
  1. IT之家（RSS）72

    OpenAI 桌面端 ChatGPT 上线语音交互功能，可语音操控电脑执行多步骤任务

    OpenAI 更新 ChatGPT 桌面应用，新增对 ChatGPT Voice 的支持，用户可直接通过语音对话控制 AI 智能体并让其在电脑上执行任务。该功能基于全新语音模型系列 ChatGPT-Live，支持 ChatGPT Work 和 Codex，在 macOS 上还可借助 Appshots 访问屏幕内容。

    推荐理由：桌面端语音不再只是对话，演示中一条指令完成创建线程、提PR和定位Bug，语音开始成为开发者工作流中的可执行指令层。

8月8日周六
  1. Greg Brockman71

    ChatGPT 团队本周发布多项更新：付费用户将获得 GPT 5.6 Sol 模型，支持通过滑块调节推理深度；免费用户将获得 GPT 5.6 Luna 并享受无限文本消息。此外还改进了网页编辑器格式保留、Android 相机速度，并支持在语音体验中上传文件提问。

    引用Adam Fry@adamhfry

    本周的 ChatGPT 功能更新 - 8月7日： 1/ 网页编辑器中的富文本格式——当你粘贴邮件或文档时，我们的编辑器会保留格式；复制粘贴太常见了，我们早就该做这个了！ 2/ 为付费用户更新模型——GPT 5.6 Sol 在快速聊天和深度推理中更加一致。你现在会得到一个滑块，让你选择 ChatGPT 在回答中投入多少思考。移动端滑块上的触觉反馈（振动）很有趣！ 3/ 无限文本消息——免费用户将获得 GPT 5.6 Luna，并享有无限文本消息。让所有人都更智能。即将推出。 4/ 快速 Android 相机——我们在 Android 上让点击 ChatGPT 中的“相机”来拍摄新照片并提问变得快多了。 5/ 语音 x 文件——你现在可以在我们由 GPT-Live 驱动的新 ChatGPT 语音体验中上传文件并提问。 本周的团队演示非常棒。队列里有很多内容，接下来几个月会很精彩。在评论中告诉我们你期待什么！

    推荐理由：推理深度滑块把算力分配交给用户，对需要精细控制推理时长与成本的流程更有用，免费无限消息则解除了日常对话量限制。

8月7日周五
  1. Suno65

    Voices 功能已在 Suno 移动应用 iOS 和 Android 版正式上线！📱✨ 现在你可以直接在手机上录制人声，并将其用于你的歌曲中。只需在创作界面点击“+ Voice”按钮，录制至少一分钟，然后让音乐流淌起来。（Pro 和 Premier 套餐可无限使用，免费套餐可体验有限版本！） 打开应用，录制你的声音，并在评论区告诉我们你的使用体验！

    推荐理由：移动端录制与生成流程打通，创作者用手机采集声音即可快速应用到曲目中，省去了跨工具处理音色的步骤。

  2. 通义 QwenAudio：原创语音项目62

    QwenAudio Toolkits 发布公开预览，打造 Agent 驱动的本地音视频创作工作台

    QwenAudio Toolkits 是一款本地优先的桌面工作台，定位为对话式 Agent 驱动的音视频创作 IDE，首个公开预览支持 Apple Silicon、macOS 14.2 及以上版本。

    推荐理由：官方文档给出了能力清单、支持范围和隐私边界，读者可以据此评估这款本地音频 AI 工作台是否适合自己的创作流程。

  3. 公众号：面壁智能（MiniCPM）65

    独立开发者用 VoxCPM 克隆网红声音，让 AI 终于“会聊天”了

    独立开发者叶小叔用面壁智能开源的 VoxCPM 克隆千万粉丝网红声音，搭建 STT → LLM → VoxCPM（TTS）三段式实时对话管道，TTS 首包延迟不到 1 秒，端到端体感 2 到 3 秒。

    推荐理由：案例的实践价值在于澄清了实时对话 TTS 环节的选择逻辑：中文原生支持与默认参数平衡往往优于盲目追求极致克隆，这一取舍对同类项目具直接参考。

8月6日周四
  1. OpenBMB65

    面壁智能 OpenBMB 在 #BuildSmall 黑客松推出 AMNESIAC，一款反向图灵测试交互游戏：玩家需说服 AI 审讯官 A.M.N. 自己是人类。该游戏由 MiniCPM-o 4.5 驱动实时对话与推理，VoxCPM 生成审讯官语音，并结合摄像头面部表情、脉搏信号与响应计时进行多模态审讯。项目已开源至 HuggingFace。

    推荐理由：将摄像头面部信号、语音对话和LoRA角色塑形组合进一个可玩演示，为交互式AI角色提供了比常见聊天机器人更丰富的多模态模板。

8月5日周三
  1. 字节 Seed：Research Feed（网页内嵌数据）78

    字节 Seed 发布 SeedRealtime 音视频全双工大模型，走向全模态自然交互

    字节 Seed 发布 SeedRealtime，用统一架构原生融合音频、视频与文本，实现“边看、边听、边说”的实时交互。相比级联模型，其音视频对话节奏问题减少一半，并已在豆包 App 全量上线，率先实现音视频全双工技术的规模化落地。

    推荐理由：SeedRealtime 将音视频感知与表达统一到同一端到端模型中，级联系统常见的说话节奏问题减少了一半，实时场景中能主动提醒并自然停顿，为全模态智能助手交互提供了新的技术路线。

8月4日周二
  1. 公众号：腾讯混元65

    腾讯混元发布 Hy ASR 3.0 preview：真正懂上下文的语音识别

    腾讯混元发布新一代语音识别模型 Hy ASR 3.0 preview，基于大语言模型 Hy3 与 MoE 架构，融合高精度识别与语义理解。其在开源评测集中中文普通话 WER 3.34%、英语 WER 2.62%、粤语 WER 3.12%，并支持上下文纠错、热词注入及高噪耳语等场景。该模型已上线腾讯云 API，元宝 App 首发并免费开放。

    推荐理由：将 LLM 语义理解融入语音识别，上下文纠错和热词注入降低了专业场景的接入成本，元宝已集成可体验。

  2. HuggingFace Daily Papers（社区热门论文）70

    SwanTale：面向指令与零样本任务的统一多说话人语音与音频生成

    SwanTale 提出统一的多说话人语音与音频生成模型，同时支持零样本与指令任务。研究配套推出 SwanData-Caption 数据方案，通过清洗、合成覆盖与多级标注解决数据稀缺问题，并引入 SwanVAE、Unified MoE、GRPO 后训练等技术。实验显示，SwanTale 在多项零样本与指令指标上领先，并在两项任务的表达力评分中均取得最佳成绩。

    推荐理由：通过 SwanData-Caption 数据管线和统一模型，让内容创作者能够以自然语言描述生成定制声音，并复用参考音频，减少了动画、游戏等场景中音频合成的碎片化。

  3. Greg Brockman66

    GPT-Live 是一种用于实时音频的新架构和栈： GPT-Live 可以在说话的同时聆听。 为了让这种体验在 ChatGPT 规模下显得自然，我们从客户端到模型重建了语音栈。 这一新架构让音频持续流动，因此更深入的推理和工具使用不会打断对话。

    引用OpenAI@OpenAI

    GPT-Live 可以边说边听。 为了让这在 ChatGPT 规模下显得自然，我们从头重建了从客户端到模型的语音技术栈。 这一新架构让音频持续流动，因此更深入的推理和工具调用不会打断对话。

    推荐理由：在 GPT-Live 架构下推理与工具调用期间音频流不间断，语音交互的等待感和打断感被显著消除，适用于需要持续对话的陪伴和协作场景。

7月29日周三
  1. OpenAI Developers65

    我们在 API 中引入了两种新的转录模型： • GPT-Live-Transcribe：专为低延迟实时转录而构建。 • GPT-Transcribe：针对已完成音频文件和批量工作负载的异步转录进行了优化。 两种模型都能更好地理解上下文，并在跨口音和语言的实际音频上提供更准确的转录，包括短句、数字、专业术语以及背景噪音较大的语音。

    推荐理由：OpenAI 正式把转录拆成实时和异步两个模型，这是一个信号，语音 AI 的落地正在从通用走向场景专用，做语音产品的都该看一眼。

7月27日周一
  1. 通义 QwenAudio：原创语音项目66

    QwenAudio 开源 qwen-audio-agent 实时语音 Agent 运行时

    QwenAudio 开源 qwen-audio-agent，一个让 Agent 保持在线的实时语音运行时，前台对话与后台任务并行，任务结果自动回到当前对话。

    推荐理由：原文给出了前台语音对话加后台 Agent 执行的架构设计与多款后端 Agent 接入方式，读者可据此评估是否接入自己的工作流。

7月24日周五
  1. OpenAI79

    ChatGPT 语音功能现已登陆桌面应用。 只需使用语音，即可控制你的电脑，并指挥在 ChatGPT Work 或 Codex 中运行的多个智能体。 该功能由 GPT-Live 驱动，因此它能够同时在该应用中说话、聆听并协调工作。 今日起，面向 macOS 和 Windows 平台的 Plus、Pro、Business、Edu 及 Enterprise 计划用户全球推送。

    推荐理由：ChatGPT 的语音助手正式上岸桌面，关键是能同时指挥多个代理干活，一边写代码一边查资料，全程动嘴就行。对重度用户来说，这可能比任何新模型都更直接影响工作流。

7月23日周四
  1. Qwen79

    阿里通义千问推出最新文本转语音模型Qwen-Audio-3.0-TTS，提供Flash（实时交互）和Plus（高质量生成）两个版本。新功能包括细粒度内联标签控制（如[whisper]、[angry]）、自然语言风格控制、支持16种语言，以及一次生成长达3分钟的长文本。该模型目前在Artificial Analysis TTS排行榜上排名第一。

    推荐理由：TTS 模型终于学会控制情感和语调了，Qwen 这次把自然语言提示和细粒度标签一起放进去，做语音助手的可以直接从‘能说话’跳进‘有性格’。

7月22日周三
  1. OpenRouter：Announcements（RSS）72

    OpenRouter 新增音频转写 API，支持 Whisper 与 token 计价 STT 模型

    OpenRouter 推出 POST /api/v1/audio/transcriptions 端点，用户可使用同一 API key 将 base64 编码音频发送至该端点，返回 JSON 格式文本与用量对象。

    推荐理由：OpenRouter 把语音转录集成进 API，一份 key 搞定聊天和转写，对已经在用的团队省心不少，这篇教程直接可跑。

  2. Andrej Karpathy78

    Andrej Karpathy分享了一种与LLM协作的有效模式：开启语音输入，进行10分钟左右的自由漫谈，即使内容混乱、意识流式也无妨。他发现LLM擅长从长篇不连贯的语音中重构意图，回应的内容往往比用户最初的思路更清晰，从而减少后续修正次数、提升人机对齐效率。

    推荐理由：Karpathy 这条语音输入 ramble 技巧，比精心写 prompt 更符合人性，读完后你也会想试试。