跳到正文
北京时间

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

437条精选相关主题图像生成AI 视频语音与音频

最新精选

第 1–20 条 · 共 437 条
9月28日周一
  1. IT之家(RSS)78

    Meta 推出 Hologram 拟真虚拟形象,秋季上线雷朋眼镜与 Quest 头显

    Meta 宣布将于今年秋季在雷朋 Display 智能眼镜、Quest 头显及新轻薄头显上推出“Hologram”功能。该功能利用生成式 AI(实时扩散模型)创建高度拟真的用户虚拟形象,替代传统摄像头画面用于 WhatsApp 视频通话。用户需通过手机 Meta AI 应用采集面部表情和语音数据完成建模。雷朋版基于音频驱动生成 2D 视频流,Quest 版支持 3D 等身立体呈现。目前存在细节粗糙、侧倾变形等技术局限。

    推荐理由:Meta 将生成式 AI 深度整合进主流 XR 硬件的通信场景,标志着虚拟形象从卡通向高保真实时生成的跨越,对 AR/VR 社交体验有重要影响。

9月24日周四
9月22日周二
  1. Xiaomi MiMo73

    小米 MiMo 发布 MiMo-V2.6 Pro 与 Flash 两个全模态模型,通过规模化强化学习训练。Pro 在多数 Agent 基准上与 Claude Opus 5 和 GPT-5.6 Sol 表现相当,在 Artificial Analysis Intelligence Index 得分 46,为开源模型中最高;能力覆盖编码、computer use、3D 推理和创作。

    推荐理由:官方发布全模态模型并开放权重、技术报告和训练代码,附与 Claude Opus 5、GPT-5.6 Sol 的 Agent 基准对比数据。

9月18日周五
  1. Qwen:Blog Retrieval(API)69

    Qwen 发布 Qwen3.8-LiveTranslate 实时同传模型,LAAL 降至 2.3 秒

    Qwen 发布 Qwen3.8-LiveTranslate,采用 Interleave 架构与 Hybrid-MoE Thinker–Talker 设计重构实时同声传译,平均滞后(LAAL)从上一代的 2.8 秒降至 2.3 秒。

    推荐理由:官方给出了架构设计、LAAL 从 2.8 秒到 2.3 秒的数字和多语言评测结果,读者可以据此评估其实时翻译能力的实际变化。

  2. HuggingFace Daily Papers(社区热门论文)85

    DeepSeek-V4.1-Flash 发布:552B MoE 多模态模型主打 KV cache 压缩

    DeepSeek 发布 DeepSeek-V4.1-Flash,一个 552B 参数的多模态 MoE 模型,支持最长 100 万 token 上下文,模型权重已在 Hugging Face 开放。

    推荐理由:论文给出了每 token KV cache 字节数等具体压缩指标,并与上一代模型直接对比,可评估长上下文 Agent 部署成本变化。

  3. Qwen:Blog Retrieval(API)78

    Qwen 发布原生全模态模型 Qwen3.8-Omni-Flash,主打音视频智能体任务交付

    Qwen 发布下一代原生全模态模型 Qwen3.8-Omni-Flash,支持文本、图像、音频和视频输入及 1M token 上下文窗口,29 项评测平均分较 Qwen3.5-Omni-Plus 提升超过 25%,音频输入每小时价格下降超过 98%,音视频输入每小时价格下降超过 93%。

    推荐理由:官方发布同时开放 API 和开源插件与运行时,读者可以据此评估音视频智能体在剪辑、会议、实时交互等工作流中的落地方式。

9月16日周三
  1. 蚂蚁 inclusionAI:GitHub 新仓库63

    蚂蚁 inclusionAI 开源 Realtime-Venus 全双工交互系统

    蚂蚁集团 Venus 团队与清华大学在 GitHub 开源 Realtime-Venus,一个支持全双工对话与异步任务委托的实时交互系统。系统包含三个组件:Realtime-Venus-Omni(9B,流式音视频对话与主动交互)、Realtime-Venus-Audio(9B,语音交互与音频理解)以及负责后台任务执行并将结果返回同一对话的 Harness 运行时。

    推荐理由:蚂蚁和清华开源了全双工对话加异步委托任务的系统,含 9B 的 Omni 与 Audio 两个模型和 Harness 运行时,可直接下载推理或跑浏览器 demo。

  2. OpenRouter:Announcements(RSS)73

    DeepSeek V4 哪些型号支持图像输入?OpenRouter 逐款梳理与调用指南

    OpenRouter 梳理其目录中的 DeepSeek V4 系列图像输入支持情况:V4.1 Flash 原生读图(2026年9月10日上线,$0.15/$0.60 每百万 token)。

    推荐理由:原文逐一列出 DeepSeek V4 各型号是否支持图像输入、价格和调用方式,并给出文本-only 型号配视觉模型的两段式替代方案。

  3. Google Blog:AI(RSS)63

    Google 发布 TranslateGemma 等多语言 AI 成果,语言技术覆盖 300 多种语言

    Google 宣布其语言技术已支持超过 300 种语言、覆盖全球 86% 人口,并发布 TranslateGemma 轻量开源翻译模型(基于 Gemini 训练、支持 55 种语言、可离线运行)。

    推荐理由:原文来自 Google 对其语言技术的系统性梳理,读者可以借此了解其多语言 AI 的技术路线和数据合作方式。

9月15日周二
  1. 公众号:生数科技(Vidu·视频)67

    生数科技发布 Vidu S2:含 Avatar 与 Editing 双模型,探索空间视频

    生数科技正式发布 Vidu S2,包含面向数字角色实时交互的 Vidu S2-Avatar 和面向视频流实时编辑的 Vidu S2-Editing,并探索面向 VR 头显的实时空间视频生成与编辑。

    推荐理由:官方发布 Vidu S2 双模型,给出实时交互、编辑与空间视频的技术路线和评测数字,读者可对照判断其流式生成思路。

  2. Apple:Newsroom(RSS)77

    Apple 发布新一代 Apple Intelligence,Siri AI 正式以测试版上线

    Apple 发布新一代 Apple Intelligence,推出全面重构的 Siri AI,支持个人语境理解、屏幕感知、系统级应用操作和跨设备对话,今日起以英文测试版随 2027 系统更新推出,下月扩展至法语、日语、韩语、葡萄牙语和西班牙语。

    推荐理由:官方公告完整列出 Siri AI 的能力清单、设备与语言范围,以及欧盟和中国市场暂不可用等限制,读者可据此评估适用性。

9月13日周日
  1. Suno:Blog(网页)68

    Suno 发布 v6 音乐模型,推出 v6、v6-wild、v6-mini 三个版本

    Suno 发布新一代音乐模型 v6,与 Warner Music Group、BMG、Believe 等行业伙伴合作开发,后续将全面替换旧模型。v6 分为三个版本:旗舰 v6 和探索向的 v6-wild 面向 Pro 与 Premier 订阅用户,更快的 v6-mini 向所有人开放。

    推荐理由:官方发布新一代音乐模型,给出三个版本的定位差异和编辑、混音、采样等具体新能力,可帮助创作者判断如何选择和使用。

9月11日周五
  1. 公众号:卡尔的AI沃茨76

    实测 DeepSeek V4.1 Flash:价格大降、原生带视觉,作者用游戏与城市生成任务验证表现

    作者实测 DeepSeek V4.1 Flash,缓存命中输入降价 7 倍多、输出砍三分之二,9 月 14 日中午 12 点起所有发往 v4-pro 的请求将被强制路由到 4.1 Flash 并按其低价计费。

    推荐理由:作者实测 DeepSeek V4.1 Flash 的价格、架构参数和多个生成任务,并给出与 GLM 5.3 Flash 的对比结果和暴露的缺陷。

  2. WorkBuddy70

    WorkBuddy 宣布 DeepSeek V4.1-Flash 已在其平台上线,免费试用两周。引用的 DeepSeek 公告称 V4.1-Flash 已登陆 DeepSeek API 并支持原生多模态。

    引用DeepSeek@deepseek_ai

    ⚡ V4.1-Flash 现已在 DeepSeek API 上线,原生支持多模态。 将你的模型设置为 deepseek-flash。 🔹 V4-Flash 和 V4-Flash-Vision-Exp 已退役。为保持兼容,deepseek-v4-flash 和 deepseek-v4-flash-vision-exp 暂时路由至 V4.1-Flash。 🔹 多方测试表明,V4.1-Flash 在性能、成本、速度和总运行时间上均领先于 V4-Pro。我们正在逐步淘汰 V4-Pro。 🔹 自 2026 年 9 月 14 日 04:00 UTC 起,所有 deepseek-v4-pro 请求将按 V4.1-Flash 的费率路由至 V4.1-Flash。此安排将持续至 V4.1-Pro 发布。 🤝 官方合作伙伴 @WorkBuddy_AI(包括 Codebuddy)和 @opencode 现已全面支持 V4.1-Flash。今天就试试吧! 4/6

    推荐理由:WorkBuddy 官宣上线 DeepSeek V4.1-Flash 并给出两周免费入口,引用内容还说明了 V4-Pro 的退役与迁移安排。

9月10日周四
  1. Hugging Face:Blog(RSS)65

    Hugging Face 用 Gradio Workflow 重建 Workflow1111,复刻 AUTOMATIC1111 主要功能

    Hugging Face 发布 Workflow1111,用 gr.Workflow 以 73 个节点、11 条媒体管线重建 AUTOMATIC1111 的大部分功能,覆盖文本生成图像、高清修复、图生图、prompt matrix、VLM 反推提示词、检测生成 inpaint 蒙版、ControlNet 式预处理器、背景移除、PNG Info 和图生视频。

    推荐理由:原文展示用 Gradio Workflow 重建 AUTOMATIC1111 主要功能的具体做法,并给出 REST 与 MCP 入口,读者可评估它与 ComfyUI 的取舍。

  2. DeepSeek:API 更新日志80

    DeepSeek 发布 V4.1-Flash,API 价格同步下调

    DeepSeek 发布 DeepSeek-V4.1-Flash,是全新模型结构系列中最小尺寸的模型,具备原生多模态视觉理解能力,评测包括 GPQA Diamond 90.9、HLE 36.8、Codeforces Rating 3471、Terminal-Bench 2.1 90.6 等。

    推荐理由:官方发布附带完整评测数字和 API 切换细节,读者可据此判断新模型能力水平及旧模型下线对现有调用和计费的影响。

  3. Apple:Newsroom(RSS)66

    Apple 发布首款折叠屏 iPhone Duo,起售价 $1,999

    Apple 发布首款折叠屏 iPhone Duo,展开为 7.6 英寸内屏,合盖后为 5.4 英寸外屏,提供 iPhone 上最大显示面积。搭载 A20 Pro 芯片和蒸汽室散热,iPhone 17 Pro 续航最高 44 小时视频播放,10 月 16 日开启预购、10 月 23 日发售,起售价 $1,999。

    推荐理由:官方完整披露了屏幕、铰链、A20 Pro、续航与售价等参数,读者可据此评估这款折叠 iPhone 的实际取舍。

  4. Cohere 产品与研究博客(网页)66

    Cohere 发布开源权重翻译模型 North Small Translate,WMT26 得分 83.60 超越 DeepL 与 Google Translate

    Cohere 发布机器翻译模型 North Small Translate,为 MoE 架构,总参数 218B、激活 25B,支持 50+ 语言,WMT26 全语言得分为 83.60,高于 DeepL NextGen 的 81.37 和 Google Translate 的 68.20,Agentic 版本达 84.36。

    推荐理由:官方公布了 WMT26 各语言和分区域得分、吞吐与单任务成本数据,读者可据此评估其相对 DeepL 和开源模型的位置。