跳到正文
北京时间

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

437条精选相关主题图像生成AI 视频语音与音频

最新精选

第 21–40 条 · 共 437 条
9月9日周三
  1. OpenRouter:Announcements(RSS)71

    OpenRouter 评测 Seedance 2.5:长镜头与已有素材编辑的场景及成本解析

    OpenRouter 发布对 ByteDance Seedance 2.5 视频模型的评测,该模型自 2026 年 8 月 7 日上线其视频 API,生成 4 到 30 秒、480p 或 720p 的片段,支持图像、视频、音频引用和首尾帧控制,音频同趟生成不加价。

    推荐理由:原文基于自家端点数据给出 Seedance 2.5 的计费公式、能力边界和与 Seedance 2.0、Wan 3.0、Veo 3.1 的逐项对比,便于按需求选型。

  2. OpenRouter:Announcements(RSS)64

    OpenRouter 教程:用代码调用 Nano Banana 2 编辑图像

    OpenRouter 发布教程,演示通过 API 向 google/gemini-3.1-flash-image(即 Nano Banana 2)发送源图和文本指令完成图像编辑,编辑结果以 base64 形式在响应中返回。教程给出 Python 和 TypeScript 示例、提示词写法、多轮小步编辑方法,以及更换模型只需改一个字段,并介绍了 Nano Banana 系列四个成员的价格与质量差异。

    推荐理由:原文给出完整可运行的图像编辑请求代码和提示词写法,读者可以照搬并把模型换成其他供应商做对比。

9月4日周五
  1. Google Research:Blog(网页)66

    Google 与 HHMI Janelia 发布完整雄性果蝇大脑连接组图谱

    Google Research 与 HHMI Janelia、MRC 分子生物学实验室及剑桥大学等合作,在 Cell 发表雄性果蝇大脑和中枢神经系统的完整连接组图谱,包含超过 166,000 个神经元和 1.25 亿个突触连接,是目前按神经元数量计最大的大脑图谱。

    推荐理由:官方团队亲述十年合作的成果与 AI 重建方法,读者可以了解连接组学如何从果蝇推进到脊椎动物。

9月3日周四
  1. Google DeepMind:Blog(RSS)70

    Google DeepMind 发布 WeatherNext 3 全球天气 AI 模型, hourly 更新且分辨率较上一代提升约 5 倍

    Google DeepMind 与 Google Research 发布 WeatherNext 3,称其为迄今最先进的全球天气 AI 模型,经 Brightband 独立实时评估。

    推荐理由:原文给出分辨率、卫星数据接入和降水精度的具体数字,并说明在 Google 产品和 Cloud 中的获取方式,读者可评估其实际用途。

9月2日周三
  1. Google DeepMind:Blog(RSS)72

    Google DeepMind 为 Gemini 推出 agentic 视频理解功能

    Google DeepMind 为 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 推出 agentic video understanding,模型动态扫描视频片段,相比固定帧率处理 token 消耗最多降低 88%,成本最多降低 66%,准确率最多提升 7%。

    推荐理由:官方说明列出 token、成本与准确率三项数字和开启方式,开发者可据此评估长视频分析是否换用该模式。

9月1日周二
  1. 上海人工智能实验室 InternLM:原创项目63

    上海AI实验室发布 InternLumina-U2:16B-A1B 多码本扩散统一多模态模型

    上海AI实验室发布 InternLumina-U2,一个 16B 参数(激活 1B)的 MoE 扩散语言模型,用 8 码本全离散视觉表示统一覆盖文本问答、文生图、图像理解与编辑、视频及 3D 理解。

    推荐理由:原文给出多码本全离散统一架构的设计细节、基准分数和双硬件适配说明,读者可以了解统一理解与生成模型的一条新路线。

  2. Runway:News(网页)67

    Runway 发布 Interface World Models 首个模型 Solaris,实时逐帧生成可交互界面

    Runway 发布 Solaris,称其为新模型家族 Interface World Models 的第一个模型,由世界模型实时逐帧生成界面并对点击、拖拽等交互作出响应,无需代码等中间表示。

    推荐理由:官方完整披露了模型机制、用户研究和局限,读者可以据此理解去除中间表示后界面生成与智能体训练的路径。

8月31日周一
  1. IT之家(RSS)77

    DeepSeek-V4-Flash-Vision-Exp 模型已开源,多模态 Agent 能力接近 Opus-4.8

    DeepSeek 于 8 月 31 日在 Hugging Face 开源首个多模态模型 DeepSeek-V4-Flash-Vision-Exp,采用 MIT License,公开模型文件、Tokenizer、Prompt Encoding 参考实现及最小化 PyTorch 推理实现。

    推荐理由:原文梳理了模型开源内容与能力定位,读者可据此评估其在多模态 Agent 场景中的可用性。

8月26日周三
  1. Unsloth AI81

    Unsloth 推出 Qwen3.8-Flash-Next 的 GGUF 量化版本,称该 125B MoE 多模态模型性能超过 Claude-Opus-4.6 (Max),可在 75GB RAM 上本地运行,无需 GPU VRAM。

    引用Qwen@Alibaba_Qwen

    ⚡️认识一下 Qwen3.8-Flash,一个多模态 MoE 模型,也是 Qwen4 架构的早期预览版,现已开放权重! 生产版本的 Qwen3.8-Flash 即将通过 QwenCloud API 提供,价格仅为每 100 万输入 token 0.16 美元,每 100 万输出 token 0.47 美元。 125B 参数 + 51B N-gram 嵌入,每个 token 仅激活 6B 参数。性价比无与伦比。 新特性:🥳 - 下一代架构:GDN + QSA 混合注意力、门控残差、N-gram 嵌入和 Muon 优化器,作为 Qwen4 所用架构的前身。 - 训练和推理成本大幅降低:训练成本仅为 Qwen3.7-Plus 的 1/9,同时在各方面表现均优于后者,在编程和办公任务上尤其突出。 - 性能强劲:在 DeepSWE 1.1 上得分 58.7,在 SWE-bench Pro 上得分 62.5,在 CoWorkBench 上得分 73.9,在 AndroidWorld 上得分 84.5,在 MathVision(带 CI)上得分 95.7。 - 原生 262K 上下文,可通过 YaRN 扩展至 1M。 我们还发布了 Qwen3.8-Flash-Next 的权重,让社区提前一睹我们为 Qwen4 探索的新架构。🚀 我们迫不及待想看看你用 Qwen3.8-Flash 构建出什么!👀👇 - 博客:https://qwen.ai/blog?id=qwen3.8-flash-next - 技术报告:https://github.com/QwenLM/Qwen3.8-Flash-Next/blob/main/tech_report.pdf - Hugging Face:https://huggingface.co/Qwen/Qwen3.8-Flash-Next?spm=a2ty_o06.30285417.0.0.1d73c921FsyOPe&file=Qwen3.8-Flash-Next - ModelScope:https://modelscope.cn/models/Qwen/Qwen3.8-Flash-Next?spm=a2ty_o06.30285417.0.0.1d73c921XAP2dV&file=Qwen3.8-Flash-Next

    推荐理由:原文给出了本地运行所需的内存档位与量化精度权衡,读者可据此判断自己的设备能否跑动这个 MoE 模型。

  2. Qwen84

    通义千问发布 Qwen3.8-Flash,一款多模态 MoE 模型,作为 Qwen4 架构的早期预览并开放权重。该模型总参数 125B,每 token 仅激活 6B,训练成本仅为 Qwen3.7-Plus 的 1/9,性能全面超越后者。生产版 API 定价 $0.16/1M 输入 tokens 和 $0.47/1M 输出 tokens,原生上下文 262K,可扩展至 1M。

    引用Qwen@Alibaba_Qwen

    ⚡️认识一下 Qwen3.8-Flash,一个多模态 MoE 模型,也是 Qwen4 架构的早期预览版,现已开放权重! 生产版本的 Qwen3.8-Flash 即将通过 QwenCloud API 提供,价格仅为每 100 万输入 token 0.16 美元,每 100 万输出 token 0.47 美元。 125B 参数 + 51B N-gram 嵌入,每个 token 仅激活 6B 参数。性价比无与伦比。 新特性:🥳 - 下一代架构:GDN + QSA 混合注意力、门控残差、N-gram 嵌入和 Muon 优化器,作为 Qwen4 所用架构的前身。 - 训练和推理成本大幅降低:训练成本仅为 Qwen3.7-Plus 的 1/9,同时在各方面表现均优于后者,在编程和办公任务上尤其突出。 - 性能强劲:在 DeepSWE 1.1 上得分 58.7,在 SWE-bench Pro 上得分 62.5,在 CoWorkBench 上得分 73.9,在 AndroidWorld 上得分 84.5,在 MathVision(带 CI)上得分 95.7。 - 原生 262K 上下文,可通过 YaRN 扩展至 1M。 我们还发布了 Qwen3.8-Flash-Next 的权重,让社区提前一睹我们为 Qwen4 探索的新架构。🚀 我们迫不及待想看看你用 Qwen3.8-Flash 构建出什么!👀👇 - 博客:https://qwen.ai/blog?id=qwen3.8-flash-next - 技术报告:https://github.com/QwenLM/Qwen3.8-Flash-Next/blob/main/tech_report.pdf - Hugging Face:https://huggingface.co/Qwen/Qwen3.8-Flash-Next?spm=a2ty_o06.30285417.0.0.1d73c921FsyOPe&file=Qwen3.8-Flash-Next - ModelScope:https://modelscope.cn/models/Qwen/Qwen3.8-Flash-Next?spm=a2ty_o06.30285417.0.0.1d73c921XAP2dV&file=Qwen3.8-Flash-Next

    推荐理由:训练成本降到前代的九分之一,同时编码和办公任务基准分数更高,对成本敏感的 API 调用场景提供了一个新的权衡参考点。

  3. Qwen:Blog Retrieval(API)83

    Qwen3.8-Flash-Next 开源:Qwen4 架构早期预览

    通义千问开源 Qwen3.8-Flash-Next,一款多模态 MoE 模型,也是 Qwen4 架构的早期预览。该模型采用 GDN + QSA 混合注意力等四项升级,总参数 125B,每 token 激活 6B,训练成本约为 Qwen3.7-Plus 的 1/9,编码与办公任务能力更强。

    推荐理由:这次提前开放 Qwen4 架构权重,关键在于 QSA 稀疏注意力与 N-gram 查表参数同时降低长上下文成本、扩大容量,为评估下一代模型提供早期样本。

8月21日周五
  1. DeepSeek:API 更新日志67

    DeepSeek-V4-Flash-Vision-Exp 发布

    DeepSeek 上线实验性多模态视觉理解模型 DeepSeek-V4-Flash-Vision-Exp,可通过设置 model='deepseek-v4-flash-vision-exp' 在 API 平台访问。

    推荐理由:实验版在纯文本能力与正式版持平的基础上补齐视觉,多模态 Agent 基准接近 Opus-4.8,让依赖视觉的 DeepSeek 工作流无需切换后端即可评估更强感知能力。

  2. 公众号:DeepSeek(深度求索)73

    DeepSeek 上线多模态视觉理解模型 V4-Flash-Vision-Exp

    DeepSeek 上线多模态视觉理解模型 V4-Flash-Vision-Exp,纯文本能力与 V4-Flash 正式版持平,多模态 Agent 能力接近 Opus-4.8。该模型通过 API 提供,图片按 token 计费,一张最多占 384 tokens,价格与 V4-Flash 一致。同期上线的 Files API 免费,支持图片上传后通过 file_id 复用。

    推荐理由:比文本能力持平更实际的是多模态 Agent 能力接近 Opus-4.8,同时图片按 token 计费与 V4-Flash 一致,原先依赖外部视觉模型的 Agent 流程可能改用单一 API 且成本更低。

8月20日周四
  1. IT之家(RSS)72

    阿里发布 Qwen-UI-Agent,主打让模型真正“会用”每一块屏幕

    阿里巴巴正式推出 Qwen-UI-Agent,一个以真实世界为中心的 GUI 智能体基座模型,覆盖移动端、电脑端、网页端及深度搜索(DeepSearch)环境。

    推荐理由:它把 GUI 智能体评测从模拟分数推向真实手机操作,自建 MobileWorld-Real 基准和百台真机环境,使落地型团队能按真机成功率而非仅看模拟榜单做选型。

8月15日周六
  1. HuggingFace Daily Papers(社区热门论文)72

    MOSS-VL技术报告:将实时交互作为一等能力的开源视觉语言模型家族

    MOSS-VL是一个将实时交互(边感知边说话)作为一等能力的开源视觉语言模型家族,通过门控交叉注意力让语言解码器在生成时同步处理视觉输入。MOSS-VL-Realtime在四个流式基准中平均成绩居开源模型之首(三项第一、一项第二),在OmniMMI Proactive Alerting上以66.0分大幅领先最佳基线(37.5分)。

    推荐理由:把视觉 token 放在解码序列之外,并用门控交叉注意力让模型边生成边接收画面,给低延迟多模态交互提供了一个具体架构参考。

8月14日周五
  1. Qwen71

    通义千问兑现承诺,开源 Qwen3.8 系列模型。其中 Qwen3.8-27B 为原生多模态稠密模型,仅 27B 参数即全面超越 Qwen3.7-Plus,原生支持 262K 上下文,可通过 YaRN 扩展至 1M tokens,采用 Apache 2.0 许可。Max 级 Qwen3.8-2.4T-A95B 的开放权重也已同步发布。

    推荐理由:官方称 27B 稠密多模态模型整体表现超过 Qwen3.7-Plus,262K 原生上下文可扩至 1M,Apache 2.0 协议下本地部署轻量应用多了一个更高效的选择。

  2. Unsloth AI76

    Unsloth 发布 Qwen3.8-27B 的 Dynamic GGUF 量化版本,4-bit 量化可在 17-19GB 内存设备上本地运行,并同时上传 NVFP4 量化。

    引用Qwen@Alibaba_Qwen

    我们承诺过开源 Qwen3.8 的模型权重。现在,是时候见面了!🎉 ⚡ Qwen3.8-27B: - 一款原生多模态稠密模型。仅凭 27B 参数,综合表现超越 Qwen3.7-Plus,在真实世界的编码与办公工作流中尤为亮眼。 - 原生支持 262K 上下文,可通过 YaRN 轻松扩展至 1M tokens。 - 为开发者而生。高效、高质量,并采用 Apache 2.0 许可证。 🚀 Qwen3.8-2.4T-A95B(Max 级别)的开放权重也已于近日发布。 无论你是想用 Qwen3.8-27B 在本地部署轻量级应用,还是用 Qwen3.8-2.4T-A95B 构建智能体,它们现在都属于你了! 下载、部署,去构建我们尚未想象到的东西吧。👀👇 - Hugging Face: https://huggingface.co/collections/Qwen/qwen38 - ModelScope: https://www.modelscope.cn/collections/Qwen/Qwen38

    推荐理由:原文给出了本地运行的具体内存门槛、量化版本和硬件对照表,读者可以据此判断能否在自己的设备上跑通这个 27B 模型。

  3. 公众号:小红书技术(dots.llm)79

    dots3-note Preview 开源:280B 参数轻量模型,主打长程智能体与多模态推理

    小红书技术开源 dots3-note Preview,这是 dots3 系列最轻量模型,总参数 280B、激活参数 16B,支持 512K 上下文及文本、视觉、语音多模态理解,并针对复杂推理和长程 Agent 任务优化。

    推荐理由:除开源模型外,TEMPO 让同一智能体在每个宏观步骤切换为 critic,用测试时推理估计回报,给稀疏奖励长程任务的强化学习训练提供了可借鉴的结构。

  4. MiniMax:Blog(网页)63

    MiniMax Music 3.0 发布:新一代开源权重、生产级全能音乐模型

    MiniMax 推出 Music 3.0,新一代音乐生成模型,可根据创意概念和可选歌词一次性完成整首歌的作曲、编曲、演奏与制作,最长支持五分钟。

    推荐理由:把简单描述扩展成包含配器进出、情绪曲线和演唱方式的专业模板,降低了非专业创作者控制音乐生成细节的门槛。

  5. Google Developers Blog(RSS)60

    Google 开源 C++ 库 Credentio,用于本地验证 C2PA Content Credentials

    Google 发布开源 C++ 库 Credentio,用于处理 C2PA Content Credentials,初期支持规范 2.2 和 2.4 版本。该代码此前驱动近 40 个符合 C2PA 标准的 Google 产品,扩展至数百亿个生成的图像、视频、音频和文档资产。

    推荐理由:Google 开源了自家验证数十亿生成资产所用的 C2PA 库,本地验证带来零带宽开销和小内存占用,对做媒体溯源工具的开发者有直接参考价值。