跳到正文
北京时间

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

437条精选相关主题图像生成AI 视频语音与音频

最新精选

第 401–420 条 · 共 437 条
3月12日周四
  1. Claude:Blog(网页)

    Claude 新增交互式图表、图解与可视化功能

    Claude 推出可视化功能测试版,支持在对话中实时生成交互式图表、图解等视觉内容,无需代码即可随对话调整修改。该功能不同于可下载的 Artifacts,以内联临时形式辅助理解当前话题,默认向所有套餐用户开启。同时 Claude 还新增食谱、天气等主题格式,并支持在对话内直接交互 Figma、Canva 和 Slack 等应用。

    推荐理由:Claude推出对话内交互式图表功能,实时生成可视化助力理解

3月10日周二
  1. OpenAI:官网动态(RSS · 排除企业/客户案例)

    ChatGPT 推出数学与科学学习新方式

    ChatGPT 新增数学与科学交互式可视化解释功能,支持实时探索公式、变量及概念,帮助学生更直观地理解理科知识。

    推荐理由:ChatGPT 新增数学与科学可视化交互功能,提升学习体验

3月9日周一
  1. Runway:News(网页)

    Runway 推出 Characters:单图实时生成可对话虚拟角色 API

    Runway 推出 Characters API,基于 GWM-1 世界模型,支持用单张图片零微调生成实时可对话虚拟角色。支持自定义外观风格、声音、性格及知识库,具备自然表情、眼神、口型同步和手势。面向客户支持、培训教育和品牌营销等企业场景,已获 BBC 等采用。开发者可通过 API 集成,消费者也可在网页端体验预设角色。

    推荐理由:Runway推出实时视频Agent,单图生成可对话数字人,拓展AI交互形态

3月6日周五
  1. Sarvam AI(网页)65

    Sarvam AI 开源发布 Sarvam 30B 和 Sarvam 105B 推理模型

    Sarvam AI 以 Apache 2.0 协议开源 Sarvam 30B 和 Sarvam 105B 两款从零训练的推理模型,采用 MoE 架构,训练全部在 IndiaAI mission 提供的算力上于印度完成。

    推荐理由:原文给出两款从零训练的开源推理模型的架构、训练流程和基准数据,并说明针对印度语言的优化与部署效率,可据此评估其与同类模型的差异。

3月4日周三
2月28日周六
  1. FireRedTeam:原创语音与多模态项目60

    FireRedTeam 发布 FireRed-OCR-2B 结构化文档解析模型,OmniDocBench v1.5 得分 92.94

    FireRedTeam 发布 FireRed-OCR-2B 权重,基于 Qwen3-VL-2B-Instruct,在 OmniDocBench v1.5 上取得 92.94 的总成绩,高于 DeepSeek-OCR 2 的 91.09、PaddleOCR-VL 的 92.86 等模型。

    推荐理由:原文给出了 OmniDocBench v1.5 具体分数、对比模型和三阶段训练方法,读者可以据此判断这个 2B 文档解析模型的实际位置。

2月24日周二
  1. HuggingFace Daily Papers(社区热门论文)

    屏幕上的图灵测试:移动GUI代理人性化基准

    研究团队提出"屏幕图灵测试"框架,将人机交互形式化为MinMax优化问题,并发布Agent Humanization Benchmark (AHB)。基于新收集的高保真移动触摸动态数据集,发现普通LMM代理因运动学特征不自然而极易被检测。该基准量化了可模仿性与任务效用的权衡,提出的启发式噪声至数据驱动行为匹配方法,使代理在不牺牲性能的前提下实现高可模仿性,推动GUI代理从"能否完成任务"向"如何像人类一样完成"的范式转变。

    推荐理由:让AI操作手机更像真人,避免被平台识别封禁的实用新研究

2月14日周六
  1. 字节 Seed:Research Feed(网页内嵌数据)

    Seed2.0 正式发布

    Seed2.0系列正式发布,推出Pro、Lite、Mini三款通用Agent模型及专用Code模型,针对复杂多模态任务与长链路Agent场景优化。模型在视觉理解、数学推理与长上下文处理方面达SOTA水平,SuperGPQA分数超越GPT-5.2,并在ICPC、IMO、CMO测试中获金牌。支持科学研究级任务,token成本较顶尖模型降低约一个数量级。目前已上线豆包App、TRAE及火山引擎API。

    推荐理由:字节 Seed2.0 正式发布,Agent 与多模态能力全面升级,已接入豆包和 TRAE

2月13日周五
  1. 字节 Seed:Research Feed(网页内嵌数据)

    "思考"更深,生成更准|Seedream 5.0 Lite 发布

    字节跳动发布 Seedream 5.0 Lite 图像生成模型,采用多模态统一架构,跨模态理解与推理能力显著提升,Elo 评分超越前代 4.5 版本。模型首次引入实时检索增强能力,可联网获取最新知识,突破训练数据时间限制。内置丰富世界知识库,在信息可视化、视觉推理、复杂多主体生成等场景表现突出,能根据模糊指令精准修图,支持风格迁移与多步逻辑推理。目前已上线即梦 AI、火山方舟体验中心及豆包内测。

    推荐理由:字节发布 Seedream 5.0 Lite,支持实时检索与深度推理的图像生成模型。

2月12日周四
  1. 字节 Seed:Research Feed(网页内嵌数据)

    Seedance 2.0 正式发布

    Seedance 2.0 视频生成模型正式发布,综合性能达业界 SOTA 水平。新版本支持多模态输入,可同时参考 9 张图片、3 段视频、3 段音频及文本指令,精准迁移构图、动作、运镜与音效。模型支持 15 秒高质量多镜头生成,集成双声道立体声技术,并新增视频延长与编辑功能,可定向修改片段、角色及剧情。目前已在即梦 AI、豆包及火山方舟平台上线,适用于影视、广告、电商等工业级内容创作场景。

    推荐理由:字节Seedance 2.0发布,支持多模态输入与物理稳定生成,已上线豆包即梦

2月11日周三
  1. 蚂蚁百灵:Developer Blog(网页)83

    感知无界·创造有形:百灵全模态 Ming-flash-omni-2.0 焕新生活想象

    百灵全模态大模型Ming-flash-omni-2.0正式发布。该模型基于MoE架构,在视觉、语音、图像等全模态能力上实现代际跃迁,其核心突破在于一个统一模型同时具备了强大的通用泛化能力和特定模态的专家级表现。具体特色包括:视觉百科能精准识别万物并关联知识;语音生成可控制情绪、方言,提供百种音色,并能统一生成语音、音效与背景音乐;图像创作可实现氛围重构、场景合成与智能擦除。技术层面通过亿级数据细粒度感知、知识对齐及超低帧率音频表征等创新实现性能飞跃。模型已在多个平台开源。

    推荐理由:国产全模态模型开源,多模态能力达领先水准,开发者可直接体验或集成。

2月4日周三
  1. Jim Fan72

    作者指出,AI预训练正经历从“下一个词预测”到“世界建模”的根本性范式转变。世界模型的核心是预测给定行动后的下一个物理状态序列,本质上是可学习的物理模拟器,并将视觉置于首位。相比之下,当前主流的视觉语言模型本质是语言优先,视觉是次要输入。生物智能中视觉处理占据皮层计算的主导地位,是连接大脑、动作与物理世界的高带宽通道。作者以猿类为例,证明强大的物理智能可独立于高级语言存在。他预测,2026年大型世界模型将为机器人技术和多模态AI奠定真正基础,而YouTube等平台的海量视觉数据将远超文本规模,推动这一新范式发展。

    推荐理由:Jim Fan 把世界模型定义为第二次预训练范式转移,核心论点是视觉优先而非语言优先,这个框架对做机器人和多模态的人是真正的路线判断,不是又一篇水文。

  2. Hugging Face:Blog(RSS)73

    H公司新模型Holo2在UI本地化领域取得领先

    H公司在Hugging Face发布博客,正式推出新一代模型Holo2。该模型在用户界面本地化任务上表现突出,实现了技术领先。其核心改进在于显著提升了多语言UI元素的识别与适配能力,能够更精准地处理图标、布局、文本标签等组件的文化适配与翻译。这一进展有望帮助全球应用和软件更高效地实现界面本地化,降低跨区域运营成本。

    推荐理由:UI本地化领域新标杆,开发者可关注其多模态能力。

2月1日周日
  1. OpenMOSS / 复旦NLP / 上海创智 / MOSI(网页)62

    MOVA 发布:32B MoE 端到端同步视频-音频生成模型全栈开源

    OpenMOSS 团队发布 MOVA 音视频基础模型,总参数 32B MoE、激活 18B,支持文本或图像到音视频的端到端同步生成,最高 720p、单段 8 秒。模型采用非对称双塔架构(14B Wan 2.2 I2V 视频塔与 1.3B 音频塔)加双向 Bridge 和 Aligned ROPE 对齐时间轴,并开放模型权重、训练与推理代码及微调方案。

    推荐理由:原文给出架构、训练策略和开源范围,读者可以了解端到端音视频生成如何处理同步问题并可复现研究。

1月28日周三
  1. xAI:News(网页)

    xAI发布Grok Imagine API

    xAI推出Grok Imagine API,提供文本/图像转视频及高精度编辑功能,支持物体增删、风格转换与原生音频生成。在Artificial Analysis和LMArena基准测试中排名首位,720p视频生成延迟与成本均低于Veo 3和Sora 2;在IVEBench评测中整体表现超越Kling o1与Runway Aleph。API已开放xAI及第三方平台接入。

    推荐理由:xAI发布Grok Imagine视频生成API,性能宣称超越Sora与Veo,支持端到端视频创作工作流

1月27日周二
  1. 公众号:月之暗面(Kimi)61

    Kimi 发布并开源 K2.5 模型,带来全新视觉理解、代码和 Agent 集群能力

    Kimi 发布并开源迄今最智能、最全能的 K2.5 模型,原生多模态架构支持视觉与文本输入、思考与非思考模式,在 Agent、代码、图像、视频及通用智能任务上取得开源 state-of-the-art 表现。

    推荐理由:Kimi K2.5把视觉理解和Agent集群能力打包开源,国内模型里比较早做这个组合的,虽然参数规模争议不小,但对想搭多模态Agent的团队是个可用的起点。

1月5日周一
  1. Liquid AI 模型与工程博客(网页)63

    Liquid AI 发布 LFM2.5 端侧模型家族,预训练扩展至 28T tokens

    Liquid AI 发布 LFM2.5-1.2B 模型家族,将预训练从 10T 扩展到 28T tokens 并加入强化学习后训练,覆盖 Base、Instruct、日语、视觉语言和音频语言五个变体。

    推荐理由:官方发布给出了完整基准数据和推理速度对比,读者可以据此评估 1B 级端侧模型在指令遵循和部署上的实际水位。

11月20日周四
  1. Google DeepMind:Blog(RSS)

    Google DeepMind 发布 Nano Banana Pro 图像生成模型

    Google DeepMind 发布 Nano Banana Pro 图像生成模型,基于 Gemini 3 Pro 构建,支持多语言可读文本直接渲染,可结合 Google Search 实时信息生成信息图表。该模型支持 14 张图像融合,保持 5 个人物形象一致性,输出 4K 分辨率。现已集成至 Gemini 应用、Google Ads、Google AI Studio 等产品,所有生成内容均嵌入 SynthID 水印以确保透明度。

    推荐理由:Google 发布 Nano Banana Pro 图像生成模型,支持多语言文本渲染与 4K 输出

10月26日周日
  1. Google DeepMind:Blog(RSS)

    MedGemma:健康 AI 开发领域最强的开源多模态模型

    谷歌 MedGemma 系列新增多模态模型,专为健康 AI 开发设计。作为该系列迄今最强的开源版本,新模型具备更强大的医疗场景理解能力,为开发者提供先进的医疗人工智能技术支持,助力构建更精准的健康医疗解决方案。

    推荐理由:DeepMind发布最强开放医疗多模态模型,支持开发者微调构建健康AI应用