跳到正文
北京时间

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

437条精选相关主题图像生成AI 视频语音与音频

最新精选

第 281–300 条 · 共 437 条
5月23日周六
  1. Ethan Mollick76

    我认为人们没有意识到Gemini Omni与其他视频AI的不同之处。它是完全多模态的,因此也能原生编辑视频。 我拿了1896年著名的“火车”电影,把它变成了高铁、乐高,加入了时间旅行者、蜈蚣、布偶……(看到倒影了吗?)

    推荐理由:Ethan Mollick 用几个例子把 Gemini Omni 的真正能力讲清楚了,原生多模态让视频编辑不再是生硬叠加,而是理解场景后的重构,做视频的该看。

  2. Apple Machine Learning Research(RSS)66

    VSAS-Bench:视觉流式辅助模型的实时评估基准

    现有视觉语言模型框架主要在离线场景下评估性能,但实时视觉助手所依赖的流式模型还需考量额外指标,如反映响应时效性的“主动性”和捕捉随时间推移响应稳定性的“一致性”。为此,研究团队提出了VSAS-Bench,这是一个新的评估基准,专门针对流式视觉语言模型在实时交互任务中的表现,填补了当前评估方法在动态、持续生成场景下的空白。

    推荐理由:苹果搞了个实时视觉助手的评估基准,把离线评测拉到了流式场景,多模态 agent 和实时 VLM 方向的研究者值得跟进一下评估方法。

  3. Tomer Tunguz 博客(VC 分析)70

    可塑界面:AI驱动的未来软件形态

    Salesforce已采用无头架构,允许销售人员通过AI直接更新数据,许多公司正通过MCPs跟进。同时,AI专家们正推动超越纯文本、更丰富的界面(如HTML),支持图表与交互。AI能根据场景动态生成定制化界面。无头系统并非移除前端,而是支持多种可塑化界面(如音频、网页)。未来软件的核心价值在于动态管理这些界面、确保其准确性,并将各类AI产物整合为可演化的上下文数据库与制品库。用户界面并未消失,而是变得“可塑”,能按需变形。

    推荐理由:动态 UI 不是消灭界面,而是让界面变得可塑性。Airbnb CEO 和 Anthropic 工程师都在押注 HTML 输出,这篇文章把信号串了起来,做产品的人值得一看。

5月22日周五
  1. IT之家(RSS)70

    网易有道“子曰4”多模态模型、语音合成模型全量开源

    网易有道宣布将其“子曰”大模型4.0的多模态模型与语音合成模型面向全球全量开源。其中,多模态模型(27B参数)专注于教育场景,在处理高难度视觉数理问题上达到行业顶尖水平,纯文本中文数理难题准确率为81.4%。该模型通过思维链优化,将输出长度压缩43.2%,有效降低了推理成本。同时开源的语音合成模型支持跨语种音色与情感迁移克隆,3秒内即可完成零样本复制,准确度超97%,并支持包括中、英、日、韩在内的14种语言。

    推荐理由:有道把垂直教育的多模态模型全量开源,27B参数在视觉数理上做到SOTA,还把思维链压缩了43%,推理成本实打实下降,做教育应用的可以拿来做二次开发;TTS的跨语种情感克隆也实用,3秒克隆14种语言。

  2. ViggleAI66

    介绍Fight Anyone 3D🥊一款3D派对格斗游戏,可能是上班时玩起来最爽的游戏。 上传任何人的照片 → 一个可玩的3D格斗角色,带有语音、个性+招牌动作,由Viggle自研游戏引擎+模型打造。 公测期间100%免费+赠送20张礼品卡。玩得越多,赢得越多! 和同事对战。和朋友对战。和任何人对战。链接+教程+更多内容见下方推文串 ↓

    推荐理由:Viggle把「上传照片生成3D格斗角色」做成了免费派对游戏,有声音有个性,交互感拉满,是近期最适合摸鱼的产品,但AI含量主要在娱乐侧,别当生产力工具。

  3. Google Developers Blog(RSS)75

    推出 Gemini for Home 赋能服务提供商与硬件合作伙伴

    Google 通过推出全栈 Gemini AI 解决方案扩展其智能家居生态系统。该方案集成了先进的摄像头智能、自然语言查询功能和日常活动摘要能力。它为服务提供商和硬件制造商提供了现成的参考设计与API,使其无需大量研发投入即可构建主动式、品牌化的智能家居服务。该计划旨在超越基础设备控制,迈向能够理解情境并实时响应用户需求的AI原生智能家居。

    推荐理由:Google 把 Gemini 塞进智能家居,直接给硬件商和 ISP 提供交钥匙方案,这一步可能比 Nest 当年更有侵略性,做智能家居的得留意了。

  4. 美团 LongCat:HuggingFace 新模型73

    LongCat-Video-Avatar-1.5:升级版音频驱动数字人视频生成框架

    美团LongCat团队发布了LongCat-Video-Avatar-1.5,一个专注于音频驱动数字人视频生成的开源框架。其核心升级在于采用Whisper-Large音频编码器,显著优化了唇部动态的流畅度与自然度。该版本实现了精准的唇形同步、全身时序稳定性以及长视频中的身份一致性,并能泛化应用于动漫、动物及多人交互等复杂场景。通过基于DMD2的步蒸馏技术,模型仅需8步即可高效推理。团队还构建了一个涵盖多场景、多语言的人工评估基准,通过大规模主观评分与专家分析,验证了其在多项关键维度上的优异性能。

    推荐理由:美团把数字人模型升级到1.5版,换了Whisper做音频编码,唇形同步比之前自然不少,而且开源了训练代码,做电商直播和虚拟博主的朋友可以直接拿过来跟商业方案掰手腕。

5月21日周四
  1. IT之家(RSS)78

    腾讯张军官宣操作系统层级 AI 助手“马维斯”正式上工,Windows、Mac、安卓端同步上线

    腾讯于5月21日发布了操作系统层级AI助手“马维斯”,支持Windows、Mac和安卓平台同步上线。该助手具备文档归类解析、图片智能识别处理、系统维护等功能,并强调与操作系统深度集成,可调度不同模型处理任务,部分功能可在离线状态下使用。腾讯表示“马维斯”能完成市面主流Agent的大部分工作,并具备桌面操控手机应用等能力。这是继3月WorkBuddy和“龙虾”产品矩阵后,腾讯推出的又一AI助手产品。

    推荐理由:腾讯把 AI 助手压到系统层,预装本地模型、拔网线也能跑,不是又一个套壳工具,而是真正冲着‘电脑变成可对话对象’去的,值得装上看看实操体验。

  2. Google AI Developers74

    Google推出了其AI设计伙伴Stitch的多项重要更新。新功能支持实时流式构建设计,允许用户在不中断流程的情况下直接进行编辑和互动反馈。Stitch现已能够导入现有代码库或Design.md文件,基于实际生产组件进行设计以保持品牌一致性。同时,工具新增了动态界面生成功能,并可将设计项目直接导出为可分享的线上URL,简化了从原型到生产的部署流程。该工具现已面向全球用户开放。

    推荐理由:Stitch 这次更新把设计到生产流水线打通了,实时流加运动 UI 让原型更接近真产品,做移动端和 Web 的可以直接试试,比自己搭环境快太多。

  3. Google Blog:AI(RSS)68

    我们在 I/O 2026 发布的 100 件事

    在 Google I/O 2026 开发者大会上,公司共发布了 100 项内容,重点介绍了 Gemini Omni、Google Antigravity 和 Universal Cart 等新产品的核心亮点。

    推荐理由:I/O 今年还是全场景轰炸,Gemini Omni 加一堆新产品,花十分钟扫一眼,未来半年 AI 要替你做哪块活就清楚了。

  4. Google AI69

    谷歌与创作者合作推出系列AI工具更新。Google Workspace新增图像创作编辑工具Pics;Google Flow支持Gemini Omni Flash模型,并推出Flow Agent作为多步骤创作伙伴;设计工具StitchbyGoogle支持实时文字或语音编辑布局并导出代码;音乐工具Google FlowMusic增加分段编辑、风格混音及视频生成功能。

    推荐理由:Google这次更新的不是单点工具,而是把AI能力像乐高一样嵌入到创意工作流的每一步,Flow Agent的多步骤推理尤其值得做设计的人试试看。

5月20日周三
  1. IT之家(RSS)71

    Stability AI 推出音频模型 Stability Audio 3.0,可生成最长 6 分钟专业级歌曲

    Stability AI 推出 Stability Audio 3.0 音频生成模型家族,包含四款不同规格模型,参数从45900万到27亿。小型模型专注设备端运行,可本地生成两分钟以内的音频;中型和大型模型支持创作超过6分20秒的完整音乐,

    推荐理由:Stability Audio 3.0 把AI音乐从几十秒的demo拉到了六分钟的完整歌曲,而且中小模型直接开源,任何一个能跑模型的设备都能玩,音乐创作的门槛继续被踩低。

  2. SenseTime68

    将你的想法转化为激发故事的视觉画面 🧨 [引用 @Adamaestr0_]:大多数AI工具可以写作或生成图像。 但这个能同时做这两件事。 向你介绍 SenseNova U1。 一个能同时思考文本和图像的AI。 这改变了一切 🧵

    引用Adam@Adamaestr0_

    大多数 AI 工具能写作或生成图像。 但这个能同时做这两件事。 隆重介绍 SenseNova U1。 一个能同时用文本和图像思考的 AI。 这将改变一切 🧵

    推荐理由:商汤发了 SenseNova U1,主打文本和图像同时生成的「全模态」,但宣传语太简略,没给任何性能数据或技术细节,暂时看不出是真突破还是常规迭代,先标记关注。

  3. Hacker News 热门(buzzing.cc 中文翻译)72

    OpenAI 采用谷歌的 SynthID 水印技术,并为 AI 生成的图像配备了验证工具

    OpenAI宣布在其AI生成的图像中集成谷歌的SynthID水印技术,并推出配套的验证工具。这一举措旨在增强AI生成内容的可追溯性,使用户能够识别图像是否由AI生成。该更新已于2026年5月19日生效。SynthID水印技术此前由谷歌开发,可嵌入难以察觉的数字标识,而新验证工具则允许用户检测这些标识。OpenAI表示这将帮助打击虚假信息传播。

    推荐理由:OpenAI与谷歌联手把内容溯源从单薄的水印升级为多层信号,还放了公开验证工具,记者和平台审核员现在有了更实在的抓手。

  4. Google AI83

    谷歌宣布推出基于Gemini 3.5模型的全新智能搜索框。该更新将AI Overviews与AI Mode整合为统一的AI搜索体验,支持对文本、图像、文件及视频进行跨模态推理查询。用户可进行多轮对话,搜索将结合上下文提供更个性化、定制化的回答。该新功能已在全球桌面和移动设备端同步上线。

    推荐理由:Google搜索史上最大一次交互变革,Gemini 3.5加持的搜索框能理解文本、图片、视频,AI Overviews和对话模式彻底融合,搜索终于变成真正的对话助手。