用对话处理文书工作更轻松。 借助ChatGPT的图像功能和语音模式,您可以上传表单,说出要填写的内容,即可获得填写完成的版本。
推荐理由:填表终于不用打字了,上传表格对着说就行,ChatGPT 这个更新把语音和图像真正串起来,以后各种纸质表单直接扔进去就完事。
文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。
用对话处理文书工作更轻松。 借助ChatGPT的图像功能和语音模式,您可以上传表单,说出要填写的内容,即可获得填写完成的版本。
推荐理由:填表终于不用打字了,上传表格对着说就行,ChatGPT 这个更新把语音和图像真正串起来,以后各种纸质表单直接扔进去就完事。
推荐理由:Ethan Mollick 用几个例子把 Gemini Omni 的真正能力讲清楚了,原生多模态让视频编辑不再是生硬叠加,而是理解场景后的重构,做视频的该看。
现有视觉语言模型框架主要在离线场景下评估性能,但实时视觉助手所依赖的流式模型还需考量额外指标,如反映响应时效性的“主动性”和捕捉随时间推移响应稳定性的“一致性”。为此,研究团队提出了VSAS-Bench,这是一个新的评估基准,专门针对流式视觉语言模型在实时交互任务中的表现,填补了当前评估方法在动态、持续生成场景下的空白。
推荐理由:苹果搞了个实时视觉助手的评估基准,把离线评测拉到了流式场景,多模态 agent 和实时 VLM 方向的研究者值得跟进一下评估方法。
Salesforce已采用无头架构,允许销售人员通过AI直接更新数据,许多公司正通过MCPs跟进。同时,AI专家们正推动超越纯文本、更丰富的界面(如HTML),支持图表与交互。AI能根据场景动态生成定制化界面。无头系统并非移除前端,而是支持多种可塑化界面(如音频、网页)。未来软件的核心价值在于动态管理这些界面、确保其准确性,并将各类AI产物整合为可演化的上下文数据库与制品库。用户界面并未消失,而是变得“可塑”,能按需变形。
推荐理由:动态 UI 不是消灭界面,而是让界面变得可塑性。Airbnb CEO 和 Anthropic 工程师都在押注 HTML 输出,这篇文章把信号串了起来,做产品的人值得一看。
Project Genie 🤝 @GoogleMaps Street View 你现在可以将真实的美国地点转化为全新的交互式世界。🌍
推荐理由:Project Genie这次不是纸上谈兵了,直接吃进真实街景吐出来可玩世界,虽然暂时只限美国,但这是生成式游戏从能做走向普通人可玩的关键一步。
网易有道宣布将其“子曰”大模型4.0的多模态模型与语音合成模型面向全球全量开源。其中,多模态模型(27B参数)专注于教育场景,在处理高难度视觉数理问题上达到行业顶尖水平,纯文本中文数理难题准确率为81.4%。该模型通过思维链优化,将输出长度压缩43.2%,有效降低了推理成本。同时开源的语音合成模型支持跨语种音色与情感迁移克隆,3秒内即可完成零样本复制,准确度超97%,并支持包括中、英、日、韩在内的14种语言。
推荐理由:有道把垂直教育的多模态模型全量开源,27B参数在视觉数理上做到SOTA,还把思维链压缩了43%,推理成本实打实下降,做教育应用的可以拿来做二次开发;TTS的跨语种情感克隆也实用,3秒克隆14种语言。
Gemini Omni来了,我们本周看到了许多令人惊叹的创作。以下是一些杰出作品 👇
推荐理由:Google 的 GPT-4o 时刻终于来了,Gemini Omni 原生多模态的体验比想象中更惊艳,普通人也能随手出大片。
推荐理由:Viggle把「上传照片生成3D格斗角色」做成了免费派对游戏,有声音有个性,交互感拉满,是近期最适合摸鱼的产品,但AI含量主要在娱乐侧,别当生产力工具。
Google 通过推出全栈 Gemini AI 解决方案扩展其智能家居生态系统。该方案集成了先进的摄像头智能、自然语言查询功能和日常活动摘要能力。它为服务提供商和硬件制造商提供了现成的参考设计与API,使其无需大量研发投入即可构建主动式、品牌化的智能家居服务。该计划旨在超越基础设备控制,迈向能够理解情境并实时响应用户需求的AI原生智能家居。
推荐理由:Google 把 Gemini 塞进智能家居,直接给硬件商和 ISP 提供交钥匙方案,这一步可能比 Nest 当年更有侵略性,做智能家居的得留意了。
美团LongCat团队发布了LongCat-Video-Avatar-1.5,一个专注于音频驱动数字人视频生成的开源框架。其核心升级在于采用Whisper-Large音频编码器,显著优化了唇部动态的流畅度与自然度。该版本实现了精准的唇形同步、全身时序稳定性以及长视频中的身份一致性,并能泛化应用于动漫、动物及多人交互等复杂场景。通过基于DMD2的步蒸馏技术,模型仅需8步即可高效推理。团队还构建了一个涵盖多场景、多语言的人工评估基准,通过大规模主观评分与专家分析,验证了其在多项关键维度上的优异性能。
推荐理由:美团把数字人模型升级到1.5版,换了Whisper做音频编码,唇形同步比之前自然不少,而且开源了训练代码,做电商直播和虚拟博主的朋友可以直接拿过来跟商业方案掰手腕。
腾讯于5月21日发布了操作系统层级AI助手“马维斯”,支持Windows、Mac和安卓平台同步上线。该助手具备文档归类解析、图片智能识别处理、系统维护等功能,并强调与操作系统深度集成,可调度不同模型处理任务,部分功能可在离线状态下使用。腾讯表示“马维斯”能完成市面主流Agent的大部分工作,并具备桌面操控手机应用等能力。这是继3月WorkBuddy和“龙虾”产品矩阵后,腾讯推出的又一AI助手产品。
推荐理由:腾讯把 AI 助手压到系统层,预装本地模型、拔网线也能跑,不是又一个套壳工具,而是真正冲着‘电脑变成可对话对象’去的,值得装上看看实操体验。
推荐理由:Stitch 这次更新把设计到生产流水线打通了,实时流加运动 UI 让原型更接近真产品,做移动端和 Web 的可以直接试试,比自己搭环境快太多。
推荐理由:Google 在 Gemini 3.5 上继续扩展 Flash 线,这种轻量模型对成本和延迟敏感场景很关键,如果你在等一个便宜的 Gemini API,该看了。
在 Google I/O 2026 开发者大会上,公司共发布了 100 项内容,重点介绍了 Gemini Omni、Google Antigravity 和 Universal Cart 等新产品的核心亮点。
推荐理由:I/O 今年还是全场景轰炸,Gemini Omni 加一堆新产品,花十分钟扫一眼,未来半年 AI 要替你做哪块活就清楚了。
使用Gemini Omni创建、混剪和编辑视频比以往任何时候都更容易。 它提供了一种流畅的对话式创作和编辑方式。只需从相册上传视频,并让Gemini进行修改即可。
推荐理由:Gemini Omni把视频编辑做成了对话,虽然不算革命性更新,但对随手剪片的普通人来说,不用学剪辑软件就是最大的可用性。
推荐理由:Google这次更新的不是单点工具,而是把AI能力像乐高一样嵌入到创意工作流的每一步,Flow Agent的多步骤推理尤其值得做设计的人试试看。
Stability AI 推出 Stability Audio 3.0 音频生成模型家族,包含四款不同规格模型,参数从45900万到27亿。小型模型专注设备端运行,可本地生成两分钟以内的音频;中型和大型模型支持创作超过6分20秒的完整音乐,
推荐理由:Stability Audio 3.0 把AI音乐从几十秒的demo拉到了六分钟的完整歌曲,而且中小模型直接开源,任何一个能跑模型的设备都能玩,音乐创作的门槛继续被踩低。
大多数 AI 工具能写作或生成图像。 但这个能同时做这两件事。 隆重介绍 SenseNova U1。 一个能同时用文本和图像思考的 AI。 这将改变一切 🧵
推荐理由:商汤发了 SenseNova U1,主打文本和图像同时生成的「全模态」,但宣传语太简略,没给任何性能数据或技术细节,暂时看不出是真突破还是常规迭代,先标记关注。
OpenAI宣布在其AI生成的图像中集成谷歌的SynthID水印技术,并推出配套的验证工具。这一举措旨在增强AI生成内容的可追溯性,使用户能够识别图像是否由AI生成。该更新已于2026年5月19日生效。SynthID水印技术此前由谷歌开发,可嵌入难以察觉的数字标识,而新验证工具则允许用户检测这些标识。OpenAI表示这将帮助打击虚假信息传播。
推荐理由:OpenAI与谷歌联手把内容溯源从单薄的水印升级为多层信号,还放了公开验证工具,记者和平台审核员现在有了更实在的抓手。
推荐理由:Google搜索史上最大一次交互变革,Gemini 3.5加持的搜索框能理解文本、图片、视频,AI Overviews和对话模式彻底融合,搜索终于变成真正的对话助手。