文本之外的能力：视觉理解、图文混合、音视频输入输出的模型与产品进展。
腾讯混元发布 HyOCR-1.5，这是端到端 OCR 大模型领域首个将训练、推理、模型权重完整开源的专家模型。仅 1B 参数，覆盖 8 种以上 text-centric 任务。引入 DFlash 投机解码框架，在 Transformers 下实现 6.37× 加速，vLLM 下 2.14× 加速，端到端推理达每页 1.408s。支持 4K 分辨率与 128K 上下文窗口，通过 Agentic Data Flow 扩展低资源 OCR（331 种语言）、古文字识别与多图问答能力。在 OmniDocBench v1.6 上以 94.74 分居端到端第一。
推荐理由：我觉得这是近期最实在的OCR开源，1B参数覆盖多任务、推理加速6倍，还支持llama.cpp本地部署，做文档解析的同学可以直接上车。
腾讯混元开源端到端 OCR 大模型 HyOCR-1.5，仅 1B 参数覆盖 8 种以上 text-centric 任务，在 OmniDocBench v1.6 上以 94.74 分居端到端第一。
推荐理由：轻量端到端OCR的实用化一步，投机解码让长文档生成加速可落地，智能体数据闭环提示了用短板驱动自进化的可复用路径。
Ghost Font 是一种利用运动、视频、噪点和诱饵来隐藏文字的反AI字体。用户输入文字后可生成并下载视频片段，视频中的字母由与背景完全相同的点组成，单帧截图无法显示任何信息。该字体生成的视频被传递给Claude Fable和GPT Sol 5.6 Ultra等前沿模型时，这些模型即使具备编程能力也无法解码移动信息，直到被提示具体技术。视频中还包含一条诱饵信息，使模型误以为找到真实内容。项目灵感来自2013年Sang Mun设计的ZXX字体，但现代AI已能轻松读取ZXX。Ghost Font目前为本地原型，数据不发送至任何服务器。作者计划未来将视频生成代码开源，并探索将其用于CAPTCHA系统或AI视觉感知基准测试。
推荐理由：这个项目用视频中运动的光点传递文字，还加了假消息陷阱，让顶级视觉模型集体失败。对抗AI感知的探索很少这么直观，做CAPTCHA和对抗样本的值得看。
蚂蚁集团旗下具身智能团队 Robbyant 发布 LingBot-VA 2.0，首个原生具身基础模型。该模型采用因果 DiT 架构，视频专家约 13.0B 参数（约 1.9B 激活），训练规模约 15.3B 参数，推理时每 token 约 2.5B 激活。模型引入多块预测（MCP）实现 2.3 倍训练加速，并通过前瞻推理将推理延迟降至 142 ms/chunk。在 RoboTwin 2.0 的 50 个任务上，干净与随机演示数据平均成功率分别达 93.8% 和 93.4%。
推荐理由：具身智能领域第一个从零预训练的因果视频-动作模型，将世界状态和动作统一在一个隐空间，异步推理优化到 225Hz，做机器人的值得仔细研究。
GigaChat Audio 是一种时间感知的音频大语言模型，支持长达120分钟的输入，并能生成带有明确时间戳的问答、片段描述和摘要。该模型通过将周期性时间标记与连续音频 token 交错，并利用级联合成数据管道进行大规模训练，在短时和长时基准上均实现了强时间定位精度。研究团队已开源模型权重及超过1万小时的时序数据集。
推荐理由：首个大规模时间感知音频LLM开源，把长音频问答的时间定位做到可验证，且附带完整数据集和消融分析，做语音产品的该认真看一下。
Mira Murati@miramurati精选AI 评分6565Thinking Machines Lab 的存在是为了通过推进协作式通用智能来赋能人类。 我们正在构建多模态 AI，它能配合你与世界自然互动的方式——通过对话，通过视觉，通过我们协作时那种杂乱无章的方式。我们很兴奋，在未来几个月内我们将能够分享我们的首个产品，它将包含一个重要的开源组件，并对开发自定义模型的研究人员和初创公司有用。很快，我们还将分享我们最好的科学成果，以帮助研究界更好地理解前沿 AI 系统。 为了加速我们的进展，我们很高兴地确认，我们已筹集了 20 亿美元，由 a16z 领投，NVIDIA、Accel、ServiceNow、CISCO、AMD、Jane Street 等与我们使命相同的机构参与。 我们一直在寻找那些通过实践学习、将研究转化为有用之物的非凡人才。我们相信 AI 应当作为个人能动性的延伸，并且本着自由的精神，尽可能广泛而公平地分发。我们希望这一愿景能引起那些与我们同样致力于推动该领域发展的人的共鸣。如果是这样，加入我们。https://thinkingmachines.paperform.co/
推荐理由：Mira 的公司以 2B 融资和开源路线站上了今年 AI 创业的前排，虽然产品还没出来，但这笔钱和阵容本身就说明市场对多模态协作路线的信心。
Google Research 发布 SensorFM，一个在超过 100 万亿分钟多模态传感器数据上预训练的大规模基础模型，数据来自 500 万同意参与者，涵盖 100 多个国家及 20 余款 Fitbit 和 Pixel Watch 设备。SensorFM 学习通用的人体生理表征，可迁移至心血管、代谢、睡眠、心理健康及生活方式等 35 项健康预测任务，支持标签高效适配与数据填充，并可作为个人健康智能体的基础工具。该模型旨在解决传统可穿戴健康模型针对单一终点、难以泛化的问题。
推荐理由：SensorFM 在 500 万人、万亿分钟传感器数据上训练出一个通用生理基础模型，35 项任务全面领先，自动调参的代理教室也很有想法，做健康 AI 的人值得细读。
论文提出 GenCeption，利用预训练文本到视频扩散模型作为前馈感知骨干，通过文本指令驱动完成深度估计、表面法线、相机位姿、指代分割和 3D 关键点预测等多种视觉任务。GenCeption 在多个基准上达到 SOTA，匹配或超越 DepthAnything3、SAM3、D4RT、VGGT-Omega 等专用模型。视频生成预训练骨干在同等设置下优于 V-JEPA 和 Video MAE 等替代范式。GenCeption 展现出数据与模型缩放特性，仅用 7 到 500 倍更少的训练数据即可达到 D4RT 和 VGGT-Omega 的同等性能。模型仅用合成人类视频训练，即可泛化到真实场景及动物、机器人等分布外物体类别。
推荐理由：这篇论文提出用视频生成模型做通用视觉预训练，在深度、分割、姿态估计等一堆任务上吊打专业模型，甚至只用1/500的数据就追平D4RT。我觉得这可能是CV领域的‘GPT时刻’前兆，做视觉基础模型的人该认真看看。
微软发布 Aurora 1.5，对开源 Aurora 地球系统基础模型进行重大扩展，新增 22 个天气变量（原 4 个）、支持小时级时间分辨率和概率集合预报，已在 GitHub 开源并放出的 Hugging Face 模型检查点。
推荐理由：原文来自模型发布方，给出新增变量数、小时级分辨率和与 ECMWF 集合的对比数字，读者可据此评估其在能源等场景的适用性。
蚂蚁灵波开源新一代实时交互世界模型 LingBot-World 2.0（14B 参数），支持施法、攻击、跳跃等丰富角色动作及文本驱动事件（如切换场景、召唤风暴），内置 Pilot Agent 与 Director Agent 实现世界持续演化，并支持多人同时交互。模型采用因果预训练范式和混合双向自回归注意力掩码（MoBA），可稳定输出 720p/60fps 实时画面，长达一小时测试画质不衰减。通过一致性蒸馏与 DMD 降低采样成本，结合注意力 kernel 优化、混合并行推理、动态 KV 缓存调度和异步流媒体传输实现低延迟交互。模型权重及推理代码以非商用协议开源，SGLang 已适配，并提供 Reactor PC 端和灵光 APP 在线体验。
推荐理由：蚂蚁灵波这个开源世界模型把实时世界生成推到了小时级还不崩，720p/60fps实时交互，做开放世界游戏或自动驾驶仿真的团队值得上手测。
Runway@runwayml精选AI 评分6969Seedream 5.0 Pro 现已登陆 Runway。可通过提示词或参考图生成高细节图像，图像内文字清晰可读，支持多达14种语言。立即点击下方链接尝试。
推荐理由：Seedream 5.0 Pro 的集成让 Runway 的图像生成多了一个强力选择，14 种语言的可读文字生成是实用亮点，做多语言海报的设计师可以试试。
字节跳动正式发布多模态图像创作模型 Seedream 5.0 Pro。该版本在图文匹配、结构合理性及文字渲染上全面提升，核心突破包括：支持高密度数据与概念的专业排版可视化；基于空间位置理解的交互式精准编辑（如点选、图层分离、多图融合）；还原真实光影与人像质感；以及原生支持十余种语言的输入与本地化特征生成。目前已在火山方舟、豆包及即梦上线体验。
推荐理由：展示了 AI 图像生成从“好看”向“可用”的进阶，特别是其解决复杂信息图表生成和像素级局部编辑的能力，对专业设计工作流有显著价值。
蚂蚁集团旗下具身智能公司Robbyant开源LingBot-Vision，一套自监督视觉Transformer家族，专为密集空间感知设计。旗舰ViT-g/16参数约1.1B，采用掩膜边界建模训练，将边界作为原生预训练信号。在密集空间任务中，该1B模型匹配或超越参数规模高达7倍的大模型（如7B DINOv3）。模型以Apache-2.0许可证在Hugging Face开源，提供ViT-g、ViT-L（300M）、ViT-B（86M）、ViT-S四个规模。
推荐理由：在视觉基础模型里把边界当作核心信号，这个思路很反常识，1B模型在深度估计上超过7B的DINOv3，做机器人的可以认真看看。
Nemotron-Labs-Diffusion 是一种三模式语言模型，通过联合自回归（AR）和扩散损失训练，在单一架构中统一了 AR、扩散和自我推测解码。研究显示 AR 与扩散目标互补：扩散增强前瞻规划，AR 提供从左至右的语言先验。自我推测模式下，扩散充当草稿模型、AR 负责验证，其接受率和实际设备效率均优于多 token 预测（MTP）。在最优化采样器下，单次前向传播产出 token 数比自我推测最多高 76.5%。该系列包含 3B、8B、14B 参数的基础、指令和视觉语言模型，在准确率和速度上均超越现有开源 AR 和扩散 LM。例如 8B 模型单次前向解码 token 数是 Qwen3-8B 的 6 倍，在 GB200 GPU 上使用 SGLang 运行 SPEED-Bench 时吞吐量提升 4 倍。
推荐理由：NVIDIA 把自回归和扩散塞进同一个模型，吞吐量拉高 4 倍，做实时应用的团队可以开始换架构了。
NotebookLM@NotebookLM精选AI 评分6767短视频概览功能已正式在移动端和网页端面向所有英语用户全面上线！ 一如既往，您的意见对我们至关重要。请在下方分享您最喜欢的作品，并告诉我们接下来需要添加哪些功能！❤️
推荐理由：NotebookLM 把 Audio Overviews 升级成短视频，谷歌想让笔记工具自己「讲」出内容，思路比功能本身更值得关注，但目前只是锦上添花。
在5个模型上测试了1730道视觉推理题，发现将图像细节降至"low"会损失准确率，且在gpt-5.5上费用反而上升。真正可靠降低成本的手段是调节推理努力（reasoning effort）。
推荐理由：OpenRouter 用 1730 道题的实验告诉你，降图像细节未必省钱，GPT-5.5 上反而更贵，真正靠谱的开关是控制推理努力。做视觉应用的不看这个容易踩坑。
Nemotron-Labs-Audex-30B-A3B（Audex）是基于Nemotron-Cascade-2-30B-A3B的MoE大语言模型，采用单一Transformer解码器统一处理文本与量化音频token。训练使用157.4B音频token和320.5B文本token，经多阶段监督训练、文本Cascade RL和多域on-policy蒸馏优化。在音频理解、语音识别/翻译、文本转语音、音频生成及语音到语音生成任务上达SOTA，同时保持原文本LLM的推理、对齐等能力几乎无退化。模型权重已开源。
推荐理由：多模态LLM常捡芝麻丢西瓜，Audex难得做到音频全面增强而文本智能不退化。开源模型让语音产品人可以立刻评估，不是研究Demo。
ResearchStudio-Reel 由五个 Claude Code 和 Codex 技能组成，包含共享提取器 Paper2Assets，三个可编辑生成器 Paper2Poster、Paper2Video、Paper2Blog 以及交互式汇聚层 Paper2Reel。它一次性从论文中提取资产，生成打印级海报、同步讲解视频和双语博客，并支持在 PowerPoint 或 Word 中二次编辑。在 Paper2Poster 基准上，其海报在美学和信息指标上均优于先前自动化系统和单次调用前沿 LLM。
推荐理由：ResearchStudio-Reel 把论文到海报、视频和博客的“最后一公里”自动化了，生成结果还能在 PowerPoint 里重新编辑。对经常做学术传播的人，是个省时的小利器。
JoyAI App 近日上线 UGC 数字人功能，用户只需上传一张照片即可生成专属虚拟数字分身，支持一键复刻写实形象或通过模板重塑为卡通风格，搭配用户自己的语音即可解锁专属陪伴。该功能复用“万能博士”技术底座，集成 JoyAI 语言、语音、数字人大模型，实现行业领先的全双工对话，支持随时打断、自然接话。数字人兼具情绪陪伴与全能助手属性，可提供点外卖、金融咨询、学英语、规划行程等生活服务。
推荐理由：京东把数字人技术做成了「传一张照片就能捏」的大众玩具，虽然看不出硬核突破，但对普通用户来说，这是第一次零门槛体验有形象有语音的 AI 玩伴，上手即用。
7月3日，生数科技在2026全球数字经济大会上发布Vidu S1实时交互模型，支持实时视频通话和语音控制视频走向，实现无限时长连续互动。模型采用自回归扩散路线，基于已生成画面和语音指令持续预测后续内容；无需传统建模，一张图片即可创建角色并自定义音色。Vidu S1在540P分辨率下实现25FPS（最高42FPS）实时生成，通过TurboDiffusion等技术降低计算成本，已开启内测。
推荐理由：Vidu S1 把视频生成从离线拉到了实时通话级交互，语音控制无限时长是质变，但只有540P，内测阶段实际延迟和稳定性待看，做虚拟陪伴和直播的可以跟。