跑在手机、电脑与边缘设备上的 AI：小模型、本地推理与端侧芯片的进展。
SANA-Video 2.0 是一个混合视频扩散 Transformer，提供 5B 和 14B 两种规模，可在单 GPU 上生成最高 720p 视频。其 Hybrid Linear-Softmax Attention 以 3:1 比例混合线性与 softmax 注意力，配合 Block Attention Residuals 将深层有效秩提升约 12%。
推荐理由：SANA-Video 2.0 视频生成模型把单 GPU 的 720p 生成压到 13 秒，比 Wan 2.2 快 120 倍，做视频应用的开发者该重新评估成本模型了。
Cactus 推出基于 Gemma 4 的混合模型“Cactus Hybrid”，在模型检查点内嵌入置信度探针，为每个生成答案输出 0-1 之间的结构化置信度分数。高置信度时在设备端直接回答，低分时可自动路由至更大模型。该探针在零音频训练数据下，于四个音频基准上达到 0.79-0.88 AUROC，远超 token 熵基线（均值 0.549），且 MIT 协议开源。
推荐理由：把置信度探针塞进 Gemma 4 E2B，让模型自己判断该不该求助大模型，仅路由 15-35% 的查询就能持平 Flash-Lite，对离线/隐私优先的端侧产品是个省成本的新思路。
OpenRouter 上的 AI 模型市场已高度细分，OpenAI 一年前的开源模型 GPT-OSS 120b 流量达到 Anthropic Opus 4.8 的 36%。
推荐理由：作者用本地实测数据说明MoE架构让118b模型跑出26b的解码成本，端侧模型质量上限正在被竞争推高。
NVIDIA 在 Hugging Face 上开源了 Cosmos 3 Edge，一个 40 亿参数的世界模型，旨在帮助机器人和视觉 AI 智能体在边缘设备上理解环境、实时推理并生成动作。
推荐理由：NVIDIA 把世界模型的能力压进 4B 参数，直接在 Jetson 上实时推理并生成机器人动作，对做具身智能的人来说是个标志性信号，边缘部署终于可以摆脱云端依赖了。
面壁智能联合OpenBMB发布端侧模型MiniCPM5-2B，以2B参数量在AA-Index榜单取得4B以下模型最高分17分，平均分54.26，超越Qwen3.5-2B等竞品。模型原生支持混合思考与512K上下文，已完成华为昇腾、英伟达等9款芯片的Day0适配，即将开源。
推荐理由：2B 参数做到 4B 以下综合第一，而且把数据治理和 Agent 训练流程也开源了，做端侧智能体的可以盯一下，只是还没正式开源，暂时摸不到。
面壁智能联合 OpenBMB 在 WAIC 2026 发布端侧模型 MiniCPM5-2B，以 2B 参数量在 AA-Index 榜单登顶 4B 以下模型榜首，平均分 54.26，超 Qwen3.5-2B（41.66）。模型原生支持混合思考与 512K 上下文，Agent 能力得分 90.35，并完成华为昇腾、英伟达等 9 款芯片的 Day0 适配。
推荐理由：长文本理解得分42.33、Agent能力τ²-Bench得分90.35，这些具体指标为端侧开发者评估2B模型的多步推理和工具调用提供了明确参照。
X.PIN@thexpin精选AI 评分7878
推荐理由：苹果选阿里Qwen为中国AI引擎，蔡崇信已确认，网信办也已备案，这事对国内AI厂商的竞争格局影响不小，做国内市场的应该认真看一眼。
苹果技术开发（上海）有限公司的“Apple 智能”大模型已于 2026 年 7 月 8 日完成备案，适用场景为苹果手机。阿里千问将作为 AI 能力集成至 Apple 智能，为 iOS、iPadOS、macOS 和 visionOS 的中国用户提供文本与图像理解、内容生成等功能，用户无需在应用间切换即可直接体验。
推荐理由：苹果AI备案落地，国行iPhone用户终于等到，但集成的不是自研而是阿里千问，对苹果AI生态和国内AI格局都算一个交代。
Tencent Hy@TencentHunyuan精选AI 评分6969我们刚刚发布了 Hy3 的 1-bit 与 4-bit 版本，这是一款旗舰级规模的 295B 模型，可在单张 GPU 上运行。👌 使用 llama.cpp 运行 Hy3，启用 MTP，即可在显著降低的硬件配置上体验强大的智能能力。🚀🚀🚀 迫不及待想看看你们会用它构建什么。 #Hy3 #Hy #GGUF #llamacpp
推荐理由：混元把295B旗舰模型压进单GPU，1-bit和4-bit版本对本地部署是个大礼包，开源社区可以动起来了。
Bonsai 27B 基于 Qwen3.6 27B，提供三元（1.71 有效比特/权重，5.9 GB）和 1-bit（1.125 有效比特/权重，3.9 GB）两个变体，后者首次将 27B 级模型装入 iPhone 17 Pro。模型支持多步推理、结构化工具调用、视觉任务和计算机使用智能体循环，拥有 262K token 上下文窗口，支持推测解码加速。在 15 项基准测试中，三元变体保留全精度基线 95% 的性能，1-bit 变体保留 90%，数学和编码能力几乎无损。采用 Apache 2.0 许可证开源。
推荐理由：1-bit 量化把 27B 模型压到 4GB，首次能在 iPhone 上跑，agent 循环零边际成本，做端侧产品的该坐不住了。
在 Google I/O Connect India 上，Google 展示了由定制 Tensor SoC 和 TPU 驱动的 Pixel 10 系列所支持的 100% 私有端侧 AI 未来。活动首次推出轻量级 Gemma 4 E2B 模型，该模型原生运行于设备端，可实现完全离线的多模态功能，包括 AI 聊天、实时图像识别和个人智能体任务。开发者即日起可通过新发布的 Tensor SDK beta 及其配套开源资源，开始构建这些安全的边缘应用。
推荐理由：我觉得这是端侧 AI 从实验到落地的信号，Gemma 4 E2B 的离线能力搭配新 SDK，让完全本地的多模态应用不再是期货，做移动隐私 AI 的开发者该上手试试了。
面壁智能CTO曾国洋指出，端侧模型是AI落地的关键路径。其原创方法论“模型风洞”可在小规模实验中预测完整训练效果，并基于“知识密度”提出“面壁定律”：知识密度每3.5个月翻一番。2B参数的MiniCPM表现优于同期8B竞品。面壁已完成高通、联发科、英特尔、英伟达、AMD等芯片适配，新发布的BitCPM-CANN模型系列可在华为昇腾芯片上让同一内存多装约6倍模型。全双工全模态模型MiniCPM-o4.5支持实时打断与情绪调整。团队开发了全球首个完全由AI编写的生产级训练框架ForgeTrain，并引入行为模式库实现无需开口的“默契系统”。
推荐理由：面壁选择了一条少有人走的端侧之路，这篇 CTO 专访把落地的真实困难、原创方法和他们的思考都摊开了，对做模型和做产品的人都有启发。
腾讯混元开源端到端 OCR 大模型 HyOCR-1.5，仅 1B 参数覆盖 8 种以上 text-centric 任务，在 OmniDocBench v1.6 上以 94.74 分居端到端第一。
推荐理由：轻量端到端OCR的实用化一步，投机解码让长文档生成加速可落地，智能体数据闭环提示了用短板驱动自进化的可复用路径。
Google 发布 LiteRT.js，这是 LiteRT 跨平台边缘 AI 运行时的最新成员，专为 JavaScript 开发者设计，可直接在浏览器中运行机器学习模型。LiteRT.js 基于 WebGPU 和即将推出的 WebNN 实现 SOTA 推理性能，同时支持回退到 WebAssembly CPU 方案。
推荐理由：Google 将 LiteRT 扩展到了浏览器端，让 Web 开发者可以直接在客户端跑 AI 推理，但发布缺少性能数据和对比，实质价值还要看后续的 benchmark。
OpenBMB@OpenBMB精选AI 评分7171
推荐理由：社区开发者用 MiniCPM 轻量模型做的本地数学助手，LaTeX 输入变得像聊天一样自然，是个小而美的端侧实用案例。
2019年，Adebayo Alonge因服务器远在美国致RxScanner单次扫描超5分钟，工程师2小时内将AI模型缩小至可在Android手机本地运行，此后RxScanner能在无宽带、缺电地区验药。小AI模型参数通常至多几十亿，可在手机或Raspberry Pi上运行，功耗仅数瓦。类似案例包括印度腰果病害检测无人机、乌拉圭蚂蚁入侵识别、疟蚊检测及巴西基于Arduino的心电图设备。世界银行报告显示，全球最穷国家仅0.7%互联网用户用过ChatGPT，发达国家达四分之一；行长认为小AI是为缺乏算力与电力的地区提供生命救助服务的关键。
推荐理由：这篇IEEE特写把AI的镜头从硅谷转向了没有宽带的地方，用假药检测、无人机农场等案例讲清楚了一个被忽视的真相：对多数世界而言，能跑在手机上的小型模型才是真正的AI。
北京大学集成电路学院联合中科院上海微系统所，发布全球首款基于可控存内计算的忆阻器神经动力学芯片，首次将单步运算时延压缩至2.12毫秒。芯片采用40纳米工艺，存内计算阵列与外围电路总面积0.28平方毫米，运行频率50 MHz，单步积分仅需9级流水。在脑皮层重建等任务中较当前GPU提速50至478倍，突破神经动力学实时计算瓶颈。相关成果7月3日发表于《科学》。
推荐理由：全球首款神经动力学芯片将单步时延压至2.12毫秒，首次实现实时计算，比GPU快50倍以上，这是神经拟态芯片落地的关键一步，做实时仿真和边缘AI的可以留意。
新加坡初创公司 Acti 发布基于 Google Gemini 的智能体键盘，可代替用户在应用中执行操作。核心功能 Skills 允许用自然语言创建快捷方式，如长按 T 键翻译消息、C 键发送会议链接。早期测试者两周内创建超 1000 个 Skills。采用本地优先架构，默认不访问私人消息。公司获 530 万美元种子轮融资，由 BITKRAFT Ventures 领投，现已开放下载。
推荐理由：Acti 想用 AI 代理重塑手机键盘，把 Gemini 塞进输入法，离不离开 App 都能用 AI 的思路很讨巧，但换键盘的阻力不小，目前更像一个有趣的试验品。刚拿到 530 万美元种子轮，有试错空间。
ClaudeDevs@ClaudeDevs精选AI 评分6767
推荐理由：Claude 桌面端终于来到 Ubuntu，补齐了 Linux 开发者工作流里缺失的一环，beta 状态不影响它与终端、浏览器的深度打通。
韩国政府与三星、SK海力士等承诺1万亿美元实施三大旗舰项目。三星和SK海力士投资5850亿美元新建芯片工厂，目标五年内将DRAM产量翻倍；SK集团、GS集团和Naver投资3570亿美元在偏远省份建设AI数据中心；物理AI被指定为国家战略产业，现代汽车投资58亿美元建设机器人工厂和AI数据中心，计划到2028年每年生产3万台Atlas人形机器人，并在10大行业实现商业化。但现代汽车工会已批准罢工谈判，要求利润分享和岗位保护。
推荐理由：韩国砸 1 万亿美元砸向内存芯片和机器人，不只是产能竞赛，更是试图锁住 AI 硬件供应链的关键位置。但工会抗议和芯片暴利税收争议也浮现，值得追踪。