跑在手机、电脑与边缘设备上的 AI：小模型、本地推理与端侧芯片的进展。
清华大学 THUNLP 实验室、面壁智能、OpenBMB 与 AI9stars 联合研发并开源的智能体操作系统 PilotDeck，以 WorkSpace（工作舱）替代传统对话框，每个工作舱拥有独立文件系统、记忆和技能，实现项目隔离。三大核心能力：记忆白盒化，全链路可见可控，支持一键修改和回滚；智能路由，自动识别任务难度动态分配模型，开启后成本节省近 70%，复杂任务仅用 1/6 成本即可反超顶级模型方案；Always-on 常驻任务，AI 主动发现并持续推进工作。支持端云协同，可调用端侧模型作为子 Agent，自动部署 VoxCPM 等模型完成多语言播客等任务。
推荐理由：PilotDeck把Agent从对话框解放进「工作舱」，记忆可见、成本锐减、能无人值守运行。已开源，值得所有被多任务折磨的开发者试试。
华为何庭波提出半导体新演进路径“韬（τ）定律”，以“时间缩微”（如逻辑折叠）替代“几何缩微”作为新指导原则。她表示，过去6年华为已基于此自主研发381款芯片。今年秋季将发布新的麒麟手机芯片，这是首个完整的“韬芯片”，其性能、集成度相比去年是“跳跃性”提升。
推荐理由：华为提出「韬定律」替代摩尔定律，不是空谈，何庭波说新麒麟芯片性能跳跃提升，证明了这条路的可行性。对半导体行业是一次认知冲击。
Google Research 推出了一种新的隐私分析解决方案。该方案结合了一种新的密码学安全聚合协议与可信执行环境（TEE）的透明性，旨在实现前沿的隐私与安全保证。其核心是基于零信任原则，通过密码学与硬件保护的结合，确保系统仅能获取群体的匿名化聚合洞察。
推荐理由：Google 的隐私聚合新方案把多轮交互砍成一次提交，对做设备端联邦分析的人来说是工程上的一大步，而且结合 TEE 做双层防护，这个思路值得抄。
Liquid AI 发布端侧 MoE 模型 LFM2.5-8B-A1B，专为消费级硬件上的快速可靠工具调用打造，Base 和 post-trained 版本已在 Hugging Face 开放。
推荐理由：官方给出了与上一版和同类模型的对比数据，以及本地部署路径，适合评估端侧工具调用模型的选型。
面壁智能开源其新一代端侧大语言模型MiniCPM5-1B。该模型仅1B参数，在AA-Index榜单上超越所有2B参数以下模型，相比3个月前的Qwen3.5-2B效果更优且参数量减半。经INT4量化后权重仅0.5GB，支持在手机和浏览器上运行。其Base Model版本由面壁智能自主研发的AI训练框架ForgeTrain预训练完成，现已全面开源模型权重、训练数据集与部署方案。
推荐理由：1B参数干翻所有2B以下模型，量化后0.5GB就能塞进手机和浏览器，这个效率把端侧模型的门槛又压低了，做移动端AI的值得跟进。
华为何庭波在ISCAS 2026上提出“韬定律”，并介绍逻辑折叠（LogicFolding）技术。该技术通过三维空间拓扑重组提升芯片性能，不依赖新光刻工艺。在麒麟2026芯片测试中，晶体管密度从155 MTr/mm²提升至238 MTr/mm²，性能核心能效提高41%，最大时钟频率提升近13%。论文显示，麒麟2027芯片已进入Silicon状态，后续规划包括麒麟2028、2029。AI芯片方面，昇腾990计划在2030年左右引入逻辑折叠，硬件集成预计到2035年提高超过100倍。
推荐理由：华为用‘逻辑折叠’替代光刻进步，在不依赖新工艺下实现代际性能提升，这是中国芯片行业的一个技术转折，做硬件和AI推理的值得仔细看看。
面壁智能联合清华大学、OpenBMB 开源社区发布并开源 BitCPM-CANN，这是中国首个完全基于华为昇腾实现端到端训练的三值（1.58-bit）大模型，含 0.5B、1B、3B、8B 四个尺寸。
推荐理由：谁说国产算力只能跑小模型？面壁这个1.58-bit模型在昇腾上原生训练，直接把8B塞进旗舰手机，开源全套训练底座，做端侧的该看一眼。
Rohan Paul@rohanpaul_ai精选AI 评分7575🚀 ModelBest × @Tsinghua_Uni × OpenBMB 的 BitCPM-CANN 来了——而且它并不是在堆参数。 内存成本飞涨。硬件限制日益收紧。边缘 AI 需要更智能的解决方案——而 BitCPM-CANN 做到了！🎉 ✅ 边缘就绪：8B 模型可在手机、PC 和车载设备上流畅运行。结合 MoE，甚至 100B->60B 规模的模型也能装进终端硬件。 ✅ 内存高效：相比 BF16，内存占用降低约 6 倍——无需增加物理 RAM 即可解锁显著更多的模型容量。无需新芯片。 ✅ 原生构建于昇腾：首个 1.58-bit 训练流水线在华为昇腾 910B 上端到端完成——从量化内核到完整训练栈。不是移植。从第一天起就原生构建于昇腾。 ✅ 完整模型家族，全面验证，0.5B–8B：每个模型都与其全精度对应版本完全对齐，覆盖 11 项基准任务，相比全精度 MiniCPM4 保持 95–97%（1B-8B）的性能。开源且完全可复现——从研究到部署，你可以放心运行任何规模。 BitCPM-CANN 不只是一个模型——它是多年工程严谨性的成果，将复杂研究转化为你真正可以部署的东西。 开源，0.5B 到 8B。立即试用！👇 🤗 Hugging Face： https://huggingface.openbmb.com/collections/openbmb/bitcpm4-cann 🔭 ModelScope: https://www.modelscope.cn/collections/OpenBMB/BitCPM4-CANN
推荐理由：首个开源的1.58-bit三元LLM，直接在昇腾芯片上原生训练，内存压缩到BF16的六分之一，8B模型就能跑在手机上，做端侧部署的可以立刻上手试试了。
Google发布了面向开发者的新工具包：Kotlin版ADK与Android版ADK 0.1.0。这两个工具包旨在帮助开发者构建AI Agent。其中，Kotlin版ADK将代理工作流引入后端项目开发；Android版ADK则专注于移动端应用，提供了构建AI代理所需的特定功能。此次发布为开发者提供了在Android生态及更广泛平台创建AI应用的官方工具基础。
推荐理由：Google 首次为 Android 推出端侧多 agent 开发框架，虽然还只是 0.1 版，但端云混合编排的思路已清晰，移动开发者可以提前踩坑了，这是端侧 AI 应用爆发前的一个信号。
Google 通过推出全栈 Gemini AI 解决方案扩展其智能家居生态系统。该方案集成了先进的摄像头智能、自然语言查询功能和日常活动摘要能力。它为服务提供商和硬件制造商提供了现成的参考设计与API，使其无需大量研发投入即可构建主动式、品牌化的智能家居服务。该计划旨在超越基础设备控制，迈向能够理解情境并实时响应用户需求的AI原生智能家居。
推荐理由：Google 把 Gemini 塞进智能家居，直接给硬件商和 ISP 提供交钥匙方案，这一步可能比 Nest 当年更有侵略性，做智能家居的得留意了。
Tencent Hy@TencentHunyuan精选AI 评分7474
推荐理由：虽然翻译领域不算最热，腾讯这个1.8B开源模型用1.25位量化直接跑在手机上，效果还超微软商业API，做本地化翻译工具的人值得关注。
腾讯于5月21日发布了操作系统层级AI助手“马维斯”，支持Windows、Mac和安卓平台同步上线。该助手具备文档归类解析、图片智能识别处理、系统维护等功能，并强调与操作系统深度集成，可调度不同模型处理任务，部分功能可在离线状态下使用。腾讯表示“马维斯”能完成市面主流Agent的大部分工作，并具备桌面操控手机应用等能力。这是继3月WorkBuddy和“龙虾”产品矩阵后，腾讯推出的又一AI助手产品。
推荐理由：腾讯把 AI 助手压到系统层，预装本地模型、拔网线也能跑，不是又一个套壳工具，而是真正冲着‘电脑变成可对话对象’去的，值得装上看看实操体验。
Google AI Edge Gallery 应用在安卓平台上扩展了设备端 AI 能力，通过引入对开源模型上下文协议（MCP）的实验性支持，使得 Gemma 4 模型能够协调处理跨 Google Workspace 和 Google Maps 等外部数据源的复杂任务。此次更新添加了“定时通知”技能，用于实现日常事务的自动化管理，并新增了持久化聊天记录功能，允许用户近乎即时地恢复长会话上下文。该平台依托开源工具包，积极鼓励社区开发者通过其 GitHub 仓库构建并分享专注实用的工作流、提示配置与工具集成。
推荐理由：MCP 终于跑在 Android 设备上了，虽然是实验性支持，但 Gemma 4 能直连 Workspace 和 Maps，做自动化的开发者可以上手试试。
Google Tensor ML SDK 进入测试版，支持开发者直接在 Pixel 10 设备的 TPU 上构建和部署高性能机器学习模型。该 SDK 集成边缘部署框架 LiteRT，提供统一工作流，可高效转换、编译并运行 PyTorch 或 TFLite 模型，并具备稳定回退机制。此外，新推出的模型库包含超过 100 个经典及生成式 AI 模型（如 Gemma 3），支持低延迟、注重隐私的语音识别、计算机视觉与文本生成等功能。
推荐理由：Google 把 TPU 塞进了 Pixel 10，现在开发者能直接在手机上跑 Gemma 3 了，这是移动端 AI 从「能用」到「好用」的关键一步，做 app 的值得关注。
苹果公司宣布推出由Apple Intelligence驱动的重大辅助功能更新。此次更新为VoiceOver、放大镜（Magnifier）和语音控制（Voice Control）功能引入了新的能力，旨在提升残障用户设备的可用性。这是苹果首次将Apple Intelligence应用于其辅助功能技术组合。
推荐理由：Apple Intelligence为无障碍功能带来自然语言交互和更智能的视觉辅助，是不错的方向，但全是远期承诺，现在还不能上手。
一个名为“WhichLLM”的开源工具已在GitHub发布，可根据用户硬件配置推荐最适合的本地大语言模型。该工具通过基准测试对各类模型进行排名，帮助用户依据自身设备的性能指标选择最优模型。项目在Hacker News上获得116点热度，显示出社区对本地化AI部署效率工具的积极关注。
推荐理由：选本地 LLM 不再靠猜，这个工具把基准测试和硬件匹配做得像查配置表，刚接触端侧的人也能立刻上手。
Arm第二代可扩展矩阵扩展（SME2）与Google AI Edge软件栈集成，将CPU转变为强大的矩阵计算加速器，从而实现高性能的设备端生成式AI。本文以Stability AI的“stable-audio-open-small”模型为例，阐述了利用LiteRT、XNNPACK和KleidiAI构建的“转换、优化、部署”自动化硬件加速流程。该方案在基于Arm架构的移动设备和笔记本电脑上，成功实现了音频生成速度提升2倍以上、内存使用减少4倍的显著效果，同时确保了高音频质量。这一集成方案为在资源受限的边缘设备上高效运行复杂AI模型提供了有效路径。
推荐理由：Google 和 Arm 在设备端 AI 上的联合优化案例很具体，给了开发者一套可复制的流程，2x 加速和 4x 内存节省对于做移动端生成式 AI 的人来说值得动手试一下。
知识工作者平均每天收到121封邮件，传统收件箱处理模式难以为继。未来邮件处理将转向高度个性化与自动化：用户能用自然语言定义处理规则，实现收据自动转发、销售线索自动录入CRM等流程。所有历史邮件将构成个人上下文层，为AI处理新邮件提供背景信息，敏感信息则由设备端模型进行私密处理。最终，收件箱本身将消失，真正重要的信息可能浓缩至仅6条。
推荐理由：Tunguz 描绘了一个让收件箱消失的未来，关键是那 6 条真正重要的消息如何被 AI 接管，做产品的人可以把这个当成工作流重构的思考起点。
一项为期五周的实验发现，在总计约1400项日常工作任务中，约50%可由本地35B参数模型（如Qwen 3.6 35B）成功处理，涵盖邮件、日程、总结和行政事务等类别。性能对比显示，本地模型在常规代理任务上的平均响应时间为2.8秒，比云端Claude Opus 4.5快2.1倍，尽管后者在复杂推理上仍领先约20%。本地模型输出更简洁，云端模型则在结构和代码规范性上更优。随着本地模型性能提升，将计算负载转向本地以应对云端成本已成为必然趋势。
推荐理由：Tunguz用数据告诉你，本地35B模型延迟只有Opus的一半且能完成半数任务，对极致追求响应速度的产品思路冲击很大，本地优先可能会从边缘变成主流。
MachinaCheck是一款基于多智能体AI的系统，旨在革新小型CNC机加工车间的报价分析流程。传统上，车间经理需花费30-60分钟手动分析图纸，而该系统在上传STEP文件及材料、公差等简单输入后，能在30秒内生成完整的可制造性报告，明确指出零件能否制造、所需工具及生产前需采取的行动。其核心在AMD MI300X加速卡上本地运行Qwen 2.5 7B模型，利用192GB HBM3显存确保客户设计数据无需离开本地，满足了制造业对数据隐私的严格要求。系统采用五组件流水线，结合精确的几何特征提取与LLM的制造知识推理，最终输出结构化报告。
推荐理由：虽然是hackathon项目，但用多Agent做CNC可行性分析，把推理全压在本地AMD显卡上保护图纸隐私，还给了可跑的代码和Space，制造业AI落地就该这么直接。