跳到正文
北京时间

端侧 AI

跑在手机、电脑与边缘设备上的 AI：小模型、本地推理与端侧芯片的进展。

171条精选相关主题部署工程开源生态模型发布

最新精选

第 1–20 条 · 共 171 条
9月24日周四
  1. Google Developers Blog（RSS）60

    Antigravity SDK 支持本地模型，首发 Gemma 4 26B A4B 配合 LiteRT

    Google 宣布 Antigravity SDK 支持本地工作流，首发支持通过 Google AI Edge 的 LiteRT 运行 Gemma 4 26B A4B，可完全离线获得智能体辅助能力，建议机器配备超过 24GB VRAM 或统一内存。

    推荐理由：官方给出完整的本地模型接入步骤和混合编排示例，开发者可以直接照此把智能体工作流搬到离线环境。

9月23日周三
  1. vLLM 官方博客（RSS）74

    vLLM 发布 vllm-metal v0.28.0：在 Apple Silicon 上支持并发推理服务

    vLLM 官方发布 vllm-metal v0.28.0，把 vLLM 的 V1 调度器、paged KV cache 和 OpenAI 兼容服务器带到 Apple Silicon，由 MLX 和 Metal 执行模型，版本号与上游 vLLM 对齐。

    推荐理由：官方首次发布 vllm-metal，用 packed varlen attention 和 paged KV 解决 Mac 上并发请求的服务问题，并给出可复现的并发基准数据。

9月22日周二
  2. Hugging Face：Blog（RSS）73

    transformers 支持直接加载 GGUF 量化模型，本地推理性能接近 llama.cpp

    Hugging Face 宣布 transformers 支持直接运行 GGUF 量化模型，通过 from_pretrained 传入 gguf_file 即可加载 Hub 上的 GGUF checkpoint，并复用 ggml 的 Metal 内核。

    推荐理由：官方宣布 transformers 直接加载 GGUF，给出在 Apple Silicon 上接近 llama.cpp 的实测吞吐和加载方法，可帮助本地推理用户选择工作流。

9月15日周二
  1. Apple：Newsroom（RSS）77

    Apple 发布新一代 Apple Intelligence，Siri AI 正式以测试版上线

    Apple 发布新一代 Apple Intelligence，推出全面重构的 Siri AI，支持个人语境理解、屏幕感知、系统级应用操作和跨设备对话，今日起以英文测试版随 2027 系统更新推出，下月扩展至法语、日语、韩语、葡萄牙语和西班牙语。

    推荐理由：官方公告完整列出 Siri AI 的能力清单、设备与语言范围，以及欧盟和中国市场暂不可用等限制，读者可据此评估适用性。

9月10日周四
  1. Apple：Newsroom（RSS）66

    Apple 发布首款折叠屏 iPhone Duo，起售价 $1,999

    Apple 发布首款折叠屏 iPhone Duo，展开为 7.6 英寸内屏，合盖后为 5.4 英寸外屏，提供 iPhone 上最大显示面积。搭载 A20 Pro 芯片和蒸汽室散热，iPhone 17 Pro 续航最高 44 小时视频播放，10 月 16 日开启预购、10 月 23 日发售，起售价 $1,999。

    推荐理由：官方完整披露了屏幕、铰链、A20 Pro、续航与售价等参数，读者可据此评估这款折叠 iPhone 的实际取舍。

  2. Apple：Newsroom（RSS）63

    Apple 发布 iPhone 18 Pro 与 iPhone 18 Pro Max

    Apple 发布 iPhone 18 Pro 和 iPhone 18 Pro Max，配备带可变光圈的 48MP Fusion 主摄、A20 Pro 芯片和新一代 vapor chamber，eSIM 版 iPhone 18 Pro Max 视频播放最长可达 45 小时。

    推荐理由：官方发布稿给出了可变光圈相机、A20 Pro 和电池续航的具体规格与售价，读者可以据此了解这代 Pro 机型的主要变化。

  3. Apple：Newsroom（RSS）63

    Apple 发布 Health Sensing System 与重构版 Health app，Apple Watch Series 12 和 Ultra 4 主打 readiness 与 Health Age

    Apple 发布全新健康与健身功能，Apple Watch Series 12 和 Apple Watch Ultra 4 引入 Health Sensing System，支持每 5 秒测心率、HRV 测量频率提升至 24 倍、每日 0-10 的 readiness 评分。

    推荐理由：官方发布列出心率监测频率、readiness 评分和 Health app 各新标签的具体能力，读者可据此评估对自身健康管理的可用性。

9月4日周五
  1. Unsloth AI71

    Unsloth 宣布通过优化解码和新增 MTP 支持，让 GLM-5.3-Flash 的本地 GGUF 推理提速 1.6 至 3.4 倍，长上下文下最高达 3.3 倍。

    引用Z.ai@Zai_org

    GLM-5.3-Flash 正式发布 - 以极具竞争力的价格提供领先性能 - 原生多模态，支持 1M token 上下文窗口 - 320B-A18B 参数模型，采用 MIT 许可证发布 - 此前以 Ox Alpha 名义预览，完全运行在中国 AI 芯片上 博客：http://z.ai/blog/glm-5.3-flash 现已在所有官方平台上线： 模型权重：http://huggingface.co/zai-org/GLM-5.3-Flash API：http://docs.z.ai/guides/llm/glm-5.3-flash 编程套餐：http://z.ai/subscribe ZCode：http://zcode.z.ai/en 对话：http://chat.z.ai AutoClaw：http://autoclaw.z.ai

    推荐理由：原文给出本地运行 GLM-5.3-Flash 的具体加速倍数、显存需求表和现成 GGUF 资源，方法可直接复用。

9月2日周三
  1. Unsloth AI66

    Unsloth 通过 MTP（Multi-Token Prediction）让 Qwen3.8-Flash-Next 本地推理提速约 1.3 至 1.7 倍且精度不变，GGUF 在单张 RTX PRO 6000 上可达 170 tokens/s（基线 100 tokens/s）。

    引用Unsloth AI@UnslothAI

    Qwen3.8-Flash 现在可以在本地运行了！🔥 这个 125B 的 MoE 模型表现超过了 Claude-Opus-4.6（Max）。 通过 Unsloth GGUF 在 75GB 内存上运行。 Qwen3.8-Flash-Next 让 CPU 内存 / 统一内存配置也能达到接近 VRAM 的速度。 指南：https://unsloth.ai/docs/models/qwen3.8-next GGUF：https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF

    推荐理由：原文给出了 MTP 加速的具体倍数、显存门槛和各量化档位内存需求，读者可以据此判断自己的设备能否跑通。

8月29日周六
  1. Hacker News 热门（buzzing.cc 中文翻译）75

    在本地运行 Qwen3.8 27B：来自我的 Mac Studio 的实际数据

    Qwen3.8 27B（27.3B 参数，混合注意力架构，262,144 token 上下文窗口，Apache 2.0 开源）在 Mac Studio M3 Ultra 上经 Ollama 以 Q4_K_M 量化（17GB）生成速度约 14 tokens/s。

    推荐理由：Mac Studio 实测显示，Qwen3.8 生成速度约为前代一半，但答案 token 减少约三分之二，墙钟时间接近，而 1-bit 量化保住事实记忆却丧失决策能力，为量化档位选择提供依据。

8月26日周三
  1. Unsloth AI81

    Unsloth 推出 Qwen3.8-Flash-Next 的 GGUF 量化版本，称该 125B MoE 多模态模型性能超过 Claude-Opus-4.6 (Max)，可在 75GB RAM 上本地运行，无需 GPU VRAM。

    引用Qwen@Alibaba_Qwen

    ⚡️认识一下 Qwen3.8-Flash，一个多模态 MoE 模型，也是 Qwen4 架构的早期预览版，现已开放权重！ 生产版本的 Qwen3.8-Flash 即将通过 QwenCloud API 提供，价格仅为每 100 万输入 token 0.16 美元，每 100 万输出 token 0.47 美元。 125B 参数 + 51B N-gram 嵌入，每个 token 仅激活 6B 参数。性价比无与伦比。 新特性：🥳 - 下一代架构：GDN + QSA 混合注意力、门控残差、N-gram 嵌入和 Muon 优化器，作为 Qwen4 所用架构的前身。 - 训练和推理成本大幅降低：训练成本仅为 Qwen3.7-Plus 的 1/9，同时在各方面表现均优于后者，在编程和办公任务上尤其突出。 - 性能强劲：在 DeepSWE 1.1 上得分 58.7，在 SWE-bench Pro 上得分 62.5，在 CoWorkBench 上得分 73.9，在 AndroidWorld 上得分 84.5，在 MathVision（带 CI）上得分 95.7。 - 原生 262K 上下文，可通过 YaRN 扩展至 1M。 我们还发布了 Qwen3.8-Flash-Next 的权重，让社区提前一睹我们为 Qwen4 探索的新架构。🚀 我们迫不及待想看看你用 Qwen3.8-Flash 构建出什么！👀👇 - 博客：https://qwen.ai/blog?id=qwen3.8-flash-next - 技术报告：https://github.com/QwenLM/Qwen3.8-Flash-Next/blob/main/tech_report.pdf - Hugging Face：https://huggingface.co/Qwen/Qwen3.8-Flash-Next?spm=a2ty_o06.30285417.0.0.1d73c921FsyOPe&file=Qwen3.8-Flash-Next - ModelScope：https://modelscope.cn/models/Qwen/Qwen3.8-Flash-Next?spm=a2ty_o06.30285417.0.0.1d73c921XAP2dV&file=Qwen3.8-Flash-Next

    推荐理由：原文给出了本地运行所需的内存档位与量化精度权衡，读者可据此判断自己的设备能否跑动这个 MoE 模型。

  2. 公众号：腾讯混元67

    腾讯混元将端侧翻译模型 Hy-MT2-1.8B 压缩至 440MB，已落地哔哩哔哩直播弹幕翻译

    腾讯混元将端侧翻译模型 Hy-MT2-1.8B 通过 2-bit 与 1.25-bit 量化方案压缩至 574MB 和 440MB，翻译质量几乎无损，在 FLORES-200 上优于 Microsoft Translator 等商业 API。该模型已联合英特尔完成 x86 适配，并在哔哩哔哩直播弹幕实时翻译中落地，单条弹幕翻译耗时 500~800ms。

    推荐理由：相比精度数字，这套量化给出 x86 优化和直播弹幕实测数据，让端侧替代云翻译 API 的成本与隐私权衡有了可对照的工程基线。

8月25日周二
  1. Apple：Newsroom（RSS）55

    Apple 发布 M6 与 M5 Ultra，性能与 AI 算力大幅跃升

    Apple 推出首款 2nm 芯片 M6，搭载 12 核 CPU、12 核 GPU 及双 16 核神经引擎，统一内存带宽最高 170GB/s，多线程性能较 M5 提升 1.2 倍。M5 Ultra 采用首款四芯片封装架构，最高 36 核 CPU、80 核 GPU，带宽达 1.2TB/s，较 M3 Ultra 提升 50%。两款芯片分别用于新款 Mac mini 与 Mac Studio。

    推荐理由：M5 Ultra 的 512GB 统一内存和 1.2TB/s 带宽，让数百亿参数模型可以完全在本地运行，降低了大模型本地部署的硬件门槛。

  2. Apple：Newsroom（RSS）64

    Apple 推出搭载 M5 Max 与 M5 Ultra 的全新 Mac Studio

    Apple 发布搭载 M5 Max 与全新 M5 Ultra 的 Mac Studio，AI 性能最高提升 4.3 倍，图形性能提升 1.8 倍，存储速度提升 2 倍。M5 Ultra 版本支持最高 512GB 统一内存与 1.2TB/s 内存带宽，可完全在设备端运行大型 LLM；四台集群可带来最高 3 倍分布式 AI 推理速度提升。新品今日起接受预购，9 月 22 日开售。

    推荐理由：M5 Ultra 的 512GB 统一内存与每 GPU 核神经加速器，让本地运行超大规模 LLM 从演示走向可用，云成本与 token 计费不再是部署前置条件。

8月21日周五
  1. Tomer Tunguz 博客（VC 分析）64

    本地AI模型已能胜任89%日常查询，数据中心将走向个人化

    斯坦福大学与Together AI研究显示，本地AI模型在超百万条真实查询中，对89%的日常聊天与推理问题的回答质量已不输云端前沿模型。本地模型对前沿模型的胜/平率从2023年的23.2%升至2025年的71.3%，智能每瓦特效率同期提升5.3倍。相比全云端方案，本地模型加路由器的组合可降低80%能耗、77%算力与74%成本，但云端在多步推理与高难度领域仍具优势。

    推荐理由：作者借 Koomey 定律类比，把本地模型与云端效率数据放进历史框架，帮助读者理解端侧 AI 的演进节奏。

8月20日周四
  1. Hao AI Lab71

    一段 5 秒 480P 视频，完全在 Mac 上生成，耗时 30 秒。无需 CUDA，无需云端，仅占用 3.9 GiB 内存。 FastMetal 将 FastWan-QAD 系列带到 Apple Silicon。DiT、DMD 采样器和解码器均通过 MLX 在 Metal 上运行，默认 INT8。 三个模型：1.3B 支持 480P，5B 支持 720P，14B 追求画质。 📷 博客：http://haoailab.com/blogs/fastmetal 📷 代码：http://github.com/hao-ai-lab/FastVideo 📷 模型：http://huggingface.co/collections/FastVideo/fastmetal

    推荐理由：在Apple Silicon本地生成视频，把云端视频生成的计算依赖降到了消费级硬件，为需要数据隐私或低成本原型创作的工作流提供了替代路径。

8月19日周三
  1. Hugging Face：Blog（RSS）64

    Liquid AI 发布 LFM2.5 系列 QAD Q4_0 量化检查点，恢复 97% 精度损失

    Liquid AI 发布基于量化感知蒸馏（QAD）训练的 LFM2.5-230M、350M、1.2B-Instruct 和 2.6B 四款 Q4_0 GGUF 检查点，在保持原生 Q4_0 内存与速度的同时，恢复 BF16 平均精度损失的 97%。

    推荐理由：QAD 量化蒸馏恢复 Q4_0 模型九成六以上 BF16 精度，对应树莓派和手机等边缘设备，在保持低内存与高吞吐的同时缩小与全精度模型的差距。

8月18日周二
  1. Tomer Tunguz 博客（VC 分析）65

    本地小模型也能媲美云端前沿模型：Qwen3.8-27B 的另类飞行路径

    本地运行的 Qwen3.8-27B 在 Artificial Analysis 智能指数上以 52 分位列 135 个模型之首，超过 7530 亿参数的 GLM-5.2。在 25 项风投任务评测中，它与云端 DeepSeek V4 输出质量同为 8.0 分，但需多花 7.2 倍 token 思考，速度慢约 9 秒。小模型靠更长的链式推理弥补知识差距，而非直接给出答案。

    推荐理由：作者用同一套 VC 任务实测云端与本地模型，给出质量、速度与思考 token 的具体数据，展示小模型靠推理补知识差距的路径。