把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
LMSYS 团队针对 1.6 万亿参数的 MoE 模型 DeepSeek-V4-Pro，在 H20 GPU 上通过场景化服务配置逼近 B300 性能。单节点 H20-141GB 参考实现达 271 output tokens/s，与 B300 的 383.7 tokens/s 性能差距缩小至 1.42×。
推荐理由：文章提出按上下文长度与并发需求分场景选择 prefill/decode 配置，并用 Humming 压缩和 Online C128 释放 HBM，使 H20 也能服务 1M 上下文，为受限硬件上的大规模推理提供了可复用的工程思路。
OpenRouter 宣布与 Stripe 合并，以加速推动全球经济增长。OpenRouter 目前每日处理来自 400 多个 AI 模型的 10+ 万亿 token，服务超 1000 万开发者与公司，自成立以来推理量每年至少增长 10 倍。合并后 OpenRouter 将继续以原名、原使命独立运营，产品与路线图不变，路由决策仍以用户利益为先，交易预计在未来数周内完成。
推荐理由：收购不改变 OpenRouter 独立运营与模型中立承诺，Stripe 的支付和反欺诈经验可能让企业级推理服务更完整。
Mojo🔥 语言现已正式开源，采用 Apache 2.0 许可证（含 LLVM 例外），编译器、工具链及全部源码已发布至 modular GitHub 仓库。Mojo 上周刚达成 1.0 版本（源码稳定），此次开源涵盖整个编译器与工具链。目前暂不接受编译器相关贡献，计划年底前开放，标准库自 2024 年起已接受社区贡献。
推荐理由：Mojo 从闭源编译器转为可自行构建的工具链，开发者能直接查看和修改标准库实现，减少对厂商二进制分发的单一依赖。
Anthropic 的 CI 工程师用 Claude Tag 构建了值班智能体，作为 CI/CD 故障的一线响应者。Claude 在事故发生后中位 14 分钟发布首份基于证据的分析，最快案例中 3 分钟内验证修复并确认错误率恢复基线。该方案通过 Slack 频道、Datadog 或 Grafana 工具访问及 GitHub 技能文件实现，Anthropic 已发布通用设置套件供其他团队部署。
推荐理由：文章把 AI on-call 从概念落成可复制的工程架构，用 markdown 技能文件和 lessons.md 实现自我迭代，并给出 14 分钟首报、最快 4 分钟定位等实测数据。
智能体记忆并非可随意开启的功能，而是需按模型能力校准的剂量。强模型适合注入完整指南集，DeepSeek-V3.2（671B MoE）任务完成率提升+9.5个百分点；较弱模型采用精选检索效果最佳，gpt-oss-120b（117B MoE）提升+16.1pp且仅增加+5% token。该方法无需更新权重或人工标注，通过从智能体过往轨迹中蒸馏指南并在推理时注入实现。
推荐理由：把智能体记忆的配置从越多越好修正为按模型能力校准，弱模型用检索核心比全量更准且成本更低，为上下文预算提供量化依据。
Cursor 今日起向所有付费计划用户开放 Origin 代码托管的早期测试版，提供仓库、拉取请求、代码浏览及 GitHub 同步功能。用户可创建以 cursor.com/codebase/ 为前缀的仓库，或将 GitHub 仓库同步至 Origin，双向同步评论与审查。Vercel、Depot 和 Buildkite 集成已可用，智能体功能即将推出。
推荐理由：与外部 GitHub 托管相比，Origin 把源码、PR 和 agent 放进同一环境，免去跨工具切换，影响已用 Cursor 做开发的团队对代码审查与 CI 集成的组织方式。
NVIDIA 宣布与 SB Energy 合作，锁定俄亥俄州 PORTS-Pike 科技园区的电力容量（LPS）以独家部署 NVIDIA 算力，OpenAI 将成为租户。
推荐理由：NVIDIA以20年租约担保为OpenAI锁定4.25GW容量，把AI工厂重资产负担部分转由自己承担，使高增长实验室能越过资产负债表限制获取算力。
OpenAI 在 OpenAI-Hugging Face 事件后反思低估了模型真实网络攻击能力，正通过四大支柱强化自身安全：用 Codex 验证代码漏洞、用智能体优先分流安全告警、持续枚举攻击路径，并仅向可信防御者开放网络能力。文中演示 ChatGPT Work（基于 GPT-5.6 Sol）15 分钟发现个人网站 13 个问题并在一小时内完成修复。
推荐理由：把防御动作拆成可逐步放开权限的自动化阶梯，从只读扫描到自动关单，比泛泛的全员上 AI 更可落地，安全团队能据此排定试点顺序。
Jensen Huang@JensenHuang精选AI 评分7474推荐理由：把土地与电力纳入长期算力规划，显示 AI 工厂的约束正从芯片供应转向场地和能源，前沿实验室的扩张成本将更多取决于长期基础设施合约而非单次采购。
OpenRouter 发布 Activity 仪表盘和 beta Analytics API，可按智能体、模型、请求维度查看支出、token 量、缓存命中率等指标，并支持下钻至单条请求日志。
推荐理由：这项功能的价值在于聚合看板能下钻到单次请求，把成本异常直接定位到具体 API key 和任务，内部案例用一行模型替换就修正了每月约 6.2K 美元的误配支出。
Together AI 在 DeepSWE 全部 113 个任务、每任务 4 次试验（共 904 次 rollout）上对比 DeepSeek V4 Pro 0813 与 Claude Fable 5。
推荐理由：原文基于同一批 904 次 rollout 的实测数据，给出两模型在 DeepSWE 上的成本与互补性对比，以及可复用的级联路由结果。
Cursor 推出 builds 功能，在后台持续准备就绪的开发环境副本，让云智能体启动时无需从零搭建，响应速度最高提升 3 倍。内部环境启动快 10 倍，首个 token 生成快 3 倍；智能体始终从最近一次成功的 build 启动，依赖更新或安装脚本出错时不会影响运行。8 月 17 日起所有环境默认启用 builds，无需额外费用。
推荐理由：把环境准备从每次会话冷启动改为后台持续快照，云代理长任务的启动成本和中断风险降低，为把更多工程流程交给自动代理提供了更可靠的运行基础。
Augment Code 从零重构 Auggie CLI 的 harness，在 SWE-bench Pro 相同通过率下，Auggie v2 单任务成本 $1.27，Claude Code 为 $2.70，便宜 53%，平均耗时 330s 对 409s。
推荐理由：作者复盘了从 Vercel AI SDK、Mastra 到 Pi 的三次选型与减法思路，成本结论有 SWE-bench Pro 数据支撑，方法可迁移到类似的重构决策。
PromptArmor 发文指出，本地运行 LLM 并不能解决数据外泄问题，因为漏洞位于处理模型输出的 AI 应用基础设施中，而非模型本身。文章以 Ollama 聊天界面为例，其不安全地渲染 HTML 和 Markdown 内容并配有不安全的 web 搜索工具，可导致钓鱼覆盖层、凭证窃取和上传文档外泄，并给出净化输出、纯文本渲染或内容安全策略等修复方式。
推荐理由：作者基于自己发现的大量真实漏洞案例，说明本地部署模型并不能阻止数据外泄，风险根源在于下游处理环节。
vLLM 宣布对 Qwen3.8-2.4T-A95B 提供 Day-0 支持，该模型是基于 Qwen 3.5 架构的 2.4 万亿参数稀疏 MoE 模型，含 512 个专家，92 层混合骨干中每 4 层使用一次 full attention，其余 69 层为线性注意力。
推荐理由：原文给出架构细节、量化方案和硬件要求，读者可以据此评估部署这个 2.4T 参数开源权重模型的成本与配置。
研究团队为 macOS 虚拟机中的 Metal 能力查询构建进程级兼容层，使 llama.cpp 能选用更新的 Metal 内核。在 M1 Ultra 上，TinyLlama 1.1B 的提示处理速度提升 11.08 倍、token 生成提升 16.36 倍，接近裸机性能的 98%；Gemma 4 12B 的提示处理与生成速度分别提升 7.20 倍和 14.54 倍。
推荐理由：通过进程级 Metal 能力注入，macOS 虚拟机中 llm 推理速度提升一个数量级，为在隔离环境运行大模型提供了此前缺失的算力基础。
Google Cloud 在 Database Migration Service（DMS）中推出由 Gemini 驱动的 AI 辅助代码转换，可将 Oracle 或 SQL Server 的存储过程、触发器和自定义函数转换为 PostgreSQL PL/pgSQL 代码。
推荐理由：将AI编解能力直接嵌入数据库迁移流程，不同于通用聊天工具，它能感知全量Schema上下文，并保留审查与校验环节，更适合企业级迁移场景。
Google 发布教程，讲解如何用 LiteRT 和 Gemma 在 Raspberry Pi 5 上实现完全离线的实时边缘 AI，并演示其驱动 Reachy Mini 机器人。
推荐理由：原文给出 LiteRT-LM 在树莓派 5 上运行 Gemma 的具体性能数字与 CPU/GPU 分工架构，还附完整部署命令，方法可直接迁移到自己的边缘部署。
Unsloth AI@UnslothAI精选AI 评分6868
推荐理由：官方公布产品的主要能力清单和下载入口，读者可据此评估本地运行与训练模型的实际选项。
LMSYS 团队提出 Unified Radix Cache，用单一 token 键控 radix 拓扑统一管理混合模型的 FULL、SWA 和 MAMBA 组件缓存，各组件独立执行路径、滑动窗口和检查点复用语义。
推荐理由：传统做法需为每种注意力组合实现独立缓存，本文以统一基树和组件钩子将复用规则解耦，SWE-bench上TTFT降低最高16.6%。