跳到正文
北京时间

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

652条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 21–40 条 · 共 652 条
9月22日周二
  1. Linear:Now(RSS)62

    Linear 重构 CI 流程应对 AI 编码带来的验证瓶颈,PR 等待时间从 6 分钟降至 5 分钟

    Linear 工程师分享如何解决 AI Agent 加速写代码后 CI 成为瓶颈的问题,PR 等待时间从 6 分钟以上降至 5 分钟出头,单测 runner 时间约减半。

    推荐理由:作者以第一手实践拆解 Linear 优化 CI 的具体做法与数据,读者可将其方法迁移到自己的 TypeScript 项目。

  2. Tomer Tunguz 博客(VC 分析)66

    Tomer Tunguz 谈 AI 优化 if-then 判断:专用决策器把分类成本降近百倍

    Tomer Tunguz 撰文提出最新一波 AI 正在接管软件中的 if-then 判断原语,Jev 与 SemIf 这类专用决策器以数百毫秒返回结果,成本比传统生成式调用低约 76x 到 209x。作者在自己的 Agent 中替换了约四分之一的调用,在 98 条人工核验的生产邮件线程上,Jev 达到 80%、本地 SemIf 达到 82% 的分类准确率,高于生产模型的 47%。

    推荐理由:作者结合自身 Agent 的替换实验给出成本与准确率对比,为判断专用小模型何时可替代前沿模型提供参照。

  3. Fireworks AI(网页)61

    Fireworks AI 推出 Specialized Intelligence Index 领域基准索引

    Fireworks AI 推出 Specialized Intelligence Index(SII),汇集开放、闭源与专用模型在真实工作任务基准上的表现,首批覆盖医疗、法律、网络安全、金融、客服、生产力和软件七个领域。

    推荐理由:Fireworks 联合多家行业实践方推出领域基准索引,不做跨领域综合排名,读者可按成本和时长自行权衡模型选择。

9月19日周六
  1. OpenRouter:Announcements(RSS)63

    OpenRouter 实测 Jev 决策模型对比 LLM,何时该用决策模型替代生成文本

    OpenRouter 发布教程,实测 TypeSafe 的决策模型 Jev 1.13 与 GPT Luna、Claude Opus 在工单分诊和提示词注入筛查上的表现:Jev 每 1000 张工单成本 $0.0248、中位延迟 194ms,准确率与 LLM 相当。

    推荐理由:OpenRouter 用自家基准数据对比 Jev 与生成式 LLM 的成本和延迟,并给出路由与验证两套可直接复用的代码模式。

9月17日周四
  1. Unsloth AI68

    Unsloth 宣布可使用其 Docker 镜像本地训练和运行 500+ 模型,提供新 GUI 和 notebooks 工作流,无需配置,支持 NVIDIA 和 AMD,指南见 https://unsloth.ai/docs/get-started/install/docker。

    引用Unsloth AI@UnslothAI

    推出 Unsloth Desktop 🦥 首个可在本地运行和训练模型的桌面应用。 • 开源。支持 Mac、Windows 和 Linux • 支持 MLX、扩散图像/视频、音频、GGUF • 将 Claude Code 和 Codex 连接到本地 LLM • 准确率提升 50%,自愈式工具调用 + 沙箱化代码执行 • 适用于 CPU + 多 GPU 配置——NVIDIA、AMD、Intel、Mac • 训练模型速度提升 2×,VRAM 占用减少 70% • 私密网页搜索、深度研究、RAG、MCP 及导出(NVFP4、GGUF) • 使用 Unsloth 的 OpenAI 兼容 API 和云端模型 • 安全地远程部署 LLM,随时随地访问 Unsloth Desktop 现已在 http://unsloth.ai 和 GitHub 上发布。 GitHub:https://github.com/unslothai/unsloth 博客与指南:https://unsloth.ai/docs/desktop

    推荐理由:官方介绍了新 Docker 镜像和 Desktop 应用,列出本地训练运行模型的硬件支持与效率数字,读者可据此评估本地部署方式。

  2. GitHub Blog87

    GitHub 用 Copilot 智能体将 Copilot 运行时从 TypeScript 迁移到 83 万行 Rust

    GitHub 工程师 Stephen Toub 复盘用 Copilot 智能体在约 14.5 周内将 Copilot agent runtime 从 TypeScript/Node.js 全量重写为 832,378 行生产 Rust,AI 智能体完成大部分代码,共 128 个 PR 增量合入 main 并持续发布。

    推荐理由:当事工程师复盘用 AI 智能体在数月内将 Copilot 运行时迁往 Rust 的全过程,策略、回归样本和成本数据对同类迁移有直接参考价值。

9月16日周三
  1. Aravind Srinivas69

    Perplexity CEO Aravind Srinivas 宣布自研键值数据库 CobbleDB,替代 AWS DynamoDB 用于快速网页内容抓取,迁移后每年最多可节省一亿美元。该项目由两名工程师和数百个持续运行的 Computer 智能体在两个月内完成核心基础设施,官方研究称热存储批次读取延迟较 DynamoDB 全分布下降约 5 倍(P50 从 31.4ms 降至 5.60ms)。

    引用Perplexity@perplexity_ai

    我们正在发布关于我们如何构建 CobbleDB 的研究,这是我们为 Perplexity 搜索提供网页内容的键值数据库。 两名工程师和一支由数百个主动、始终在线的 AI 代理组成的团队在两个月内构建了核心基础设施。

    推荐理由:原文给出成本节省数字和构建方式,图片补充了批次读取延迟的具体对比数据。

  2. Claude:Blog(网页)65

    Claude for Small Business 新增 43 个 workflow 与 27 个集成

    Anthropic 为 Claude for Small Business 新增 43 个 workflow 和 27 个集成,覆盖 Shopify、Salesforce、TikTok、Zoom、Stripe、Zapier 等工具,该产品自 5 月上线以来安装量超过 90 万次。

    推荐理由:原文给出43个workflow、27个新集成和默认审批模式的控制方式,读者可以据此判断它怎样接入小店现有的工具链。

9月15日周二
  1. Claude:Blog(网页)66

    Anthropic 工程师复盘:智能体编程压力下如何扩展测试影响分析服务

    Anthropic 工程师撰文分享如何在智能体编程压力下扩展测试影响分析服务。Claude 编写约 80% 的代码,测试数量增长 10x,六个月内 CI 任务增加 25x。文章复盘了三个临时补丁(扩容、按包分片、每日重启)分别只维持 70 天、29 天和不到一天,最终用三周重设计为无状态、内存存储加 journal 的可水平扩展架构,并建议团队按两季度内 25x 负载做容量规划。

    推荐理由:作者复盘了智能体编程把 CI 推向 25x 负载的完整演进,给出可迁移的架构与容量规划经验。

  2. SiliconFlow66

    硅基流动(SiliconFlow)宣布开源模型 Hy4 preview 上线其平台。该模型总参数 770B、每 token 激活 49B、支持 1M 上下文,采用 Apache 2.0 协议,面向编码、分析、研究和复杂实际工作。用户可将其接入 Claude Code、Codex、Cursor 等已有工具;图片显示定价为每 1M tokens 输入 $0.834、输出 $2.501、缓存 $0.042。

    推荐理由:原文给出了参数规模、上下文长度、开源协议和定价,读者可据此评估它能否接入现有编码与 Agent 工具链。

9月13日周日
  1. MarkTechPost(RSS)79

    Agent 长任务上下文工程解析:用预算控制、压缩、todo-state 和记忆对抗上下文溢出与目标丢失

    文章解析 Agent harness 层应对长任务中上下文溢出与目标丢失的四类机制:上下文预算与卸载、压缩、todo-state 复述和跨会话记忆。

    推荐理由:文章把解决长任务中上下文溢出与目标丢失的机制拆成四类,并对照多款主流 Agent 产品的具体实现和阈值,便于读者迁移到自己的系统。

9月12日周六
  1. Baseten 工程博客(网页)76

    DeepSeek 发布开源模型 DeepSeek-V4.1-Flash,优化编码智能体 prefill 效率

    DeepSeek 本周在 HuggingFace 开源 DeepSeek-V4.1-Flash 权重,模型总参数 552B,prefill 激活 8B、decode 激活 16B,支持 1M token 上下文和文本加图像输入,已上线 Baseten Model APIs。

    推荐理由:文章解释了 CED 架构如何把 prefill 降到 8B 激活参数并压缩 KV cache,读者能理解它为何更适配编码智能体的高 prefill 负载。

  2. OpenAI:官网动态(RSS · 排除企业/客户案例)61

    OpenAI 详解存储平台 Habitat 如何扩展支撑超 10 亿 ChatGPT 用户(上篇)

    OpenAI 发文(系列上篇)讲述其在线存储平台 Habitat 的演进:现每秒处理超 7000 万请求、服务每周超 10 亿用户、管理超 500PB 数据,覆盖近 40 个地区。

    推荐理由:原文披露了 Habitat 从 Python 库到 Rust 服务的完整演进细节,含 asyncio 调优、连接池等可迁移经验。

  3. Dwarkesh Patel:Podcast & Blog(RSS)67

    Beren Millidge、John Schulman、Charlie O'Neill 对谈递归自我改进离我们还有多远

    Dwarkesh Patel 与 Zyphra CTO Beren Millidge、Thinking Machines 首席科学家 John Schulman、Baseten 模型训练负责人 Charlie O'Neill 三位研究者对谈递归自我改进(RSI)的前景。

    推荐理由:三位一线研究者就递归自我改进的技术瓶颈、蒸馏与RL环境壁垒、参数规模趋势给出具体分歧和可检验预测。

9月11日周五
  1. OpenRouter:Announcements(RSS)67

    OpenRouter 发布 Fusion 复合模型,让多个模型辩论后合成最终答案

    OpenRouter 发布 Fusion 复合推理系统,将一个提示词并行发给 1 到 8 个面板模型,由 judge 比较共识与分歧后由调用模型写出最终答案。默认三模型面板成本约为单次完成的四到五倍、延迟两到三倍,在 DRACO 深度研究基准上预算面板得 64.7%、前沿面板得 69.0%。

    推荐理由:官方详解 Fusion 的多模型辩论机制、四到五倍成本与两到三倍延迟,并给出适用与不适用的具体场景。

  2. Together AI 研究与产品博客(RSS)63

    Together AI 扩展微调服务:新增模型、实验跟踪与更细训练控制

    Together AI 扩展 Together Fine-Tuning 服务,新增对 GLM-5.3、Kimi K2.7、Qwen 3.5 系列等最新开源权重模型的支持,并上线实时实验跟踪、数据集预览验证等能力。

    推荐理由:原文给出新模型支持、Expert LoRA 实测对比、自动早停和降价幅度等具体细节,读者可据此评估微调工作流的实际改进。

  3. Augment Code 博客(网页)69

    Augment 复盘软件工厂建设:人均规模调整产出增长 4.5 倍

    Augment Code 发布长文,复盘其九个月建设的软件工厂:2025 年 11 月至 2026 年 7 月,基于 Cosmos 平台在需求、工单、PR、生产四个环节部署 PR Author。

    推荐理由:Augment 复盘其软件工厂九个月的落地过程,给出了具体的量化结果和按瓶颈逐步自动化 SDLC 的可迁移方法。

9月10日周四
  1. Hacker News 热门(buzzing.cc 中文翻译)81

    Shopify 宣布从 React Native 全面迁回 Swift 和 Kotlin 原生开发

    Shopify 宣布将全部移动应用从 React Native 迁回 Swift 和 Kotlin,判断是 LLM 智能体大幅降低了跨平台重复开发成本这一核心假设被改变。

    推荐理由:当事方完整披露迁移理由、开源库去向和 Helix 工作流,读者可以据此评估编码智能体对跨平台技术选型的影响。

  2. OpenRouter66

    OpenRouter 推出新的有状态服务端工具 Shell,任何 OpenRouter 上的模型都可以在托管的 Linux 容器中运行命令。该功能今日起以 beta 形式提供,代号为 `openrouter:shell`,同时新增 Files API 用于在容器内外传输文件。

    推荐理由:OpenRouter 官方介绍新 Shell 工具和 Files API 的能力与开放方式,模型调用方可以据此判断如何接入有状态命令执行。