跳到正文
北京时间

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

652条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 181–200 条 · 共 652 条
7月24日周五
  1. Runway:News(网页)69

    Runway 推出 Media Router,首个面向生成式媒体的偏好优化路由模型

    Runway 发布 Media Router,这是首个为生成式媒体模型设计的模型路由器,已集成至 Runway Dev 平台。该路由器可根据用户设定的成本、质量和延迟偏好,自动为每次视频、图像或音频生成请求选择最优模型,支持 Gen-4.5、Seedance、GPT Image 2 等第一方及第三方模型。用户只需配置一次偏好并调用单一端点,即可避免手动选型与持续更新代码的麻烦。

    推荐理由:Runway Dev 首次把智能路由引入生成媒体,开发者不用再手工选模型,跑量时成本与延迟优势明显,但这是平台内生态能力,对非 Runway 用户意义不大。

  2. Satya Nadella65

    微软CEO Satya Nadella详解MAI模型家族战略:通过优化成本-效果前沿,MAI模型在GitHub Copilot、Excel等产品中已用更少token超越通用前沿模型。核心是构建独立于模型的评估系统,让模型在产品真实环境中学习并完成用户关心的任务。微软正将这一模板通过Foundry平台开放给企业客户。

    推荐理由:微软CEO详细阐述MAI模型战略,从通用模型转向产品内优化,透露GitHub Copilot和Excel已开始路由流量到MAI,对微软生态开发者和企业是个风向标。

7月23日周四
  1. Google AI:DEV 作者专属(RSS)61

    Google Cloud Agent Skills 完整指南:从基础到高级云运维

    Google Cloud 推出官方 Agent Skills 开源指令集,旨在让 AI 编码智能体安全、高效地执行多步骤云操作。该仓库基于 agentskills.io 开放标准,目前收录 70 多项技能,涵盖安全审计、无服务器部署、BigQuery 优化等 8 个类别。技能采用渐进式披露模型,通过验证工作流、安全门控和上下文感知机制,防止智能体盲目执行破坏性命令。

    推荐理由:这是 Google Cloud Skills 系列教程第一篇,从安装到触发讲得很细,把 Agent Skills 的“渐进式披露”和安全门机制都拆解了,适合想让 AI 编码代理帮你管云资源的开发者。

  2. Google AI:DEV 作者专属(RSS)73

    Gemini 3.6 Flash 与 3.5 Flash-Lite 正式版发布

    Google 发布 Gemini 3.6 Flash 和 Gemini 3.5 Flash-Lite 正式版。3.6 Flash 在复杂智能体和多模态任务上性能更强,输出 token 价格降至 $7.50/1M,支持 1M token 上下文窗口和 Computer Use 工具。

    推荐理由:Gemini 3.6 Flash 降本增效,3.5 Flash-Lite 主打低成本高速,弃用 temperature 等参数是个硬变更,使用 Gemini 的开发者必须检查迁移。

  3. 公众号:数字生命卡兹克66

    北京发布智能体新政,首次将Harness Engineering、Token经济、OPC等写入政策

    北京市发布《关于加快智能体引领发展的若干措施》,共十条,首次将Harness Engineering(驾驭层工程)、Token经济、OPC(一人公司)等前沿概念写入正式政策。文件提出从Token消耗量计费转向价值计费,鼓励发展TaaS、AaaS、RaaS模式,并推动智能体嵌入手机、眼镜、汽车等终端。

    推荐理由:这份政策把 Agent 时代的核心概念全部写进了红头文件,Harness Engineering、Token 经济、OPC 等首次在官方文件中出现,意味着智能体正式进入政策加速期,每个 AI 从业者都该读一遍。

  4. 公众号:小红书技术(dots.llm)83

    小红书引擎架构团队 OSDI 2026 新成果:HELMSMAN 重塑大规模向量检索基础设施

    小红书引擎架构团队在 OSDI 2026 发表论文,提出面向全闪存的高性能向量近似最近邻检索系统 HELMSMAN。该系统通过 ANNS 定制化存储栈、分层学习式搜索剪枝及 GPU 加速构建流水线,将向量检索服务迁移至 NVMe SSD 阵列。

    推荐理由:在保持毫秒级在线延迟的前提下,将百亿向量检索从海量DRAM迁移到NVMe SSD阵列,为推荐与搜索系统提供了成本下降超90%的生产验证方案。

  5. Tomer Tunguz 博客(VC 分析)61

    OpenRouter 上的“AI 超市”效应:GPT-OSS 120b 流量达 Opus 4.8 的 36%,模型市场加速分层

    OpenRouter 上的 AI 模型市场正像超市货架一样分层:OpenAI 去年 8 月发布的开源模型 GPT-OSS 120b 仍占据 Anthropic 最新旗舰 Opus 4.8 流量的 36%。

    推荐理由:Tomer用OpenRouter数据和自己的本地实验,把模型市场细分讲得很清楚,对选型有直接参考价值,做本地agent的可以看看他换掉Gemma的理由。

  6. HuggingFace Daily Papers(社区热门论文)72

    Agentic Context Management:将智能体记忆与成本问题重构为生命周期与架构挑战

    论文提出 Agentic Context Management(ACM)框架,将智能体上下文管理从存储问题重新定义为包含架构、摄取、范围界定、预判、压缩与整合五个原语的生命周期管理。

    推荐理由:这篇论文把代理记忆从‘存什么’重新表述为‘管什么’的生命周期问题,五个原语和线性成本论证,对做生产级代理的团队有直接的架构启发。

  7. Hacker News 热门(buzzing.cc 中文翻译)76

    GigaToken 发布:语言模型分词速度最高提升约 1000 倍,可无缝替代 HuggingFace Tokenizers

    GigaToken 是一款新的语言模型分词器,在 AMD EPYC 9565 双路 144 核 CPU 上对 GPT-2 分词速度达 24.53 GB/s,比 HuggingFace Tokenizers 快 989 倍、比 tiktoken 快 681 倍。

    推荐理由:GigaToken 把分词速度直接拉到 GB/s 级别,对处理大规模文本的团队是实打实的效率提升,数据集预处理不再是瓶颈。

7月22日周三
  1. IT之家(RSS)75

    OpenAI 拟投资 200 亿美元在美新建数据中心,2030 年算力支出预期上调至近 7500 亿美元

    OpenAI 计划在佐治亚州萨凡纳附近建设一座超大规模数据中心,承诺投资 200 亿美元,并已争取到 3.2 吉瓦的能源。该项目预计从 2028 年起部分电力投入使用,满负荷时总成本可能超过 300 亿美元。同时,OpenAI 将截至 2030 年的预计算力支出上调至近 7500 亿美元,高于此前约 6000 亿美元的预期。

    推荐理由:OpenAI 把未来算力赌注押到了 7500 亿美元,佐治亚数据中心只是冰山一角,做基础设施的同行得重新算账了。

  2. SemiAnalysis76

    AMD 刚刚宣布与 Anthropic 达成协议,将投资高达 50 亿美元,换取 Anthropic 采购 2GW 的 AMD MI455 UALOE72 及未来 GPU。🚨 这与我们三天前关于 Anthropic 的说法一致。

    引用SemiAnalysis@SemiAnalysis_

    根据 AMD 人工智能高级总监的公开 GitHub,ANTHROPIC 将成为 AMD 的客户 🚨🚨 我们在下面解释 GitHub 代码和细节👇️ 1/4🧵

    推荐理由:AMD 用 50 亿美金投资换来 Anthropic 的巨量 GPU 订单,这是非 NVIDIA 生态一次真正有分量的突破,做硬件和云服务的值得深挖。

  3. OpenRouter:Announcements(RSS)72

    OpenRouter 新增音频转写 API,支持 Whisper 与 token 计价 STT 模型

    OpenRouter 推出 POST /api/v1/audio/transcriptions 端点,用户可使用同一 API key 将 base64 编码音频发送至该端点,返回 JSON 格式文本与用量对象。

    推荐理由:OpenRouter 把语音转录集成进 API,一份 key 搞定聊天和转写,对已经在用的团队省心不少,这篇教程直接可跑。

  4. OpenRouter:Announcements(RSS)69

    OpenRouter 推出 Prompt Caching + Sticky Routing,降低多轮 Agent 调用成本

    OpenRouter 通过 Prompt Caching 与 Sticky Routing 降低多轮 Agent 的 token 成本。缓存读取价格仅为正常输入的 0.1x-0.5x,其中 Claude Sonnet 4.6 缓存读取为 $0.30/M(正常 $3.00/M)。

    推荐理由:Prompt caching 不是新概念,但 OpenRouter 把成本算得明明白白,sticky routing 配合 session_id 解决了缓存漂移的痛点,做 agent 的人该抄作业。

7月21日周二
  1. Modal 官方工程博客(RSS)61

    Modal 与 Cognition 推出 Devin Outposts,AI 工程师可在自有 Sandbox 中执行任务

    Cognition 推出 Devin Outposts,让 AI 软件工程师 Devin 的执行环境迁移到用户自控环境,推理仍留在 Cognition 云端;Modal 是启动合作伙伴,7 月 21 日起开放 alpha。

    推荐理由:官方发布方介绍了 Devin 执行环境迁入自有 Modal Sandbox 的方式,GPU 按需启动和会话快照是可对比的实际能力变化。

  2. Fireworks AI(网页)63

    Fireworks AI 实测 Kimi K3 对标 Fable 5,两模型路由可达 93% 准确率

    Fireworks AI 在约 1,030 个真实 agent 任务上对比开源的 Kimi K3 与闭源的 Fable 5,两者总体水平接近(SWE 分别为 92.4% 与 92.6%),但各自擅长不同任务类型。

    推荐理由:原文用约 1,030 个真实 agent 任务对比 K3 与 Fable 5,给出按任务路由可同时提升质量并降低成本的量化依据。

7月20日周一
  1. 公众号:小红书技术(dots.llm)68

    小红书与北大开源 UltraEP:面向大规模 MoE 训推的实时负载均衡方案

    小红书与北大提出 UltraEP,首次将基于精确路由信息的实时负载均衡引入生产系统,在每个 microbatch 和每一层动态复制热点专家。在 Qwen3-235B 等模型上,训练吞吐平均达到理想性能的 94.6%,相比 Megatron-LM 提升 42%;推理 prefill 吞吐相比 SGLang 提升 1.56 倍。

    推荐理由:MoE 训练推理的负载不均是个老痛点,UltraEP 用实时复制热专家的方式把 GPU 利用率拉到 94% 的理想线,代码和论文都开源了,做大规模分布式训练的团队可以直接参考。

  2. 公众号:小红书技术(dots.llm)76

    小红书、北大开源 UltraEP:面向大规模 MoE 训推的「最优」负载均衡方案

    小红书与北大开源 UltraEP,首次将基于精确路由信息的实时负载均衡引入生产系统,在每个 microbatch 和每一层动态复制热点专家,平均达到理想性能的 94.3%,相比业界 SOTA 训推框架提升 1.49 倍。该方案已在 288B 参数 MoE 模型的完整预训练中部署,保持不低于理想性能 92% 的水平。

    推荐理由:动态复制热点专家替代了基于历史窗口的重排,将MoE训推吞吐从理想的一半拉至90%以上,对自研大规模模型的团队而言,是一套可落地的负载均衡方案。