把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
Cursor 团队针对用户全天依赖应用、崩溃影响严重的问题，聚焦内存不足导致的崩溃。通过为多进程架构设计细粒度监控系统，实时追踪版本发布后的崩溃指标。采用双重调试策略：自上而下关联功能与崩溃数据，监控大消息负载；自下而上通过崩溃观察服务、堆快照等定位根本原因。自2月底以来，全版本会话OOM率下降80%，自3月1日起请求OOM率下降73%。具体措施包括处理大文件加载和修复资源泄漏，以应对突发与渐进性内存耗尽。
推荐理由：Cursor 把自家 OOM 问题的排查方法论完整公开了，自顶向下加自底向上的双线调试思路对做桌面端 Agent 产品的人有参考价值，但本质上是工程复盘而非行业事件。
现代序列建模主要依赖Transformer和结构化状态空间模型，但两者在长上下文处理中均存在局限。Sessa提出一种新解码器架构，将注意力机制置于循环反馈路径内，从而构建多条基于注意力的历史信息传递路径。理论分析表明，在匹配条件下，Sessa可实现幂律记忆衰减O(ℓ^{-β})（0<β<1），其衰减速度慢于对应的Transformer与Mamba基线，并能实现灵活的选择性信息检索，包括影响力不随距离衰减的模式。实验证明，Sessa在长上下文基准测试中取得最强性能，同时在短上下文语言建模任务上保持竞争力。
推荐理由：这篇论文在理论上证明了Sessa架构的长上下文记忆衰减比Transformer和Mamba更慢，并在实验中兑现了这一优势。对于关注下一代序列模型架构的研究者和开发者，这是个值得深挖的扎实信号。
开发者在单张RTX 3090显卡上成功运行Qwen3.5-27B模型，实现了每秒207个token的生成速度。该项目已在GitHub平台开源，展示了消费级硬件运行270亿参数大语言模型的高性能潜力。相关成果在Hacker News获得105个点赞，引发技术社区对本地大模型部署效率与优化方案的关注。
推荐理由：Lucebox 把 Qwen3.5-27B 在 3090 上推到了 207 tok/s，靠的是定制投机解码和 KV 压缩，做本地推理的开发者值得照着配一遍，虽然调试门槛不低。
Epoch AI 梳理了 OpenAI Stargate 项目在美国的七个站点，均为 5000 亿美元基建计划的一部分，目前仅得州 Abilene 站点投入运营，当前容量约 0.3 GW，八栋建筑中约四栋已启用并搭载 Nvidia Blackwell 芯片。
推荐理由：原文逐站点梳理了 Stargate 七个 US 选址的容量、工期和供电方案，读者可据此了解巨型 AI 数据中心建设的真实进展与约束。
A2UI v0.9发布了一个框架无关的新标准，旨在帮助AI代理依据公司现有设计系统，实时生成定制化的UI组件。本次更新通过提供全新的Python版Agent SDK、共享的Web核心库，以及对React、Flutter和Angular等渲染器的官方支持，显著简化了开发体验。该版本将UI意图与具体平台解耦，实现了生成式界面在Web和移动应用间的无缝、低延迟流式传输。通过集成AG2和Vercel等更广泛的生态系统，A2UI v0.9致力于推动生成式UI从实验演示走向可用于生产环境的成熟产品。
推荐理由：Google 把生成式 UI 推向标准化，A2UI v0.9 让代理能用任何组件库实时生成界面，前端开发者不用换轮子就能玩起来，这是 AI 应用落地的关键拼图。
Sentence Transformers 发布了用于训练和微调多模态嵌入与重排序模型的功能。新版本支持将文本、图像等不同模态的数据映射到统一的向量空间，并优化了跨模态检索的精度。关键改进包括对嵌入模型和重排序器进行联合或分阶段训练，显著提升了如图文检索等任务的性能指标。此次更新旨在通过开源工具推动多模态人工智能技术的普及与发展。
推荐理由：这是训练多模态嵌入模型的全套指南，附带 VDR 微调实验和代码。如果你需要把文本和图像检索对齐到自己的业务数据上，这篇能省掉大量试错时间。
随着2026年AI代码代理的成熟，开源项目如transformers面临PR数量激增但质量下降的挑战。这些代理生成的代码常忽视项目的隐式设计契约，导致代码冗长、引入错误并增加维护者负担。为此，团队为mlx-lm开发了一个Skill工具，用于将模型从transformers高质量地移植到mlx-lm框架。该工具不仅生成接近人工提交的PR，还提供生成示例、数值对比和独立的测试工具链，以辅助贡献者和审查者。其目标是让模型在加入transformers后能快速在MLX上可用，同时维护代码的可读性与设计一致性。
推荐理由：这篇不是普通的工具介绍，而是在 agent 时代探讨开源贡献的尺度——用 Skill 加速模型移植的同时，仍强调人的判断和责任，做维护的人该读一读。
Modal 发布工程教程，演示如何基于 OpenAI 新推出的 Agents SDK 从零构建自定义编码智能体框架，并通过沙箱扩展把 Modal Sandboxes（含 GPU）接入为智能体的运行环境。
推荐理由：教程逐步演示如何用 OpenAI Agents SDK 加 Modal 沙箱自建可并行、可快照的编码智能体框架，方法可直接迁移。
OpenRouter平台现已上线视频生成服务。用户可通过单一API接口，直接调用顶级的视频生成模型。这一集成简化了开发流程，使开发者无需分别对接不同厂商，即可便捷地访问和使用当前领先的视频AI模型能力。
推荐理由：OpenRouter 把视频生成塞进统一 API，对已经在用它做多模型路由的开发者来说是零成本扩展，但对大多数人只是又一个聚合入口，不算必须关注的节点。
2026年4月15日，Mistral AI在Studio中推出Connectors功能，允许开发者通过可复用的连接器、直接工具调用和人工审批控制，安全地将企业数据集成到AI应用程序。所有内置连接器及自定义MCP均支持API/SDK调用，并集中注册，可在LeChat和AI Studio等平台使用。直接工具调用提供更精确的控制，而人工审批流程能在工具执行前进行安全审查。该功能旨在解决企业集成中重复构建、维护成本高和安全风险等问题，简化AI代理开发流程。
推荐理由：Mistral 把 MCP 集成做成了平台级功能，一次注册就可在所有应用里复用，加上直接工具调用和人在环审批，对用 Mistral 构建企业 agent 的团队是实打实的生产力提升。
我们与NVIDIA合作，利用自主运行的多智能体系统，在为期三周内对235个真实CUDA内核进行了优化。该系统从零开始构建并优化Blackwell GPU内核直至汇编级别，实现了38%的几何平均速度提升，其中63%的问题超越基线，19%实现超2倍优化。这些内核直接影响AI训练与推理效率，传统上需资深工程师耗时数月乃至数年的优化工作，该系统在数周内即自主完成，并能探索更广阔解决方案空间，突破了人工逐项优化的限制。
推荐理由：Cursor 把自家多 Agent 系统拉去优化 CUDA 内核，38% 的 geomean 提速不算炸裂，但真正值得看的是它证明了 Agent 可以在无人干预下跑三周啃硬骨头，这对做 Agent 产品的人是个强信号。
AI 智能体需求激增正与有限算力容量产生激烈冲突，引发行业连锁反应。Anthropic 因算力不足遭遇严重服务中断，OpenAI 宣布终止视频生成模型 Sora。据市场数据，GPU 价格已飙升近 50%，算力短缺正从基础设施层面制约 AI 行业扩张。
推荐理由：算力短缺不是一时半会儿的事，Anthropic掉链子、OpenAI砍Sora、GPU涨价48%，正逼着全行业重新算账，也把AI产品从免费狂欢推向了稀缺定价。
ClawGUI是面向GUI Agent的开源全栈框架，统一解决训练、评估与部署的基础设施瓶颈。ClawGUI-RL首创支持并行虚拟环境与真实设备的开源强化学习管道，集成GiGPO与过程奖励模型；ClawGUI-Eval在6项基准实现95.8%基线复现率；ClawGUI-Agent支持部署至Android、HarmonyOS、iOS及12个以上聊天平台。经该管道训练的ClawGUI-2B在MobileWorld GUI-Only任务达17.1%成功率，较同规模基线提升6.0%。
推荐理由：这是 GUI agent 方向久等的工程基座，第一次把在线 RL 训练、标准化评估和真实设备部署装进同一个开源框架，2B 模型就能跑赢大尺寸模型，做移动 agent 的团队可以直接上手复现。
Factory 发布桌面应用，为 Droids 提供原生界面，今日上线 macOS 和 Windows。主要功能包括多智能体会话、持久化 Droid Computers（含 Cloud Computers 与 BYO Machine）、计算机操作能力、VS Code 集成、动态可视化、移动端支持，以及通过 Ollama、vLLM 等端点在本地 GPU 上运行模型、数据不出内网。
推荐理由：官方发布给出了多智能体会话、持久化 Droid Computer 和本地模型等关键能力变化，读者可以据此评估它对现有工作流的影响。
Claude 发布 Managed Agents 公开测试版，这是一个完全托管的智能体框架，支持通过 API 创建智能体、配置容器并运行会话，具备安全沙箱、内置工具和 SSE 流式传输。同时推出 ant CLI 命令行客户端，可加速与 Claude API 的交互，原生集成 Claude Code，并支持以 YAML 文件管理 API 资源版本。
推荐理由：Claude Managed Agents 把沙箱化代理从第三方方案变成了平台原生能力，ant CLI 则把 API 调用纳入了版本控制，这对习惯了 Claude Code 的开发团队是个自然升级，beta 阶段值得先占坑。
Safetensors 安全张量格式原为 Hugging Face 项目，旨在解决模型权重存储的安全风险，现正式加入 PyTorch 基金会，移交至 Linux 基金会旗下，实现供应商中立治理。该格式因简单高效被广泛采用，成为 Hugging Face Hub 等平台默认模型分发方式，服务数万个模型。此次变更对用户无影响，格式、API 和集成保持不变。未来路线图包括设备感知加载与保存、张量并行和流水线并行的 API 支持，以及 FP8、GPTQ 等量化格式的正式集成。项目治理文档已公开，鼓励社区参与贡献。
推荐理由：Safetensors 从单厂项目转为社区治理，意味着模型格式的安全性和互操作性有了更中立的长期保证，这对依赖它的开发者是个积极的制度信号。
cuLA是一套面向GLA、KDA等线性注意力变体的高性能CUDA内核库。它通过手工优化的CuTe DSL与CUTLASS C++实现，深度适配NVIDIA Hopper和Blackwell等新一代GPU架构，旨在将复杂算法转化为可直接调用的高性能算子。其接口与flash-linear-attention保持一致，开发者仅需修改一行import即可低成本接入。性能测试显示，其内核在Blackwell和Hopper GPU上相比Triton基线实现，平均加速比最高达1.52倍。该项目已开源，并计划未来集成至FLA的统一调度机制中。
推荐理由：蚂蚁百灵把线性注意力的 CUDA 内核做成了开箱即用的库，性能超过 Triton 基线，对于做长上下文推理优化的团队挺实用，但受众面比较窄。
LlamaIndex 复盘 LlamaParse 的两类生产故障：LLM 重复循环导致 token 消耗和延迟暴增、资源耗尽，以及 recitation 内容过滤把合法文档抽取误判为版权违规而强行截断输出。
推荐理由：当事方复盘两类真实生产事故的根因、各厂商 API 表现差异与具体缓解手段，方法可直接迁移到其他 agentic 文档处理系统。
TorchTPU 是一个新的工程栈，旨在让 PyTorch 工作负载以最小代码改动在谷歌 TPU 基础设施上获得原生高性能体验。它采用“Eager First”设计，提供多执行模式，并利用 XLA 编译器优化大规模集群的分布式训练。项目计划到 2026 年进一步降低编译开销，扩展对动态形状和自定义内核的支持，以确保下一代 AI 实现无缝扩展。
推荐理由：Google 终于把 PyTorch 和 TPU 拉平了，TorchTPU 用 eager 优先的设计解决了 XLA 编译的别扭感，对依赖 PyTorch 又想啃 TPU 算力的人是个实在利好。
针对Blackwell GPU上的小批量解码，研究提出了一种名为“warp decode”的新方法。该方法颠覆了传统以专家为中心的计算路径，改为让每个GPU warp负责计算一个输出神经元。这一根本性改变消除了原有流程中五个纯数据管理的“簿记”步骤，将整个MoE计算层压缩为仅两个内核。其优势在于避免了填充、分散和中间缓冲区的读写，并通过warp独立性实现了更好的调度。在Blackwell GPU上，该方法实现了1.84倍的吞吐量提升，同时输出精度更高，与全FP32参考值的差距缩小了1.4倍，有效加速了模型研发流程。
推荐理由：Cursor 把 MoE 推理的并行轴从专家翻转到输出神经元，Blackwell 上吞吐涨 1.84 倍还顺带提精度，这种同时赢性能和精度的内核优化极其罕见，做推理引擎的值得逐行读。