把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
研究团队发布了Ulysses序列并行方法，这是一种用于训练大型语言模型的新技术。该方法通过将长序列在设备间进行特定维度的分割与重组，实现了对极长上下文的并行处理。其核心变化在于能高效训练上下文长度高达百万令牌的模型，突破了现有方法在序列长度上的扩展瓶颈。这一进展使得在保持高训练效率的同时，处理书籍、长文档等超长文本成为可能，为推进AI的民主化与开源发展提供了关键技术支撑。
推荐理由：百万 token 训练的序列并行方案，长上下文模型训练的关键工程突破
Together AI 发布 FlashAttention-4，通过算法与内核协同设计最大化 Blackwell GPU 上矩阵乘与 softmax、显存操作的并行重叠。
推荐理由：原文给出 B200 上 attention 瓶颈的实测分析和 FA4 的算法内核协同设计细节，方法可迁移到非对称硬件优化。
LlamaIndex 官方宣布公司使命收窄为构建智能体文档处理基础设施（OCR、抽取与工作流），不再定位为单纯的 RAG 框架。
推荐理由：官方复盘了通用 LLM 框架价值下降的原因，并说明转向文档基础设施的动机和产品布局，读者可借此理解框架类公司的转型逻辑。
OpenAI 披露与 Department of War 达成的协议内容，详细划定 AI 部署的安全红线，明确相关法律保障措施，并具体说明 AI 系统接入机密环境的部署方式。
推荐理由：OpenAI官方披露与军方合作的安全红线与机密部署框架
为提升超长上下文下的计算效率，Ling 2.5架构将Ling 2.0的GQA改造为1:7的Lightning Attention与MLA混合线性注意力。此举旨在利用Lightning Attention提升长序列吞吐，并通过MLA极致压缩KV Cache。为确保改造后性能无损，团队设计了精细的平滑迁移训练策略，包括权重转换、QK Norm融合与Partial RoPE改造等多阶段加训。Scaling Law实验确定了1:7为最优混合比例，最终使万亿参数模型实现了更低的计算成本与更高的长文本推理效率。
推荐理由：为大模型长上下文优化提供可落地的工程实践参考。
Ramp 基于 Modal Sandboxes 构建内部后台编码智能体 Ramp Inspect，目前启动了 Ramp 超过一半的已合并 pull request，其中超过 80% 的 Inspect 代码由其自身编写。
推荐理由：原文给出 Ramp Inspect 的架构细节、启动优化方式和采用数据，读者可借鉴后台编码智能体的落地方案。
Claude Messages API 新增自动缓存功能，只需在请求体中添加 `cache_control` 字段，系统即可自动缓存最后一个可缓存块，无需手动管理断点，并可与现有块级缓存配合使用。
推荐理由：自动缓存把提示缓存从手工档变成自动档，对 Messages API 高频场景的开发者是个实在的省心更新，模型退役通知则是硬切换信号，用旧模型的该迁移了。
Gradio 的 gr.HTML 组件允许开发者通过单一 Python 文件快速构建和部署交互式 Web 应用，无需构建步骤。它通过 html、css 和 js_on_load 三个模板，将 Python 状态注入前端并实现与 JavaScript 的双向同步。应用示例涵盖生产力工具（如像素艺术番茄钟）、商业应用（如可拖拽看板）、创意组件（如抽奖转盘）以及专业的 ML 应用（如目标检测查看器）。组件可子类化复用，并能直接集成到模型流水线中，借助快速重载模式，从构思到部署仅需数秒。
推荐理由：ML 开发者可快速构建自定义 Web 应用，单文件部署，无需前端经验。
inclusionAI 开源了 Humming，这是一个专为量化推理设计的高性能、轻量级即时编译 GEMM 内核库。它支持在 FP16、BF16、FP8 等多种激活数据类型下进行 8 比特以下任意权重类型的推理，兼容多种量化策略与缩放类型，并同时支持稠密 GEMM 和混合专家 GEMM 运算。该库兼容 SM75+ 及以上的所有 NVIDIA GPU，在多种计算场景下能提供业界领先的吞吐量和效率。其依赖极简，仅需 PyTorch 和 NVCC，软件包大小仅约 100 KB，便于超轻量化部署。
推荐理由：蚂蚁 inclusionAI 开源了一个 100KB 级的量化 GEMM 库，支持从 INT1 到 FP8 全家桶，SM75+ 全覆盖，做推理部署的工程师值得花半小时跑一下 benchmark，看看能不能替换掉现有的 Marlin 方案。
inclusionAI推出新一代旗舰即时模型Ling-2.5-1T，其总参数量达1T，活跃参数为63B，预训练语料扩展至29T tokens。该模型采用混合线性注意力架构，支持1M tokens上下文长度，并通过结合“正确性”与“过程冗余”的复合奖励机制，在相近的token效率下，其推理能力显著超越前代，接近前沿思维模型水平。经双向RL反馈和智能体验证等对齐策略优化，模型在创意写作和指令遵循任务上表现提升。它已兼容主流智能体平台，并在通用工具调用基准BFCL-V4上取得领先的开源性能。
推荐理由：蚂蚁把 1T 参数的即时模型开源了，63B 活跃参数加 1M 上下文，主打效率而非堆算力，对国内做开源推理模型的团队来说是个值得对标的基线。
inclusionAI发布了全球首个基于混合线性注意力架构的开源万亿参数思维模型Ring-2.5-1T。该模型通过高效的1:7 MLA与闪电线性注意力提升了推理速度与探索能力，并借助扩展的强化学习训练增强了深度思考和长程任务执行能力。其在IMO 2025和CMO 2025数学竞赛中均达到了金牌级别的性能。模型支持128K上下文长度，并可通过YaRN技术扩展至256K，现已于Hugging Face和ModelScope平台开源。部署方面，已支持SGLang，并提供了多GPU节点的服务器启动示例。
推荐理由：蚂蚁把万亿参数的开源 thinking model 放出来了，混合线性注意力架构是真新路线而非换皮，IMO/CMO 金牌级数学推理说明这不是纯堆参数。做开源大模型部署的团队值得认真看看它的架构选择。
Z.ai 发布开源权重模型 GLM-5（MIT 许可，面向长程 Agent 和系统工程），Modal 与其合作上线免费体验端点，4 月底前可用，限单并发请求。FP8 精度下模型约 700 GB，需多 GPU 部署，Modal 用 8 张 B200 单节点配合 SGLang 运行，内部实测每用户 30-75 tokens/秒。
推荐理由：Modal 官方给出 GLM-5 的部署细节、免费端点限制和前端接入配置，读者可直接照做在自己常用的 Agent 框架里试用。
PromptArmor 演示了一种通过间接提示词注入让 AI Agent 返回携带敏感数据的恶意 URL，借助 Telegram、Slack 等应用的链接预览功能在用户不点击的情况下实现数据外泄的攻击链。
推荐理由：原文拆解了链接预览导致无需点击即可数据外泄的攻击链，并给出 OpenClaw Telegram 的具体关闭配置和自测方法。
Prime Intellect 发布 Lab 平台，将 Environments Hub 与 Hosted Training、Hosted Evaluations 整合为覆盖大规模智能体 RL、推理与评估的后训练全栈平台，即日起向所有人开放。
推荐理由：原文交代了平台构成、已开放状态和训练配置方式，读者可以判断它能否替代自建 GPU 集群做智能体后训练。
Transformers.js 发布第四个主要版本 v4，该版本现已通过 NPM 包管理器提供。这一更新延续了项目通过开源与开放科学推动人工智能技术进步与普及的使命，使开发者能够更便捷地获取并在项目中集成这一机器学习库。
推荐理由：浏览器和 Node.js 直接跑 HF 模型的大版本升级，前端开发者可零门槛接入 AI
埃隆·马斯克预测，36个月后太空将成为部署人工智能成本最低的地点。他指出，长期专注于软件领域的从业者即将面临硬件层面的严峻挑战。这一判断暗示，随着AI算力需求爆发式增长，地面数据中心的能源消耗与散热限制将推高计算成本，而太空环境凭借丰富的太阳能和天然散热优势，可能在未来三年内成为AI基础设施部署的更经济选择。
推荐理由：Musk预判三年内太空将成为AI算力最优解，软件工程师需直面硬件物理约束
Flood 是一款面向离线应用的高效大语言模型推理框架。它采用流水线并行降低通信开销，并通过分段式KV缓存管理提升连续性。框架支持连续批处理、分块预填充、FP8/INT8量化及多模态模型推理。性能测试表明，其在多种模型和硬件上的吞吐量最高可达 vLLM 的 2.4 倍。其专用内核 SegmentAttention 在处理长序列时，解码速度较 FlashAttention 最高提升 3.16 倍。该项目于 2025 年 3 月开源并快速迭代，已支持前瞻解码等新特性。
推荐理由：蚂蚁的 FLOOD 框架用流水线并行替代张量并行来压通信开销，实测吞吐比 vLLM 高 1.4 到 2.4 倍，做离线推理部署的团队值得花半小时跑一下 benchmark 看看自家场景能不能吃这个红利。
Claude API 结构化输出功能现已对 Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Haiku 4.5 全面开放。GA 版本扩展了 schema 支持、改进了语法编译延迟，并简化了集成路径（无需 beta header）。该功能在 Amazon Bedrock 和 Microsoft Foundry 上仍为公开 beta。
推荐理由：结构化输出终于 GA，去掉了 beta 的不确定性，对依赖 JSON 模式的生产应用是个好消息，但功能上不算重大突破，只是工程完善。
Kimi 发布 K2.5 模型时开源 Kimi Vendor Verifier（KVV），用于验证第三方推理实现的准确性。针对开源模型部署渠道多样化导致的质量失控问题，KVV 提供六项关键基准测试，覆盖参数约束验证、多模态流水线、长输出压力测试、工具调用一致性及编程能力评估。项目与 vLLM/SGLang 社区合作修复根因，并提供预发布验证和实时更新的公开排行榜。完整评估在双 H20 8 卡服务器上约需 15 小时。
推荐理由：Kimi开源Vendor Verifier，系统性解决开源模型第三方部署质量验证难题
PromptArmor 发布 Claude Cowork 安全部署指南，梳理其威胁模型并给出三档功能与风险权衡的配置方案，从最大化功能的 Tier 1 到基本隔离外部输入的 Tier 3，并逐项说明组织级管理设置。
推荐理由：安全厂商基于自身威胁模型研究，给出 Claude Cowork 三档部署配置和逐项管理设置，企业安全团队可按风险容忍度直接落地。