OpenRouter 免费套餐更新:引入新模型维持可访问 AI 推理
OpenRouter 发布免费套餐更新,通过引入新模型来维持可持续的 AI 推理服务,旨在继续为广大用户提供可访问的 AI 能力。
推荐理由:OpenRouter 一年前把几个新模型塞进免费层,当时对白嫖开发者是利好,但现在点开只能闻到时间的灰尘。
把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。
OpenRouter 发布免费套餐更新,通过引入新模型来维持可持续的 AI 推理服务,旨在继续为广大用户提供可访问的 AI 能力。
推荐理由:OpenRouter 一年前把几个新模型塞进免费层,当时对白嫖开发者是利好,但现在点开只能闻到时间的灰尘。
Liquid AI 发布新一代基础模型 LFM2,主打端侧部署,在 CPU 上解码与 prefill 速度最高达 Qwen3 的 2 倍,训练效率较上一代提升 3 倍。
推荐理由:官方发布端侧模型系列,给出与 Qwen3 等同尺寸模型的速度和基准对比数据,适合关注本地部署选型的读者参考。
Modal 团队复盘其 QArt codes 服务的工程过程,通过 evals 和推理时算力扩展将二维码扫描率提升到 95% 的 SLO,同时改善美观度并将 p95 端到端延迟控制在 20 秒内。
推荐理由:Modal 团队复盘 QArt codes 从不可扫到 95% 扫描率的工程路径,evals 构建与推理时并行扩展的方法可迁移到其他生成模型应用。
Prime Intellect 发布 SYNTHETIC-2,一个开源推理数据集,基于 DeepSeek-R1-0528 生成经过验证的推理轨迹,并启动行星尺度的流水线并行分布式推理运行。
推荐理由:原文给出流水线并行推理与 TOPLOC v2 验证机制的细节,开源社区可据此了解如何用消费级 GPU 参与大规模推理贡献。
Modal 宣布 B200 和 H200 GPU 开放给所有账户使用,无需联系销售,B200 定价 $6.25/hour,H200 定价 $4.54/hour,一行代码即可在 Function 中指定。
推荐理由:原文给出 B200 与 H200 的价格、规格对比和实测延迟数据,读者可据此评估迁移到新 GPU 的收益。
OpenRouter 上线了推理流摘要(Reasoning Streams)功能,支持流式推理过程摘要,同时新增加密货币发票支付、最终用户 ID(End-User IDs)、速率限制保护以及密钥锁定等特性。
推荐理由:如果你在用 OpenRouter 做应用,这几个更新挺实用,推理流输出让代理开发更可控,加密支付和端用户 ID 也降低了商业化门槛。




推荐理由:DeepSeek 推出硬件对齐稀疏注意力 NSA,长上下文训练推理双提速,预训练成本显著降低
Prime Intellect 发布 INTELLECT-1,称其为首个全球协作训练的 10B 参数语言模型,基于 Llama-3 架构在 1T token 上训练 42 天,跨五国三洲最多同时使用 112 张 H100。
推荐理由:原文给出分布式训练的关键数字和 PRIME 框架细节,读者可以了解跨洲协作训练 10B 模型的可行性与工程代价。
Liquid AI 发布第一代 Liquid Foundation Models(LFM),包含 1.3B、3.1B 和 40.3B MoE(激活参数 12B)三个语言模型,官方称在各规模上取得同级领先质量。
推荐理由:官方发布了三档模型的基准数据和内存表现,并说明非开源决定与边缘部署定位,读者可据此评估是否试用。
传统RAG系统在编码时易丢失上下文,导致检索失败。新方法“上下文检索”通过“上下文嵌入”和“上下文BM25”两项子技术,在检索前为文本块添加解释性上下文,能将检索失败次数减少49%,结合重排序后降幅可达67%,显著提升了下游任务性能。对于小于20万token的小型知识库,可直接将其完整内容放入提示词,结合Claude的提示词缓存功能,能降低超过2倍的延迟和高达90%的成本。对于大型知识库,上下文检索则提供了可扩展的解决方案。
推荐理由:Anthropic 把 RAG 检索失败率砍了 67%,方法不复杂但数据扎实,做知识库的开发者可以直接抄 cookbook 上手,是那种读完当天就能改进生产环境的实用帖。
Eugene Yan 等六位作者发布长文 Applied LLMs,总结一年 LLM 应用开发经验,分战术、运营、战略三部分。战术层面涵盖 n-shot 与 CoT 提示词技巧、RAG 文档相关性、结构化输出工具 Instructor 和 Outlines、LLM-as-Judge 评测及幻觉防护;战略层面提出 PMF 之前不买 GPU、先提示词后微调、系统比模型更构成护城河等观点。
推荐理由:多位从业者基于一年真实开发经验总结提示词、RAG、评测到团队与战略的实践清单,读者可对照自己的 LLM 项目逐条借鉴。
LangChain 与 Airbyte 的集成方案旨在将检索应用扩展至生产环境。该方案通过调度、文本拆分和 50 多种嵌入模型实现数据摄取自动化,帮助开发者构建可规模化的生产级数据管道。
推荐理由:Airbyte 目标端把调度、切分与嵌入选项接入 LangChain,让数据源到 RAG 索引的更新由手动脚本转为可配置流程。