跳到正文
北京时间

推理能力

模型推理能力的进展:思维链、推理模型、数学与逻辑基准的突破与争议。

最新精选

第 461–480 条 · 共 592 条
3月6日周五
  1. Sarvam AI(网页)65

    Sarvam AI 开源发布 Sarvam 30B 和 Sarvam 105B 推理模型

    Sarvam AI 以 Apache 2.0 协议开源 Sarvam 30B 和 Sarvam 105B 两款从零训练的推理模型,采用 MoE 架构,训练全部在 IndiaAI mission 提供的算力上于印度完成。

    推荐理由:原文给出两款从零训练的开源推理模型的架构、训练流程和基准数据,并说明针对印度语言的优化与部署效率,可据此评估其与同类模型的差异。

3月5日周四
  1. OpenAI:官网动态(RSS · 排除企业/客户案例)

    GPT-5.4 Thinking 系统卡

    OpenAI 发布 GPT-5.4 Thinking 系统卡,披露新一代推理模型的架构细节、安全评估框架及能力边界。文档详述思维链优化机制、长上下文推理性能指标,明确数学推导与代码生成准确率数据,分析幻觉风险与偏见控制措施,并列出越狱攻击防护策略及企业级部署的安全限制建议。

    推荐理由:OpenAI 发布 GPT-5.4 Thinking 系统卡,详述模型安全与能力评估

3月4日周三
3月1日周日
  1. Cognition 模型 / Devin 博客(网页)60

    Cognition 发布 SWE-1.6 早期预览并分享 RL 训练研究进展

    Cognition 发布 SWE-1.6 早期预览,当前 checkpoint 在 SWE-Bench Pro 上比 SWE-1.5 高 11%,达到 51.7%,速度同为 950 tok/s,并向小部分用户开放早期访问。

    推荐理由:官方给出 SWE-1.6 预览版成绩与 RL 训练细节,并提出基准之外的 Model UX 问题,对做智能体训练的人有参考价值。

2月28日周六
  1. 蚂蚁百灵:Developer Blog(网页)80

    拒绝“AI 味”:我们用 6 个文学维度,重新审视了模型的创意写作边界

    本文通过叙事工艺、语言艺术等六个文学维度,评估百灵模型Ling-2.5-1T的创意写作能力。测试显示,该模型能驾驭莎士比亚十四行诗、七言绝句等多种体裁,并通过感官描写实现“展现而非告知”的文学技法,在微观叙事和语言质感上接近人类水平。然而,模型仍存在依赖高频文学意象、处理否定指令时语义代偿等局限。该框架为创作者提供了激发AI写作潜力的具体方法。

    推荐理由:提供实用文学维度框架和 Prompt 技巧,助你驾驭 AI 创意写作。

2月26日周四
  1. 蚂蚁百灵:Developer Blog(网页)86

    Ling 2.5 Lightning Attention+MLA 混合线性架构改造实践

    为提升超长上下文下的计算效率,Ling 2.5架构将Ling 2.0的GQA改造为1:7的Lightning Attention与MLA混合线性注意力。此举旨在利用Lightning Attention提升长序列吞吐,并通过MLA极致压缩KV Cache。为确保改造后性能无损,团队设计了精细的平滑迁移训练策略,包括权重转换、QK Norm融合与Partial RoPE改造等多阶段加训。Scaling Law实验确定了1:7为最优混合比例,最终使万亿参数模型实现了更低的计算成本与更高的长文本推理效率。

    推荐理由:为大模型长上下文优化提供可落地的工程实践参考。

2月20日周五
2月13日周五
  1. 字节 Seed:Research Feed(网页内嵌数据)

    "思考"更深,生成更准|Seedream 5.0 Lite 发布

    字节跳动发布 Seedream 5.0 Lite 图像生成模型,采用多模态统一架构,跨模态理解与推理能力显著提升,Elo 评分超越前代 4.5 版本。模型首次引入实时检索增强能力,可联网获取最新知识,突破训练数据时间限制。内置丰富世界知识库,在信息可视化、视觉推理、复杂多主体生成等场景表现突出,能根据模糊指令精准修图,支持风格迁移与多步逻辑推理。目前已上线即梦 AI、火山方舟体验中心及豆包内测。

    推荐理由:字节发布 Seedream 5.0 Lite,支持实时检索与深度推理的图像生成模型。

2月11日周三
  1. 蚂蚁 inclusionAI:GitHub 新仓库61

    inclusionAI 发布高性能量化推理 GEMM 内核库 Humming

    inclusionAI 开源了 Humming,这是一个专为量化推理设计的高性能、轻量级即时编译 GEMM 内核库。它支持在 FP16、BF16、FP8 等多种激活数据类型下进行 8 比特以下任意权重类型的推理,兼容多种量化策略与缩放类型,并同时支持稠密 GEMM 和混合专家 GEMM 运算。该库兼容 SM75+ 及以上的所有 NVIDIA GPU,在多种计算场景下能提供业界领先的吞吐量和效率。其依赖极简,仅需 PyTorch 和 NVCC,软件包大小仅约 100 KB,便于超轻量化部署。

    推荐理由:蚂蚁 inclusionAI 开源了一个 100KB 级的量化 GEMM 库,支持从 INT1 到 FP8 全家桶,SM75+ 全覆盖,做推理部署的工程师值得花半小时跑一下 benchmark,看看能不能替换掉现有的 Marlin 方案。

  2. 蚂蚁 inclusionAI:GitHub 新仓库65

    inclusionAI发布新一代即时大模型Ling-2.5-1T

    inclusionAI推出新一代旗舰即时模型Ling-2.5-1T,其总参数量达1T,活跃参数为63B,预训练语料扩展至29T tokens。该模型采用混合线性注意力架构,支持1M tokens上下文长度,并通过结合“正确性”与“过程冗余”的复合奖励机制,在相近的token效率下,其推理能力显著超越前代,接近前沿思维模型水平。经双向RL反馈和智能体验证等对齐策略优化,模型在创意写作和指令遵循任务上表现提升。它已兼容主流智能体平台,并在通用工具调用基准BFCL-V4上取得领先的开源性能。

    推荐理由:蚂蚁把 1T 参数的即时模型开源了,63B 活跃参数加 1M 上下文,主打效率而非堆算力,对国内做开源推理模型的团队来说是个值得对标的基线。

  3. 蚂蚁 inclusionAI:GitHub 新仓库78

    inclusionAI发布全球首个开源万亿参数思维模型Ring-2.5-1T

    inclusionAI发布了全球首个基于混合线性注意力架构的开源万亿参数思维模型Ring-2.5-1T。该模型通过高效的1:7 MLA与闪电线性注意力提升了推理速度与探索能力,并借助扩展的强化学习训练增强了深度思考和长程任务执行能力。其在IMO 2025和CMO 2025数学竞赛中均达到了金牌级别的性能。模型支持128K上下文长度,并可通过YaRN技术扩展至256K,现已于Hugging Face和ModelScope平台开源。部署方面,已支持SGLang,并提供了多GPU节点的服务器启动示例。

    推荐理由:蚂蚁把万亿参数的开源 thinking model 放出来了,混合线性注意力架构是真新路线而非换皮,IMO/CMO 金牌级数学推理说明这不是纯堆参数。做开源大模型部署的团队值得认真看看它的架构选择。

  4. Goodfire Research(网页)63

    Goodfire 发布 RLFR 方法:用内部特征探针作奖励将 Gemma-3-12B-IT 幻觉率降低 58%

    Goodfire Research 发布论文,提出 RLFR(Reinforcement Learning from Feature Rewards),用模型内部激活上的轻量探针作为 RL 奖励信号来减少幻觉。

    推荐理由:原文给出了用模型内部探针作为 RL 奖励降低幻觉的具体方法、成本对比和消融数据,读者可以据此评估可解释性驱动训练的可行性。

2月7日周六
  1. OpenAI:Alignment 研究博客(RSS)71

    在真实世界使用中发现未知的 AI 对齐偏差

    研究表明,推理模型能够通过分析用户的实际反馈,识别并理解此前未知的 AI 行为对齐偏差。这种方法不依赖预设的偏差分类,而是从真实互动数据中主动发现模型行为与人类意图之间的潜在偏离,为动态监测和修正 AI 系统提供了新途径。

    推荐理由:OpenAI 让推理模型从真实用户反馈中自动发现未知的对齐失败,这比红队测试更接近真实威胁面。做安全和对齐的人应该认真看,它可能改变你们的检测范式。

2月5日周四
  1. Claude Platform:开发者版本说明(RSS)72

    Claude Opus 4.6 发布:最智能模型,专为复杂智能体任务设计

    Anthropic 发布 Claude Opus 4.6,定位为最智能模型,专为复杂智能体任务和长周期工作设计。新模型推荐使用自适应思考模式(`thinking: {type: "adaptive"}`),弃用手动思考,且不支持预填充助手消息。

    推荐理由:Opus 4.6 把长上下文和智能体推理推向实用,加上压缩 API 和数据驻留控制,这是 Anthropic 面向企业落地的完整答卷,做 agent 的开发者值得认真评估。

1月30日周五
  1. 蚂蚁 inclusionAI:GitHub 新仓库61

    高效离线推理框架 Flood:吞吐量显著领先,支持多模态与量化

    Flood 是一款面向离线应用的高效大语言模型推理框架。它采用流水线并行降低通信开销,并通过分段式KV缓存管理提升连续性。框架支持连续批处理、分块预填充、FP8/INT8量化及多模态模型推理。性能测试表明,其在多种模型和硬件上的吞吐量最高可达 vLLM 的 2.4 倍。其专用内核 SegmentAttention 在处理长序列时,解码速度较 FlashAttention 最高提升 3.16 倍。该项目于 2025 年 3 月开源并快速迭代,已支持前瞻解码等新特性。

    推荐理由:蚂蚁的 FLOOD 框架用流水线并行替代张量并行来压通信开销,实测吞吐比 vLLM 高 1.4 到 2.4 倍,做离线推理部署的团队值得花半小时跑一下 benchmark 看看自家场景能不能吃这个红利。

1月20日周二
  1. Hugging Face:Blog(RSS)83

    差分Transformer V2

    差分Transformer V2发布,其核心是改进的差分注意力机制。相较于V1,V2将查询头数量翻倍而保持键值头不变,差分操作后将维度缩减,从而在解码时能达到与标准Transformer相当的速度,且无需定制内核。新版本还解决了V1中因注意力分布均匀化导致的数值不稳定问题,特别是消除了RMSNorm层所需的巨大缩放因子(如在长序列下),从而避免了梯度爆炸,旨在实现更稳定的大规模预训练。

    推荐理由:新注意力架构提升解码效率与训练稳定性,开发者可低成本集成优化模型。