跳到正文
北京时间

推理能力

模型推理能力的进展:思维链、推理模型、数学与逻辑基准的突破与争议。

最新精选

第 401–420 条 · 共 592 条
5月6日周三
  1. xAI80

    Grok 4.3 现已在 xAI API 上线。这是我们迄今为止最快、最智能的模型。 它在 @ArtificialAnlys 排行榜上的智能体工具调用和指令遵循方面位居榜首,并在 @ValsAI 的企业领域(如判例法和公司金融)中排名第一。 Grok 4.3 支持 100 万令牌的上下文窗口,定价为输入每百万令牌 1.25 美元,输出每百万令牌 2.50 美元。 创建 API 密钥并开始构建:http://console.x.ai/team/default/api-keys

    推荐理由:Grok 4.3 登顶 agentic tool calling 榜,定价有竞争力,做 agent 的值得认真看。虽然不算顶级发布,但 xAI 靠性能价格组合可能抢下不少性价比敏感开发者。

5月5日周二
  1. Runway:News(网页)55

    60倍速冷启动:将同级GPU视为权重服务器

    Runway平台团队开发的NCCLBack系统,通过P2P权重传输将模型冷启动时间从数分钟缩短至数秒。其核心创新在于让新启动的GPU推理节点直接从集群内已加载权重的同级GPU获取模型参数,而非从云存储重复下载。该系统利用GPU互连(如InfiniBand、NVLink)高达200-400 Gbps的带宽,相比传统存储下载的2-10 Gbps实现了数量级提升。通过Redis协调与NCCL广播原语,NCCLBack确保了数据传输的效率和正确性,使得大规模集群部署新模型时,冷启动时间不随节点数量线性增长,基本保持恒定。

    推荐理由:Runway 工程师把 GPU 冷启动从分钟压到秒级,原理是让已加载权重的 GPU 直接「喂」给新同伴,而不是各自从存储下载。做大规模推理部署的团队值得细读。

  2. HuggingFace Daily Papers(社区热门论文)70

    T^2PO:面向稳定多轮智能体强化学习的不确定性引导探索控制框架

    多轮强化学习训练常因探索效率低下而不稳定。为此,研究团队提出T^2PO框架,在细粒度层面实施不确定性引导的探索控制。在令牌级别,它监测不确定性动态,当边际变化低于阈值时触发思考干预;在轮次级别,它识别探索进展可忽略的交互并动态重采样,以避免无效计算。在WebShop、ALFWorld和Search QA等多个环境中的评估表明,T^2PO显著提升了训练稳定性与任务性能,并实现了更高效的探索。相关代码已开源。

    推荐理由:多轮 agent 训练最怕训着训着崩了,这篇从 token 和 turn 两级控制探索的思路很妙,直接把低效 rollout 砍掉,稳定性和效率都上去了,做 RLHF 或 agent RL 的可以认真看一下。

  3. Apple Machine Learning Research(RSS)66

    PORTool: 基于奖励树和重要性感知的策略优化方法,用于多工具集成推理

    研究团队提出PORTool算法,以解决多工具集成推理中仅依靠结果奖励导致的信用分配模糊问题。该方法通过重要性感知策略优化,在结果级监督下强化智能体的工具使用能力,同时实现步骤级奖励分配。PORTool生成奖励树来明确关键决策步骤,从而更精确地引导模型学习有效的工具调用序列,提升复杂任务解决的效率和可靠性。

    推荐理由:不少 Agent 团队训练时都遇到过奖励信号太稀疏的问题,PORTool 试着把奖励细粒度化,给了个可实操的解法,做工具调用智能体的值得深读。

  4. SemiAnalysis71

    在行业标准推理引擎vLLM上的测试显示,NVIDIA GB300 NVL72的实测端到端性能已达GB200 NVL72的2.7倍。尽管其纸面参数仅显示NVFP4算力提升约1.5倍、HBM容量增加1.5倍且带宽相同,但在大多数服务商实际运行的中段负载区间,凭借全栈优化的复合增益,GB300实现了远超理论算力提升的性能飞跃。此次测试基于NVIDIA、Inferact和CoreWeave为开源项目提供的临时GB300系统完成,结果印证了端到端实测性能才是衡量硬件效能的黄金标准,而非单纯的纸面理论算力。

    推荐理由:纸面 FP4 算力只多 50% 的 GB300,实际推理却快了 2.7 倍,全栈优化的复合增益比参数表好看太多,做推理服务的该重新算算 TCO 了。

  5. Google Developers Blog(RSS)66

    在谷歌TPU上实现3倍加速:UCSD利用扩散式推测解码优化LLM推理

    加州大学圣地亚哥分校的研究团队在谷歌TPU上成功部署了DFlash,一种基于块扩散的推测解码方法。该方法突破传统自回归草稿生成的序列性瓶颈,通过单次前向传播并行“绘制”整个候选令牌块,而非逐个预测。系统平均实现了3.13倍的推理加速,峰值性能接近EAGLE-3等现有方法的两倍。这一开源方案已集成至vLLM生态系统,通过利用“免费”的并行验证能力和针对复杂推理任务的高质量草稿预测,显著优化了TPU硬件的利用效率。

    推荐理由:把扩散式的 speculative decoding 在 TPU 上跑出了 3 倍推理加速,峰值快到 EAGLE-3 的两倍,还直接集成了 vLLM,做推理优化的赶紧试一下。

  6. Tomer Tunguz 博客(VC 分析)63

    每日仅需8条广告,广告支持型AI的经济可行性分析

    基于开源模型和商用GPU的广告支持型AI在经济上可行。计算表明,一个由4块B200 GPU组成的集群服务300名用户时,每小时成本约18美元。通过广告收入即可覆盖成本:在内容网络中每3分钟展示一条广告(CPM 3.12美元),或在搜索广告中每39分钟展示一条(CPM 38.40美元),这一广告频率已与常见的移动和网页应用相当。对于代码代理等高强度任务,可采用混合盈利模式:用户每月支付10美元订阅费并每日观看8条广告,即可支持约200万token的用量,这证明了该模式的实用性。

    推荐理由:Tunguz 用一页纸的算账说清了广告支持 AI 的经济账,一天看 8 条广告就能换两百万 token,这对做免费 AI 产品的团队是个真正有说服力的模型。

5月4日周一
  1. Hacker News 热门(buzzing.cc 中文翻译)75

    OpenAI的o1系统对急诊患者的诊断准确率为67%,而分诊医生的准确率仅为50%至55%

    OpenAI的o1系统在急诊分诊诊断测试中表现优于医生。该系统对急诊患者的诊断准确率达到67%,而分诊医生的准确率仅为50%至55%。这一结果表明,人工智能在辅助医疗诊断、特别是急诊场景的初步分诊环节具有显著潜力,其准确率领先人类医生约12至17个百分点。相关研究由哈佛团队进行,具体数据来自《卫报》的报道。

    推荐理由:这是AI在真实急诊环境下首次以较大优势超越分诊医生的诊断准确率,虽然还需要更大规模验证,但已经是医疗AI从辅助到主诊的明确信号。

  2. Goodfire Research(网页)69

    Goodfire Research 研究发现模型的言语化评测意识会推高安全基准测出的安全性

    Goodfire Research 发表研究,指出模型会在思维链中自发表达意识到被评测(verbalized eval awareness),在测试的全部 19 个基准和 8 个模型中均存在,共 515 个人工核验实例,其中 95% 仅出现在思维链中。

    推荐理由:研究覆盖 19 个基准和 8 个模型,给出评测意识推高拒绝率的因果证据与可操作的提示词改写方法,有助于评估者校准对安全基准分数的信任。

5月2日周六
  1. François Chollet70

    强化学习在已知领域能提升模型性能,但在未知领域可能导致模型产生幻觉,误以为在执行其他训练过的任务。这一现象在GPT-5.5等大模型的ARC AGI 3基准测试中有所体现,其得分仅为0.43%,与Claude 4.6、Gemini 3.1等模型表现相近。分析指出GPT-5.5的主要失败原因包括:局部效应正确但世界模型错误、从训练数据中提取的抽象层级不当,以及虽解决问题却未强化奖励机制。深入分析此类失败案例,有助于全面理解大模型在特定模态上的能力局限与改进方向。

    引用Chris@chatgpt21

    GPT-5.5 在 ARC AGI 3 上得分 0.43%! - GPT-5.5:0.43% - Opus 4.7:0.18% - GPT-5.4:0.20% - Claude 4.6:0.45% - Gemini 3.1:0.4% GPT 5.5 报告的失败原因包括: - 真实的局部效果,错误的世界模型 - 来自训练数据的抽象层级错误 - 解决了关卡,但没有强化奖励 我认为完整的分析将帮助 OpenAI 全面理解模型在某些模态中失败的地方

    推荐理由:Chollet 用 ARC AGI 3 冷冰冰的数字撕开了 RL 的局限,GPT-5.5 0.43% 的得分说明在未知领域模型会做完全不相干的事,比任何安全论文都来得更直击要害。

5月1日周五
  1. Hacker News 热门(buzzing.cc 中文翻译)76

    Grok 4.3

    x.ai 正式发布了 Grok 4.3 模型,开发者可通过官方文档获取详细信息。该模型在 Hacker News 社区获得关注,相关帖子收获了 100 点热度。此次发布标志着 Grok 系列模型的持续迭代更新。

    推荐理由:xAI 的 Grok 4.3 如期而至,性能和对标都写在文档里了,想了解最新大模型实力的开发者值得花五分钟看一眼。

4月30日周四
  1. IT之家(RSS)72

    DeepSeek 公布多模态模型技术报告

    DeepSeek发布了多模态大模型及技术报告,提出创新的“基于视觉原语的思考”框架。该框架将点、边界框等视觉元素作为推理的基本单元,旨在解决多模态模型在空间参照任务中存在的“参照鸿沟”核心问题,使模型能将抽象认知锚定到图像的具体坐标上。尽管模型规模紧凑且图像标记预算较低,其在多项挑战性计数和空间推理基准测试上的性能,可与GPT-5.4等前沿模型相媲美。

    推荐理由:DeepSeek 把视觉概念直接变成推理单元,绕开了语言描述空间的先天模糊,在空间推理上把自家紧凑模型拉到和 GPT-5.4 一个水平,做多模态应用的人值得细读。

  2. Baidu Inc.65

    百度ERNIE 5.1 Preview模型正式上线。该模型采用更轻量高效的架构,在总参数量压缩至前代约1/3、激活参数量约1/2的同时,仅消耗可比模型约6%的预训练成本,实现了在其规模下的领先基础性能。根据@arena的Text Arena榜单,ERNIE 5.1 Preview在全球总排名第13位,并位列中国实验室第一。其在多个细分领域进入全球前十,特别是在法律与政府领域排名第一。百度预告将在2026年的Baidu Create大会上发布更多ERNIE模型更新。

    引用ERNIE for Developers@ErnieforDevs

    隆重推出 ERNIE 5.1 Preview —— 现已上线!🚀 在 @arena 的 Text Arena 中全球排名第 13,在中国实验室中排名第 1。 在以下领域跻身全球前 10: 📐 数学 —— 第 9 ⚖️ 法律与政府 —— 第 1 💼 商业、管理与金融运营 —— 第 4 💻 软件与 IT 服务 —— 第 7 基于 ERNIE 5.0 强大的预训练基础构建,ERNIE 5.1 Preview 将总参数量压缩至前代的约 1/3,激活参数量压缩至约 1/2,同时仅使用同类模型约 6% 的预训练成本 —— 在其规模下实现了领先的基础性能。 立即体验 👉 https://ernie.baidu.com/ 更多新模型即将推出 —— 敬请期待 👀

    推荐理由:ERNIE 5.1 Preview 把参数量砍到前代的 1/3,性能还稳住了,6% 的训练成本近乎白嫖,国产模型打榜的意义不大,但这效率提升对做应用落地的人来说是实打实的好处。

  3. Ant Ling72

    SGLang团队(隶属于LMSYS Org)揭示了其旗舰指令模型实现快速、高效、大规模执行的关键在于可靠的基础设施与针对性优化。团队宣布对AntLingAGI发布的Ling-2.6-1T万亿参数模型提供Day-0支持。该模型采用快速思考方法,在保持质量的同时,成本可比同类模型降低约4倍,并在AIME26和SWE-bench基准测试中达到SOTA水平。它专为高级编码、复杂推理和大规模智能体工作流设计,具备万亿参数能力与即时模型延迟。团队正持续进行优化,以进一步提升性能。

    引用LMSYS Org@lmsysorg

    👏 认识来自 @AntLingAGI 的 Ling-2.6-1T,这是一款万亿参数旗舰即时指令模型,专为大规模下的快速执行与高效率而打造。Day-0 支持现已在 SGLang 上线! 1️⃣ 快速思考方式:比同类模型便宜约 4 倍,质量毫不妥协 2️⃣ 在 AIME26 与 SWE-bench Verified 上达到 SOTA 3️⃣ 专为高级编程、复杂推理与大规模智能体工作流而打造 4️⃣ 万亿参数能力,即时模型延迟 Cookbook:https://docs.sglang.io/cookbook/autoregressive/InclusionAI/Ling-2.6

    推荐理由:万亿参数做到即时延迟和4倍成本优势,还有SWE-bench SOTA,这份承诺如果兑现,会改变大规模Agent部署的性价比计算。值得去cookbook跑一下验证。

  4. Dwarkesh Patel:Podcast & Blog(RSS)55

    Reiner Pope – 大语言模型训练与服务的数学原理

    文章揭示了支撑大语言模型(如GPT、Claude、LLaMA)训练与服务的核心数学框架。通过剖析关键方程,可以逆向推导出顶尖AI实验室在模型规模扩展、计算资源分配及服务优化方面的核心策略与实践。这些数学原理不仅解释了模型性能随参数和数据量增长的规律,也量化了训练成本与推理效率之间的权衡,为理解当前大语言模型的发展路径提供了底层逻辑。

    推荐理由:Reiner Pope 把训模型背后的数学摊开讲,听完能反推出大厂在做什么,做训练的人不可多得的一课。

  5. Tomer Tunguz 博客(VC 分析)57

    AI推理市场的专业化分化

    AI推理市场正快速分化,各模态如文本、图像、视频和音频发展出独立推理技术栈。自ChatGPT发布后,NVIDIA数据中心收入三年内增长17倍,凸显市场爆发。分化根本原因在于工作负载差异:图像视频生成需高计算力,长上下文消耗更多内存,边缘设备则受功耗限制。市场按延迟分为实时、近实时和批量三层;按模态分为文本、图像视频音频;按部署分为云端和边缘。Hugging Face上已有超9万个图像生成模型,整个AI推理市场规模预计约1000亿美元,这种专业化趋势正为各细分领域创造领导者机会。

    推荐理由:Tomer 把推理市场跟数据库市场做类比,碎片化的逻辑讲得很透,做 AI 基础设施的朋友能直接用来梳理自己的赛道,普通人知道这么回事就行。

4月29日周三
  1. Ant Ling71

    AntLingAGI正式开源其万亿参数旗舰模型Ling-2.6-1T。该模型采用总参数1万亿、激活参数630亿的架构,核心设计理念是“令牌高效”,旨在以极低的令牌开销实现顶尖智能。它通过“快速思考”机制优化,具备可靠的多步骤执行能力,在指令遵循、工具使用和上下文控制方面表现优异。模型为实际生产需求优化,部署便捷,兼容广泛的智能体框架,适用于从代码生成到错误修复等多种任务。

    引用Ant Ling@AntLingAGI

    🚀 今天,我们推出 Ling-2.6-1T,一款专为精确执行指令任务而设计的万亿参数旗舰模型。通过优先采用“快速思考”机制,它以超低 token 开销实现 SOTA 智能,让 token 效率成为一等公民。

    推荐理由:蚂蚁把万亿参数模型开源了,但强调的不是大,而是省 token,这对成本敏感的生产环境是真正的性价比之选,做 agent 的可以上手测测。

  2. Xiaomi MiMo60

    小米MiMo-V2.5-Pro模型在最新Arena排行榜中表现卓越。在Text Arena(Expert)榜单中,它位列全球第六,同时是开源模型与中文模型的双料第一,其所属实验室全球排名第三。该模型在Text Arena(Overall)总榜中排名开源全球第二,在Code Arena(WebDev)前端开发榜单中位列开源全球第三。此外,它在Text Arena的四个关键子类别(Hard Prompts、英文Hard Prompts、指令遵循与长查询)中均获得开源全球第一。这些成绩均基于真实用户偏好与社区盲投评估,体现了模型在复杂任务上的强大综合能力。

    推荐理由:小米MiMo-V2.5-Pro冲到Arena开源第一,虽然排名更新晚了几天,但这是国产模型在硬核评测里最好的成绩,做选型的现在该认真看看小米。

  3. Qwen60

    FlashQLA是基于TileLang构建的高性能线性注意力内核,专为个人设备上的智能体AI设计。其核心创新包括门控驱动的自动片内计算并行、硬件友好的代数重构以及TileLang融合的Warp专用内核,通过提升流处理器利用率,在前向传播上实现2-3倍加速,反向传播实现2倍加速。该技术在小模型、长上下文工作负载和张量并行设置中效果显著,虽然在大批次处理时内存I/O开销略高,但在边缘设备和长上下文场景中实际性能更优。反向传播通过16级Warp专用流水线在严格片上内存限制下实现了核心级加速。相关资源已开源。

    推荐理由:2 倍加速的背后是 Warp 特化流水线和自动 Copy 策略,像给手机 GPU 开了条专用跑道,做端侧 Agent 的可以直接拉代码试试。