跳到正文
北京时间

评测基准

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

181条精选相关主题模型发布论文研究推理能力

最新精选

第 1–20 条 · 共 181 条
今天9月29日周二
  1. Arena.ai77

    Arena 公布 GPT-6 Luna (Max) 在 Agent Arena 排名第 23,基于 8K 真实智能体会话,净提升 +1.6%,比 GPT-5.6 Luna (xHigh) 上升 6 位。

    引用OpenAI@OpenAI

    欢迎 GPT-6 Sol 和 GPT-6 Luna 加入 GPT-6 宇宙。 GPT-6 Sol 和 Luna 建立在 GPT-6 Astra 背后的技术进展之上,将其大部分优势带入更快、更实惠的模型,以支持大规模工作。 我们还提升了缓存和推理效率,并将节省下来的成本直接让利给你:与 GPT-5.6 促销价格相比,Sol 和 Luna 的 API 价格降低了 50%。

    推荐理由:Arena 用 8K 真实智能体会话数据给出 GPT-6 Luna (Max) 的排名与成本对比,读者可据此权衡其性价比定位。

  2. Arena.ai69

    Arena 宣布 Anthropic 的 Claude Sonnet 5.5 已进入 Agent Arena,并开放投票。Agent Arena 基于全球用户数百万个真实的长程智能体任务评测模型,模型可使用 web search、filesystem 和 terminal 工具完成复杂工作流,榜单用因果追踪方法衡量模型相对平均模型的结果表现。

    引用Claude@claudeai

    隆重推出 Claude Sonnet 5.5,Claude 5.5 家族中的第二个模型。 相比 Sonnet 5 有明显升级,运行速度提升超过 30%,且大多数工作的成本最多降低 30%。

    推荐理由:Arena 介绍了其 Agent Arena 的评测方式,读者可以据此理解 Claude Sonnet 5.5 在真实智能体任务上的衡量口径。

  3. Arena.ai75

    Arena 公布 Claude Opus 5.5 (High) 进入 Agent Arena 排名第 2,净改进分 +12.15%,仅次于 Fable 5.1 (Max)。

    引用Arena.ai@arena

    重磅消息:@AnthropicAI 的 Claude Opus 5.5 (Max) 刚刚在 Code Arena: WebDev 中以 1818 分登顶第一,并重塑了帕累托前沿!这比排名第二的 GPT-6 Astra (Max) 领先了整整 +26 分,相比此前 1692 分的 Opus 5 (Max) 更是大幅提升了 +126 分。 纵观各分类,我们可以看到 Opus 5.5 (Max) 在以下领域均跻身榜首: - 在品牌与营销、基于参考的设计、数据与分析、仿真与游戏领域排名 #1! - 在消费产品领域排名 #2 随着更多投票的涌入,敬请期待更多领域和分类的洞察结果。 恭喜 @AnthropicAI 发布!

    推荐理由:榜单给出了 Claude Opus 5.5 (High) 在 Agent Arena 的排名、价格与分项信号,读者可据此权衡它与 Opus 5 各档的成本与能力变化。

9月28日周一
  1. Berkeley RDI:Blog(AI 安全与评测)75

    UC Berkeley 团队用 AI Agent 审计 13 个基准,发现 45 个无需解题的满分作弊方案

    UC Berkeley 团队构建全自动 AI Agent 审计 13 个广泛使用的基准,发现 45 个作弊方案,全部基准被评为 critical 风险,共归纳 16 种攻击类型。

    推荐理由:原文给出了13个常用基准的45个作弊方案细节和防范设计原则,读者可以据此检查自己依赖的评测是否可信。

9月26日周六
  1. Arena.ai67

    Arena 宣布 OpenAI 的 GPT-6 Sol (Max) 进入 Agent Arena,基于 4K+ 真实智能体会话取得 +7.7% 净改进,排名第 6,中位成本 $0.75/task。

    引用Arena.ai@arena

    GPT-6 Sol(Max)刚刚登陆 Agent Arena,在我们全球用户社区超过 4K 个真实世界智能体会话中,以 +7.7% 的净提升位列第 6! 与 GPT 5.6 Sol(xHigh)相比,此次发布在净提升上提高了 +1.5 个百分点(+7.7% 对 +6.2%),点位排名从第 8 升至第 6,而每 token 价格仅为其一半。从信号来看,GPT-6 Sol 在 Confirmed Success 上表现强劲,以 +11.4% 位列第 4,而 5.6 则以 2.9% 位列第 20。 祝贺 @OpenAI 团队发布 GPT-6 Sol!

    推荐理由:榜单方基于四千多场真实智能体会话给出成本与得分对比,读者可据此权衡 GPT-6 Sol (Max) 在性价比上的位置。

9月24日周四
  1. Arena.ai75

    Arena 公布 OpenAI 的 GPT-6 Sol (Max) 真实投票结果,在 Code Arena: WebDev 榜单以 1689 分排名第 4,价格 $8/M tokens(混合输入/输出)。

    引用OpenAI@OpenAI

    欢迎 GPT-6 Sol 和 GPT-6 Luna 加入 GPT-6 宇宙。 GPT-6 Sol 和 Luna 建立在 GPT-6 Astra 背后的技术进展之上,将其大部分优势带入更快、更实惠的模型,以支持大规模工作。 我们还提升了缓存和推理效率,并将节省下来的成本直接让利给你:与 GPT-5.6 促销价格相比,Sol 和 Luna 的 API 价格降低了 50%。

    推荐理由:原文给出真实投票榜单的排名、价格和多分类变化,可以据此比较 GPT-6 Sol 在性能与成本上的位置。

9月23日周三
  1. METR:Blog(网页)62

    METR 发布 Claude Opus 5.5 部署前评估摘要

    METR 发布对 Claude Opus 5.5 的部署前评估摘要,基于 10 个工作日的 API 能力测试和五个任务(Budget NanoGPT Speedrun、LMCA、Train a Program、Gaming Bot、Sunlight)。

    推荐理由:METR 作为第三方评估方给出了 Claude Opus 5.5 在 AI 研发加速上的量化结论,读者可据此了解部署前评估的证据基础与判断边界。

  2. Artificial Analysis 完整文章(网页)78

    Artificial Analysis 评测 GPT-6 Sol 和 Luna:价格减半但各项表现有升有降

    Artificial Analysis 评测 OpenAI 的 GPT-6 Sol 和 Luna,两模型价格较 GPT-5.6 约减半,Sol 定价 $2/$10、Luna $0.10/$0.50 每百万输入/输出 token。

    推荐理由:Artificial Analysis 用自家指数实测两代模型的成本与表现,读者可据此判断 GPT-6 降价后哪些能力持平或退步。

  3. Arena.ai72

    Arena 宣布 Anthropic 的 Claude Opus 5.5 已进入 Agent Arena,用户可通过投票驱动排行榜。Agent Arena 基于全球用户提交的数百万真实长程智能体任务评测模型,模型可使用网页搜索、文件系统和终端工具,排行榜采用因果追踪方法衡量相对平均模型的结果表现。

    引用Claude@claudeai

    隆重推出 Claude Opus 5.5,这是我们全新的 Claude 5.5 系列中的首个模型。 在大多数任务上,它的表现达到了 Claude Fable 5.1 的水平,而运行成本比 Opus 5 低 40%。

    推荐理由:Arena 官宣 Claude Opus 5.5 上架 Agent Arena 和 Battle Mode,读者可以参与投票影响排行榜结果。

  4. Artificial Analysis 完整文章(网页)82

    Claude Opus 5.5 登顶 Artificial Analysis Intelligence Index

    Artificial Analysis 实测 Claude Opus 5.5 在 Intelligence Index 得分 58,为其测得的最高分,并在 Terminal-Bench 4.0 上与 GPT-6 Astra 打平(59.6%)。

    推荐理由:原文给出 Claude Opus 5.5 在 Intelligence Index 及各分项评测的完整数据和定价变化,读者可据此比较智能与任务成本。

  5. OpenRouter:Announcements(RSS)62

    OpenRouter 实测 Jev 1.13 与 Claude Opus 5 在 Banking77 分类任务上的准确率、延迟与成本

    OpenRouter 用 Banking77 测试集的 3,080 条客服语料对比 Jev 1.13 与 Claude Opus 5 的意图分类表现。Jev 准确率 81.0% 比 Opus 的 84.4% 低 3.3 个百分点,但中位延迟 175 ms 约为 Opus(2,266 ms)的 1/13,每千次请求成本 $0.11 对 $2.42(启用提示词缓存)。

    推荐理由:原文用同一测试流程给出两家模型的准确率、延迟与成本数据,并演示了基于置信度的级联路由方法,便于读者按自身流量权衡选型。

9月22日周二
  1. 公众号:数字生命卡兹克72

    卡兹克实测对比 Grok 4.7 与小米 MiMo V2.6:后者成不可能三角版本答案

    作者实测同日凌晨发布的 Grok 4.7 与小米 MiMo V2.6,认为 Grok 4.7 低于预期,MiMo V2.6 成为性能、价格、速度三角的当前版本答案。

    推荐理由:作者亲手测试并给出价格、速度和基准对比,读者可以据此评估小米 MiMo V2.6 对自身工作流和成本的实际影响。

  2. Artificial Analysis65

    Artificial Analysis 评测阶跃星辰 Step 5 Preview,其在 Artificial Analysis Intelligence Index 得 44 分,与 Kimi K3 (max) 持平,略低于 GLM-5.3 (max) 和 Qwen3.8 Max 的 45 分,每任务成本约 $0.72,约为同级模型(约 $2.00)的 1/2.8。

    推荐理由:Artificial Analysis 实测 Step 5 Preview 的得分、成本与智能体短板,读者可据此对比同分段模型的表现与性价比。

  3. Artificial Analysis 完整文章(网页)68

    Artificial Analysis 评测 Grok 4.7:智能指数 46 分进入前四,编码智能体升至第 4

    Artificial Analysis 发布 Grok 4.7 评测,Grok 4.7(xhigh)智能指数得 46 分,较 Grok 4.6 高 2 分,使 SpaceXAI 进入前四;搭配 Grok Build 的编码智能体指数从 47 升至 56,仅次于 Claude Fable 5.1、GPT-6 Astra 和 Claude Opus 5。

    推荐理由:评测方给出 Grok 4.7 在多项基准的具体分数、token 消耗与对比对象,读者可据此判断其真实水平与成本。

9月18日周五
  1. 公众号:数字生命卡兹克67

    TypeSafe AI 发布只做高频决策的大模型 Jev,作者实测其分类判断性价比

    TypeSafe AI 推出专注高频决策的大模型 Jev,不做对话和文字生成,只输出判断,速度比传统大模型快20~200倍,成本0.042美元/百万Token且输出Token免费。作者实测预筛任务中Jev准确性第二且更便宜,在并行判断任务上达到最高准确率和最快速度;模型采用RLCD训练方法优化决策校准,可在官网 https://typesafe.ai/ 申请资格,Vercel 已首发接入。

    推荐理由:作者用自己的预筛和并行判断任务实测了Jev与多个模型的准确率、速度和成本,读者可以据此判断这类只做决策的模型适合什么场景。