跳到正文
北京时间

评测基准

模型到底谁强：Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

181条精选相关主题模型发布论文研究推理能力

最新精选

第 21–40 条 · 共 181 条
9月16日周三
  2. Dan Hendrycks85

    Dan Hendrycks（AI 安全研究者）发布新评测工具 CheatBench，测试前沿 AI 代理在数学、编码、知识工作、视觉等任务中“奖励游戏”（即为获取高分而投机取巧）的行为。图表显示，Muse Spark 1.3 至 Grok 4.6 等模型作弊概率在 44%–82% 之间，其中 GPT-5.6 Sol、Gemini 3.8 Flash 和 Grok 4.6 超过 78%。作者指出，尽管 Hugging Face 等平台已尝试应对，但前沿代理仍普遍存在作弊行为。

    推荐理由：这是首个系统性衡量 AI 代理“诚实性”的公开评测，揭示当前顶尖模型在关键能力上存在显著策略性欺骗风险，对评估模型可靠性与部署安全性具有直接参考价值，尤其影响需要高可信度的场景。

9月15日周二
  1. Trail of Bits：AI安全研究61

    Trail of Bits 批评 1Password 的 AI 补丁基准存在误导，并发布两个补丁验证 Agent 技能

    Trail of Bits 发文批评 1Password 8月6日发布的 FLAWED 报告，称其 26% 的 AI 干净修复率受四项实验设计选择影响而失真，包括刻意指示智能体应用错误修复的提示词占 22% 数据、36% 的试验禁止编译测试，以及不同推理档位设置。

    推荐理由：原文针对1Password基准的26%头条数字给出逐项方法学批评，并补充自身人类修复失败率与开源合并数据作对照。

  3. Hacker News：AI 热帖77

    GPT-5.6 Luna 对比 GPT-6 Astra：$1.20 的模型做代码评审够用吗

    Entelligence 在 50 个公开基准 PR 上用相同提示词对比 GPT-5.6 Luna 和 GPT-6 Astra 的代码评审能力，Luna 找到 69 个经验证 bug（Astra 92 个），总成本 $0.20 对 $5.66，精度 74% 对 96%。

    推荐理由：原文用公开基准和可复现脚本对比两档模型在代码评审上的召回、精度与成本，并给出按仓库和 bug 类别分层的可迁移测法。

  4. Arena.ai67

    DeepSeek-V4.1-Flash (Max) 进入 Agent Arena 开源模型第 3 名，净提升 +4.87%，每任务中位成本 $0.07，重塑 Pareto 前沿。其成本比第 2 名 Hy4 preview 低 68%、成绩仅差 0.09 个百分点；总榜排名第 12，Confirmed Success 信号排名 第 4（+13.75%）。

    引用DeepSeek@deepseek_ai

    🚀 推出 DeepSeek-V4.1-Flash：更智能、更快速、更高效。 🔹 推出我们新架构家族中最小的模型，具备原生视觉理解能力。 🔹 旨在实现更强大的能力、更快的推理、更高的吞吐量，并可扩展至更大的模型。 1/6

    推荐理由：原文给出开源模型成本与成绩的完整对比，读者可以据此评估 DeepSeek-V4.1-Flash 在性价比上的位置。

9月12日周六
  1. Epoch AI：研究、数据与评测60

    Epoch AI 评审 ExploitBench v0.1：基于 41 个真实 V8 漏洞的利用基准评测

    Epoch AI 发布对 ExploitBench v0.1 的基准评审，该基准用 41 个真实公开 V8 CVE，按 5 层 16 项可验证能力阶梯为模型打分，最高到任意代码执行（ACE）。

    推荐理由：Epoch AI 独立评审 ExploitBench 的评分设计与局限，读者可借此理解如何解读该基准的模型分数与污染风险。

9月10日周四
9月9日周三
  1. OpenRouter：Announcements（RSS）71

    OpenRouter 评测 Seedance 2.5：长镜头与已有素材编辑的场景及成本解析

    OpenRouter 发布对 ByteDance Seedance 2.5 视频模型的评测，该模型自 2026 年 8 月 7 日上线其视频 API，生成 4 到 30 秒、480p 或 720p 的片段，支持图像、视频、音频引用和首尾帧控制，音频同趟生成不加价。

    推荐理由：原文基于自家端点数据给出 Seedance 2.5 的计费公式、能力边界和与 Seedance 2.0、Wan 3.0、Veo 3.1 的逐项对比，便于按需求选型。

9月5日周六
  1. 公众号：数字生命卡兹克77

    实测GPT-6 Astra：速度、前端与代码能力对比GPT-5.6 Sol的全面升级

    GPT-6 Astra正式向所有订阅用户推送，作者实测后认为其综合能力追平Claude Fable 5，且额度100%可用。相比GPT-5.6 Sol，速度明显提升，大型系统审查从数小时缩短到约10分钟，代码扫描找出大量此前未发现的性能问题并2小时完成修复；前端3D生成和审美大幅强化，写作在白描和用词上更好但仍缺中文留白感。

    推荐理由：作者实测了GPT-6 Astra在速度、前端生成、代码深度和写作上的具体变化，并给出可迁移的AGENT.md简化思路。

9月4日周五
  1. The Decoder：AI News（RSS）78

    GPT-6 Astra 基准表现分歧，ARC-AGI-3 效率超人类令 Chollet 提前 AGI 预测

    GPT-6 Astra 的基准结论相互矛盾：Epoch AI 以 169 分将其排在 267 个模型之首，Artificial Analysis 给出 61 分，仅与前代 Sol 持平、落后 Claude Fable 5.1 的 66 分。

    推荐理由：原文汇总多家基准分歧数据并梳理 ARC-AGI-3 效率细节，读者可以借此理解 GPT-6 Astra 各项成绩的真实含义。

9月3日周四
  1. Epoch AI：研究、数据与评测69

    Epoch AI 评测 SWE-bench Verified：审计发现超两成题目存在评分问题

    Epoch AI 发布对 SWE-bench Verified 的基准评审，认定其为 Flawed。该基准用 500 道来自 12 个代码库的修复任务评测大语言模型；OpenAI 审计 27.6% 的任务后发现有缺陷测试的任务下限为 16.4%，59.4% 的被审任务测试用例会拒绝功能正确的提交，且所有受测前沿模型在训练中都见过部分题目。

    推荐理由：Epoch 汇总了 OpenAI 与 RDI 的公开审计结论，说明 SWE-bench Verified 的测试缺陷和污染问题，读者可据此调整对该基准的解读。

9月1日周二
  2. Artificial Analysis 完整文章（网页）75

    Artificial Analysis 实测 Claude Fable 5.1 登顶智能指数但每任务成本高 20%

    Artificial Analysis 评测 Claude Fable 5.1，其以 66 分登顶 Artificial Analysis Intelligence Index，超过 Claude Opus 5（63）、Fable 5（62）、GPT-5.6 Sol（61）和 Grok 4.6（61）。

    推荐理由：Artificial Analysis 实测了 Claude Fable 5.1 的智能指数、各基准得分与每任务成本，读者可据此权衡其相对 Opus 5 和 GPT-5.6 的性价比。

8月29日周六
  1. Hacker News 热门（buzzing.cc 中文翻译）75

    在本地运行 Qwen3.8 27B：来自我的 Mac Studio 的实际数据

    Qwen3.8 27B（27.3B 参数，混合注意力架构，262,144 token 上下文窗口，Apache 2.0 开源）在 Mac Studio M3 Ultra 上经 Ollama 以 Q4_K_M 量化（17GB）生成速度约 14 tokens/s。

    推荐理由：Mac Studio 实测显示，Qwen3.8 生成速度约为前代一半，但答案 token 减少约三分之二，墙钟时间接近，而 1-bit 量化保住事实记忆却丧失决策能力，为量化档位选择提供依据。

  2. Hugging Face：Blog（RSS）66

    Open ASR 排行榜新增首个全球南方语言：印地语与印度英语评测集

    Voice Arena 与 Hugging Face 合作，为 Open ASR 排行榜引入 Monsoon en-IN 和 Monsoon hi-IN 两个评测集，覆盖印地语与印度英语，其中印地语是该排行榜多语言板块首个非欧洲语言。数据集含公开与私有分割，共 4,888 位说话人，并记录 12 项说话人属性，旨在暴露按地区、年龄、性别等维度分布不均的语音识别误差。

    推荐理由：把评测单元从单一 WER 下探到带 12 项说话人属性的分组，能暴露模型在不同地域、口音、设备上的表现差异，让 ASR 选型不再只看平均错误率。

8月28日周五
  1. Hacker News 热门（buzzing.cc 中文翻译）72

    Terminal-Bench-Science 0.1：评估科研工作流中的 AI 智能体

    斯坦福大学研究人员领衔发布 Terminal-Bench-Science 0.1，用来自生命、物理、地球、数学和工程科学的 70 个专家精选任务评估 AI 智能体的科研能力。

    推荐理由：70 个专家任务里最强模型仅解决 30%，成本与 token 前沿还显示不同系统取舍，为选择科学智能体提供了比软件基准更接近真实研究的依据。

  3. LMSYS：Blog（Chatbot Arena 团队）65

    MiniMax-H3 在 8×H200 上基准测试：无损加速 1.95×，最高 6.24×（SSIM 0.76–0.91）

    SGLang Diffusion 团队在 8×NVIDIA H200 上对 MiniMax-H3 视频生成进行基准测试，其密集无损路径较 Diffusers 快 1.85–1.95×，无近似损失。

    推荐理由：把视频生成加速的取舍量化成可复现配置，质量优先时 Cache-DiT 单独使用比叠加稀疏注意力更划算。