斯坦福 HAI 发布 MedHELM、PhysicianBench 与 HealthAdminBench，测出医疗 AI Agent 实际完成率不足一半

衡量医疗 AI 实际能做什么

日期

2026 年 10 月 19 日

主题

在三年多的时间里，我们为医疗 AI 构建了难度逐步提升、越来越贴近现实的基准测试。以下是我们得到的经验。

大型语言模型如今在医师资格考试中几乎拿到满分，这激发了人们对 AI 在医疗健康领域潜力的热情。但在一场多项选择题考试中拿高分，和在医疗系统中工作，是完全不同的两回事。资格考试要求你给出正确答案。而医疗系统要求你打开病历、找到两年前的超声心动图、将其与今早的化验结果核对、决定该怎么做、下达医嘱，并写好病历记录。前者考查知识。后者考查你能否跨越时间、文档和软件系统完成许多任务。如果我们想知道 AI 在临床上是否有用，就必须用实际处理的任务来评估它。

正是这种区别，推动了我们三年多来为医疗 AI 构建难度逐步提升、越来越贴近现实的基准测试的工作。我们从 MedHELM 开始，这是一项系统性工作，旨在梳理临床任务的全貌，并衡量当今最好的模型在这些任务上的表现。随后我们通过 PhysicianBench 进一步深入，它测试 AI 智能体能否在可运行的电子健康记录环境中端到端完成真实的临床任务；还有 HealthAdminBench，它探索行政管理和工作流程。

这些基准测试讲述了同一个故事：当今最好的 AI 智能体完成的工作不到一半。智能体在跨步骤、文档和系统移动时会丢失信息。

在本文中，我们解释我们如何构建这些测试、发现了什么，以及要弥合 AI 声称能做的事与实际所做的事之间的差距需要付出什么。

MedHELM：梳理整个工作

2023 年，在 MedAlign 中，15 位临床医生编写了 983 个他们会向患者病历提出的问题。当时最好的模型 GPT-4 在其 35% 的回复中产生了错误，这促使我们在 2024 年初构建了 MedHELM。

MedHELM 是我们尝试系统性地开展基于任务的评估的成果。我们从需要完成的工作或任务出发，再围绕这些任务设计测试。在 29 位临床医生的参与下，我们构建了一个分类体系，包含 5 个类别、22 个子类别和 121 项任务，反映了医疗照护提供中常见的工作。这些类别包括临床决策支持、临床记录生成、患者沟通与教育、医学研究辅助，以及行政与工作流（图 1）。

图 1：MedHELM 分类体系包含 5 个主要类别、22 个子类别和 121 项任务。图来自 Bedi, S., Cui, H., Fuentes, M. et al. Nat Med 32, 943–951 (2026)。

我们汇集了 37 个基准数据集，覆盖每个子类别，并针对这些基准评估了九个前沿模型的性能。我们使用 LLM 评审团依据临床医生定义的标准进行评分，确保评审团与临床医生的一致程度达到临床医生彼此之间的一致水平。我们考察“胜率”，即在所有基准的成对比较中，每个模型取得更优表现的比例（可能范围：0–1）。结果显示，LLM 模型在排名前五的类别中的最高和最低胜率分别为：

临床记录生成：0.74 至 0.85
患者沟通与教育：0.76 至 0.89
医学研究辅助：0.65 至 0.75
临床决策支持：0.63 至 0.77
行政与工作流：0.53 至 0.63

模型在临床决策支持以及行政与工作流任务上始终表现不佳，而这恰恰是医疗系统最希望获得帮助、以缓解临床医生时间压力和行政成本的领域。仅美国的行政支出每年就超过 1 万亿美元。潜在回报最大的类别得分却最低。

任务是工作流

MedHELM 基准评测的是单次回复：输入一个提示，输出文本，然后对文本评分。两个薄弱类别中的真实任务很少是这个样子。

事先授权就是一个很好的例子。有人要在 EHR（电子健康记录）中读取医嘱，核对支付方的标准，调取支持性文档，填写门户表单，附加文件，提交，并在病历中记录参考编号。专科会诊也是同样的形态：跨多次就诊检索数据，对其推理，开具医嘱，并记录。对模型在第 3 步会生成的文本进行评分，完全无法说明第 7 步是否会发生。

对于这些重要类别，我们需要一种不同的评估方式。给智能体一个环境、一个目标和一些工具。让它行动。然后检查环境中发生了什么变化。这正是 PhysicianBench（探索临床决策支持与执行）和 HealthAdminBench（探索行政与工作流）背后的设计思路。

机器学习风险预测鸿沟代表了模型做出良好预测与模型改变患者结局之间的巨大差距。这些基准凸显了生成式 AI 鸿沟，即模型所说与模型实际能做之间的巨大差距。

PhysicianBench 与 MedAgentBench：AI 智能体能完成临床工作吗？

MedAgentBench 建立了 300 个患者特定的临床衍生任务，涵盖 10 个类别，由人类医生编写。这些任务基于虚拟电子健康记录计算环境中 100 名患者的真实档案。当该基准于 2025 年初发布时，即使是最好的前沿模型也仅能完成不到 70% 的任务。到 2026 年，智能体技术的进步使得前沿模型的任务完成率超过 90%。

PhysicianBench 进一步拓展前沿，包含 100 个长周期、多步骤任务，改编自初级保健医生与专科医生之间的真实医疗咨询，覆盖 21 个专科。一个独立的医生小组独立审查了每个任务。这些任务在 EHR 沙盒中针对合成重建的患者记录进行尝试。一个平均的多步骤任务需要 27 次工具调用。

总体而言，评估任务结果共产生 670 项检查，涵盖数据检索、临床推理、操作执行和文档记录。评分基于执行结果：任务特定脚本检查记录中是否存在正确的医嘱，并对推理和笔记进行 LLM 评判。

在 12 个模型中，表现最好的（GPT-5.5）在单次尝试中完成了 46% 的任务。最好的开源模型 DeepSeek V4-Pro 达到了 19%。一致性更差：GPT-5.5 在其全部三次运行中仅正确执行了 28% 的任务。

失败分析给了我们更多洞察，临床推理中仍然存在局限性，约占失败检查点的一半。错误主要是推理不完整和接近正确，而完全错误的结论很少见。此外，还有一种过去任何基准都无法捕捉的失败。在操作执行失败中，GPT-5.5 的 62% 和 Claude Opus 4.6 的 73% 是智能体在笔记中写下了正确的操作，却从未在 EHR 中下达医嘱。AI 生成了文笔优美的文字，形成了良好的计划，但从未真正完成工作。

HealthAdminBench：AI 智能体能做非临床工作吗？

HealthAdminBench 针对医疗系统的大部分工作和人员配置：每次患者就诊背后发生的计费、授权和行政工作。幕后行政人员的数量正在快速增长，可能已经以 10:1 的比例超过一线临床医生。我们花了 100 多个小时观察斯坦福医疗保健的行政人员，以构建四个模拟网络环境：一个 EHR、两个付款方门户和一个传真系统。AI 智能体能够像人一样通过截图、点击和打字来操作它们。

共有 135 个任务，涵盖三个工作流程（60 个预先授权、60 个申诉和拒绝、15 个耐用医疗设备订单），分为三个难度级别，由执业行政人员设计。每个任务分解为子任务，1,698 个验证器对其进行评分：1,177 项确定性检查和 521 项 LLM 评判标准。所有患者数据均为合成数据，使我们能够发布这些环境并运行公开排行榜。

当时测试的最佳智能体 Claude Opus 4.6 在其原生计算机使用模式下，端到端完成了 36.3% 的任务。最佳开放权重模型 Kimi K2.5 完成了 15.6%。

一个关键区别在于，计算机使用模式下的 GPT-5.4 通过了 82.8% 的单个子任务，但只完成了 26.7% 的完整任务。在各个环节上的能力并不能累加为整个工作流程中的可靠性。填好一张表格，然后把它发到错误的地址，这不算数。患者不会因为完成了文书工作却开错了药而给予部分分数。

在这里，失败是协调失败。智能体在 EHR 中收集了它们很久之后在付款方门户中才需要的信息，却没有把它记录下来，结果丢失了。即使任务需要，它们也会漏掉文件上传和下载。它们很少回头修正先前的步骤，反而把预算耗尽。

综合解读这些基准

这些基准做出了互补的押注。PhysicianBench 优先关注基于真实临床记录的、面向临床医生流程的保真度。HealthAdminBench 优先关注在医疗系统中大量行政流程上对人类工作流程的复现。

一个管理 AI 采用的医疗系统需要这两类应用，并以发布（合成）数据、公开代码和排行榜为标志，提供可复现性和透明度的证据。

PhysicianBench 中 46% 任务完成率这一头条表现，不能与 HealthAdminBench 中 36% 的任务完成率直接比较。环境、模型集合、界面和评分方案都不同。可以站得住脚的说法是方向性的：两个独立构建、以执行为基础的基准，一个面向临床、一个面向行政，都发现当今最好的智能体完成的工作不到一半。在两者中，主要失败都来自未能跨就诊、文档和系统传递信息，这指向智能体架构和记忆（即更好的 harness），至少与更大的模型同等重要，是解决办法。

这两个基准都可追溯到 MedHELM 发现表现最弱的那些类别。MedHELM（www.medhelm.org）由社区所有，并以 Apache 2.0 许可证发布，而开放框架的意义就在于其他人可以贡献特定类别的工作流程级基准。事实上，我们正在贡献 HealthAdminBench 和 PhysicianBench。如果你的医疗系统有一个重要的工作流程，并且有一个基准来测试它，我们邀请你将其贡献给 MedHELM。

链接已复制到剪贴板！

贡献者