斯坦福大学法学院研究：人工智能的表现优于法学教授

斯坦福法学院教授Julian Nyarko领衔的一项开创性研究显示，法学教授们压倒性地更青睐 AI 生成的学生问题回答，而非同行教师撰写的回答——这一发现可能重塑法律教育的交付方式。

这项名为“法学教授更青睐 AI 而非同行回答”的研究，以美国各法学院的 16 位法学教授为对象，测试了大语言模型能否作为合同法课程的有效辅导者。在对近 3000 组匿名比较的盲评中，教授们对 AI 回答的评分显著高于其他教授撰写的回答，AI 在一对一对比中胜出率达 75%。

“这项研究挑战了关于 AI 在法律教育中角色的重要假设，”Nyarko 说道，他领导着斯坦福法学院的前沿技术法律创新实验室，简称 liftlab。他与来自耶鲁、纽约大学、芝加哥大学及其他顶尖机构的同事合著了这篇论文。“我们之所以聚焦法律，恰恰是因为它需要判断力、细致的推理以及驾驭模糊性的能力——而不仅仅是事实记忆。”

大语言模型能推理吗？

这项研究尤其值得注意，因为此前的 AI 评估主要聚焦于有明确对错答案的学科。相比之下，法律推理要求对相互竞争的论点进行细致分析，并得出站得住脚的结论。

“坦率地说，我们对结果的显著程度感到惊讶，”Nyarko 补充道。“这些并非只是答案显而易见的简单问题。其中许多问题需要综合复杂的材料，将其应用于新的情境，并以有助于学生培养自身分析能力的方式来解释法律概念。”

参与者创建了 40 个具有代表性的合同法问题，这些问题可能是学生在课后或办公时间会提出的，他们写下了自己的答案，然后在不知道回答来自 AI 还是其他参与教授的情况下对回答进行评估。在本研究中，AI 系统的表现与最优秀的人类教师相当。

也许最引人注目的是：教授们仅在 3.5% 的情况下将 AI 的回答标记为在教学上有害，而同行撰写的回答这一比例为 12%。

“在大多数测试 AI 的领域里，都存在一个正确答案。在法律领域，往往没有。”合著者、耶鲁法学院教授 Sarath Sanga 说。“两种对立的论点都可以是好的。我们想知道的是，AI 能否达到律师用来评估彼此论点的那种隐含的专业标准。在这个案例中，答案是肯定的。”

研究团队采取了大量预防措施以确保研究的有效性。他们校准 AI 回答，使其在长度和结构上与人类回答相匹配，使用了多种评估方法，并让教授们评估回答是否可能误导或困惑学生。

变革法律教育

“我们设计这项研究时力求尽可能严谨，因为事关重大，”Nyarko 解释道。“法学教育关乎培养未来的律师，使他们具备批判性思考、有说服力地论辩以及应对伦理复杂性的能力。我们的研究在探究 AI 能否支持这一使命方面迈出了重要步伐。”

Alejandro Salinas是该研究的第一作者，也是 Nyarko 的 liftlab 的研究员，他强调了这项研究在教育方面的意义：“我们的研究将注意力转向 AI 辅导能够为法律这类高度依赖判断力的领域的学习带来什么贡献。我们发现，在法律教育工作者进行评估时，AI 辅导能够提供高质量、按需的支持，补充课堂教学，并可能拓宽获得专家指导的渠道。”

该研究还考察了具体的 AI 模型，包括商业辅导系统和 Google 的 NotebookLM，发现其表现参差不齐。然而，即便上下文限制影响了 AI 的回答，教授们仍然经常更青睐这些回答，而非人类撰写的替代方案。

这些发现出炉之际，全国各地的法学院正努力将 AI 工具融入法学教育，同时维持严格的学术标准。一些院校已欣然接受 AI 实验，另一些则对潜在风险保持谨慎，包括模型幻觉、过度依赖以及批判性思维能力的退化。

“我们的研究评估的是 AI 工具所给答案的质量。但如何部署这些工具才能最有效地提升学生学习，仍是一个悬而未决的问题。因此我们并不主张全盘采用 AI 辅导老师，”Nyarko 提醒道。“但我们的数据表明，一概持怀疑态度或许同样缺乏依据。讨论的重心应当从 AI 能否给出准确、高质量的回答，转向我们如何负责任地部署它，以造福我们的学生。”

关于 liftlab

liftlab 是法律 AI 领域首批将研究、原型开发与行业实时协作结合起来的学术尝试之一。其使命是利用 AI 及其他前沿技术，扩大私营部门获得高质量法律服务的渠道。为弥合理论与实践之间的鸿沟，liftlab 的工作不止于概念构想，还涵盖原型的构建，以帮助探索基于 AI 的解决方案的实用价值。

关于斯坦福法学院

斯坦福法学院是全球领先的法律学术与教育机构之一。其校友是法律、政治、商业和高科技领域最具影响力的决策者之列。学院教师曾在最高法院出庭辩论、在国会作证，产出杰出的法律学术成果与实证分析，并经常作为法律与政策专家为全国媒体撰稿。斯坦福法学院树立了一种法律教育模式，提供严谨的跨学科训练、实践经验、全球视野以及对公共服务的关注。