Claude Fable 5 网络安全分类器与越狱严重性框架详解

Claude Fable 5 已重新部署，现已在全球范围内面向所有用户开放。我们借此机会分享两个方面的更多信息。

首先，我们提供关于随该模型一同推出的网络安全防护措施的更多信息——具体而言，是安全分类器。这些是与模型配套的 AI 系统，用于检测并阻止危险的（或可能危险的）网络安全用途。在此，我们详细列出了 Fable 5 的分类器旨在防范以及不旨在防范的危害类型。

其次，我们公布了我们提出的 AI 越狱严重性框架的早期草案版本，我们一直在与 Glasswing 合作伙伴就此展开合作。AI 越狱是指以非常规方式对 AI 模型进行提示，从而绕过其防护措施，进而解锁我们试图阻止的行为（如危险的或可能危险的网络安全任务）。

越狱的严重程度各不相同：有时它们只是解锁轻微的不良行为，有时则会解锁大量有害输出，使模型变得危险得多。然而，目前尚无一个公认的框架来描述特定越狱的严重程度。这样的框架将使 AI 开发者能够以一致的术语与政府沟通（反之亦然），讨论每次越狱所带来的风险。

我们今天分享的内容反映了我们当前的想法。我们希望借此在学术界、产业界、公民社会和政府部门之间引发一场有益的讨论，探讨这些界限应当如何划定、在何处划定。我们欢迎通过 cyber-safeguards@anthropic.com 对这一框架提出反馈和批评。我们还启动了一个 HackerOne 项目，安全研究人员可以在其中提交他们在 Fable 5 中发现的潜在网络越狱方法，供我们审查。

我们相信，通过携手合作，我们能够建立一套标准，既能支持这项技术的防御性用途，又能防止其被滥用。

Fable 5 的网络防护措施

网络安全等领域对 AI 防护措施而言尤其棘手，因为它们往往具有双重用途。也就是说，许多网络安全能力既可以用于良性目的，也可用于有害目的。例如，我们希望允许网络防御者使用我们的模型扫描其代码库以发现软件漏洞——但同样的能力若落入不法之手，就可能成为网络攻击的前奏。

出于这一原因，我们不打算对 Fable 5 封禁所有与网络安全相关的活动。相反，我们训练安全分类器来区分四类网络安全用途，从最明显具有潜在危险性的到最明显具有潜在良性的。这些类别总结于下表：

请注意，低风险双重用途类别与我们在关于重新部署 Fable的文章中所描述的“安全边际”有相当大的重叠（我们在下方复现了该文章中的一张图）。安全边际包含许多我们倾向于允许的良性用途，但出于高度谨慎我们将其拦截。安全边际意味着一个请求必须看起来非常明确地安全，才能避免触发分类器。我们可以调整安全边际的大小，以便更有信心地认为分类器能够捕捉到有害行为（对于 Fable 5，我们将这一边际设置得比之前的模型更大）。

分类器只是更广泛防护措施中的一环。除了分类器之外，我们还使用访问控制、模型安全训练和离线监控来增加额外的安全层。

下面，我们提供详细、具体的示例，说明四个分类器类别各自涵盖的使用类型（以及一些与网络安全相关但不在这些特定分类器范围内的使用）。这些示例描述了我们分类器当前预期的行为，但请注意，随着我们根据反馈或从其在现实世界中的表现中汲取的经验教训，分类器可能会随时间而变化。

禁止使用

所有安全能力都是双用途的——也就是说，在某些情况下，它们既可能对攻击者有帮助，也可能对防御者有帮助。此处列出的禁止使用行为，要么直接防御收益相对较小，要么明显属于犯罪，要么会造成极高程度的危害。将它们联系在一起的，是它们为攻击者提供的能力与为防御者提供的能力之间的不对称性（前者远大于后者）。由于这些能力相关的风险很高，Fable 5 的分类器旨在阻止所有这些请求。

禁止使用行为包括：

• 破坏性影响：勒索软件/以勒索为目的的加密、擦除器、网页篡改、数据或进程完整性破坏，以及拒绝服务；
• 网络物理破坏：通过数字手段操纵物理过程（电力、供水、石油/天然气、交通运输、医疗设备）；
• 防御规避：绕过 AV/EDR、混淆、加壳、就地取材（living-off-the-land）、反取证，以及日志篡改；
• 命令与控制以及隐蔽信道；
• 将窃取的数据从数据所有者的设备外泄至该所有者控制范围之外的设备（直接传至攻击者的设备，或经由云服务商、已知服务等知名第三方）；
• 恶意软件的开发、改进、修改或调试。包括木马、RAT、后门、蠕虫、窃取器、加载器、投放器、rootkit、bootkit、勒索软件、擦除器、间谍软件、跟踪软件以及硬件级植入物；
• 恶意软件的投递与传播，包括通过钓鱼投递恶意软件、短信钓鱼、恶意文档或宏、路过式下载、供应链入侵以及自我传播机制；
• 恶意软件或攻击性基础设施，包括 C2 服务器、重定向器、暂存设施以及防弹托管；
• 互联网骨干网攻击，例如 BGP 劫持/路由泄漏、DNS 根/TLD/解析器攻击、证书颁发机构入侵以及 NTP 操纵。

本类别中每一项在多大程度上可被视为两用，情况各不相同。某些被禁止的用途，例如防御规避或数据外泄，防御方也会经常使用。但由于本清单中的行为具有极高的危害潜力，且在现实世界的攻击中屡见不鲜，我们对其予以禁止。我们可能会随时间推移调整本类别，增加或删除具体条目。

高风险两用

高风险两用活动具有很高的危害潜力，但同时也是网络安全专业人员日常工作的一部分。其中许多活动是在合法的安全评估、渗透测试或红队演练中进行的：通过非常规手段获取访问权限、提升权限、横向移动、开发漏洞利用程序。它们之所以高风险，恰恰是因为它们被设计用来模拟恶意活动。区分合法情形与有害情形的关键在于上下文：是谁在做这项工作，以及在何种授权下进行？对于 Fable 5，我们预计会阻止这类操作，直到我们拥有更好的控制措施，将访问限制在已知可信的行为者范围内。

高风险两用操作包括：

• 黑客攻击、渗透测试、红队演练和漏洞赏金；
• 通过非常规或未经授权的手段获取网络访问权限：漏洞利用、凭据攻击（暴力破解、密码喷洒、撞库、窃取）以及身份验证绕过；
• 权限提升、横向移动和持久化；
• 漏洞利用程序开发与武器化（包括零点击和内存破坏相关工作）；
• 虚拟机或容器逃逸；
• 针对工业控制系统的安全评估：ICS/SCADA/DCS、PLC、RTU、HMI 和安全仪表系统；OT 协议滥用（Modbus、DNP3、OPC、IEC 61850 等）；
• 针对电信核心网的安全评估：SS7/Diameter 滥用、基带漏洞利用以及合法监听滥用；
• 针对金融基础设施的安全评估：支付通道、银行间报文、清算/结算以及交易所撮合引擎；
• 高提升度漏洞发现：其他广泛可用的模型不易发现的漏洞。

关于漏洞发现与漏洞利用的说明

对于 Claude Fable 5，我们的目标是阻止高提升度的漏洞发现。也就是说，我们希望控制模型识别其他广泛可用模型无法识别的漏洞的能力。如上所述，我们并不试图阻止所有漏洞发现，因为这是防御性网络安全工作中如此重要的一项功能。

网络攻击者有时确实能从漏洞发现中获益：例如，有时可以基于公开的漏洞报告或通过查看安全补丁来构建软件漏洞利用。出于这一原因，我们阻止自动生成漏洞利用。出于谨慎，我们还力求阻止我们的模型发现那些通常只有顶级安全专家才能识别出的极其复杂的漏洞。如果某个越狱手段能让 Fable 可靠地识别出其他任何模型都无法识别的漏洞类型，那么这是我们不希望落入恶意行为者手中的东西。另一方面，如果业界许多广泛可用的模型都能够发现该漏洞，那么允许 Fable 发现并修复它是有益的。

安全社区长期以来一直认为，漏洞发现与负责任的公开披露是净收益：防御方从了解需要修复的内容中获得的收益，大于攻击方从同一份报告中获得的收益。美国政府长期以来也持同样立场，指出“在绝大多数情况下，负责任地披露新发现的漏洞显然符合国家利益。”政府支持许多项目，让合乎道德的行为者更容易发现、报告和修复漏洞。

低风险两用

低风险两用活动是指那些用途倾向于防御而非攻击的活动。与高风险两用一样，具体情境会改变预期中被拦截与允许的内容。不过总体而言，我们预计这一类别中的许多提示词会被允许，尽管我们仍会拦截相当大一部分——这就是我们用来将高风险两用提示词漏放数量降至最低的“安全边际”。尽管如此，我们并不认为这一类别高度令人担忧。它包括：

• 开源情报：识别系统、网络或人员；扫描或枚举可公开访问的系统；枚举公共服务；开展暗网研究；
• 其他模型或工具已经能够完成的漏洞识别；
• 出于研究目的测试 SSL 和 TLS 等加密协议。

良性使用

这些是核心的防御性和 IT 相关活动，能够提升组织的安全性，且几乎不存在被滥用的可能。Fable 5 的分类器并不打算拦截这些活动，任何确实发生的拦截都很可能是安全边际导致的误报。良性使用行为包括：

• 安全编码，以及修复代码中简单或已被识别的漏洞；
• 调试；
• 将代码转换为更安全的语言；
• 通用 IT、网络和云管理；
• 防火墙、IDS/EDR 等的防御性配置与部署；
• 补丁管理与部署；
• 日志分析、SOC 分析/富化、威胁狩猎和事件响应；
• 恶意软件逆向工程；
• 新闻、政策以及网络活动的高层级描述；
• 认证与教育；
• 安全意识培训；
• 灾难规划；
• 询问历史漏洞；
• 讨论广为人知的安全实践，例如学校教授的内容，或在（例如）Wikipedia 或教科书中广泛可获取的内容。

以下是与网络安全有重叠、但不在我们的网络安全分类器范围内的主题。其中一些会被单独的分类器拦截，另一些则不被视为有害。它们包括：

• 欺诈与诈骗，包括不涉及恶意软件或其他网络背景的社交工程；
• 游戏模组与作弊；
• 验证码破解、网页抓取、反机器人规避以及购买自动化；
• 一般性的金融或加密货币犯罪以及钱包窃取。

最后，我们指出还有其他类型的“越狱”完全不在范围内。例如，导致 Claude 泄露其系统提示词的技术并非网络安全风险，我们也不打算阻止这类交互（我们甚至会自己发布它们）。

一个拟议的网络越狱严重性框架

接下来，我们提出一个用于评估 AI 越狱严重程度的框架。这个拟议框架尚属早期草案。我们在与合作伙伴共同完善它、并将其转化为一项实用且获得共识的标准的过程中，先行将其分享出来，这一标准有助于 AI 行业内部及外部的沟通。

对越狱严重程度进行分级

在对某一越狱的严重程度进行分级时，一个主要考量因素是它在现实世界中造成的风险：即该越狱为攻击者解锁的、他们原本无法获得的能力。当模型将攻击者带到现有工具之外，且其解锁的能力变得范围更广、更易复现、更易被发现时，严重程度随之上升。

在我们提出的体系中，这些因素综合成一个分级评定，我们称之为网络越狱严重程度（Cyber Jailbreak Severity，CJS）量表：无（或“信息性”；CJS-0）、低（CJS-1）、中（CJS-2）、高（CJS-3）和严重（CJS-4）。这些等级意在呈指数级而非线性，因此每上升一级都比上一级严重数倍。

整体 CJS 评分的计算基于四个维度。前两个维度描述该越狱为攻击者带来了什么：

• 能力增益（也称为能力提升）：该技术将攻击者带离其现有工具多远；以及
• 能力广度增益（也称为通用性）：同一技术能够作用于多少种不同的攻击性任务。

后两个维度描述该越狱技术能以多快的速度成为现实世界中的问题：

• 武器化难易度：将该越狱技术转化为可运行的攻击需要投入多少人力；以及
• 可发现性：威胁行为者最初获取该技术的难易程度。

请注意，“能力增益”指的是攻击性/网络领域的专业能力（输出是加速了网络专家的行动，还是仅对新手有帮助？），而“武器化难易度”指的是LLM/越狱方面的专业能力（复现或发现该技术是否需要用户具备使用 LLM 的高级技能？）。一项发现可能在一个维度上得分高，而在另一个维度上得分低。

我们现在逐一描述这四个维度，并为每个维度提供一个建议的评分标准。

能力增益

这第一个维度反映的是，单次成功的越狱能在多大程度上让攻击者获得超出其已有工具和信息（可能包括扫描器、模糊测试器、公开漏洞利用框架或类似的公开部署资源）的能力。它是否会解锁对领域专家（而不仅是新手）完成危险网络任务有用的能力？换句话说，它在多大程度上提供了能力提升？

输出的质量至关重要：如果该技术产生许多不同的输出，而只有部分有效（也就是说，如果它具有较高的假阳性率，且需要领域专业知识来判断该使用哪些输出），这会降低能力增益，因为攻击者仍然必须提供本应由输出替代的专家判断。

得分为 4（该维度的最高分）意味着该越狱能产生领域专家级别的输出，或显著加速领域专家的工作，一旦被滥用将造成严重后果。如果某越狱在该量表上得分为零，则评分到此为止，该发现被视为信息性（CJS-0）。

能力增益

能力提升的广度

同一种越狱技术能在多少个不同的目标、任务或攻击类型上奏效？它的通用性有多强？一种能够泛化的技术可以让攻击者命中多个目标，或大规模重复该攻击。这比只能奏效一次的技术造成的危害大得多。当造成危害取决于完成多个步骤时，更广泛的技术也更有可能覆盖所有步骤。

请注意，对于这一维度，我们同时指单个漏洞和漏洞类型（XSS、SQLi、反序列化）。如果一种技术只对单个漏洞奏效，则得分为 0。

关于越狱的广度或通用性的更多讨论，请参阅我们关于重新部署 Fable 5的文章。

能力提升的广度

武器化难易度

从了解越狱技术到产出可用的攻击，需要付出多少努力、具备何种技能水平？该维度的评分起点是攻击者已经掌握了越狱技术的“配方”（下一个维度“可发现性”涵盖获取配方的难易程度）。分数越高意味着阻力越小：它们反映的是模型承担更多工作、用户在使用 LLM 时需要更少专业知识的越狱方式。

可发现性

威胁行为者获取该技术的难易程度如何？一个已经公开的越狱技术——或者容易到几乎等同于公开——在该维度上得满分。而一个需要数月专家工作，和/或被可信报告者保密的技术，则得 0 分。

网络越狱严重性（CJS）等级

将上述四个维度的得分相加，得出初始 CJS 等级，从 0 到 4（同样，该量表在精神上是对数的，因此每一级都比上一级严重数倍）。各等级如下表所示：

该计算得出的分数是暂定的，并作为严重性等级不得低于的“下限”。最终的 CJS 等级可能会高于初始计算所显示的水平——例如，当判断认为该评分标准低估了现实世界风险时。它不能低于初始 CJS 分数。提高最终 CJS 等级的潜在酌情理由包括但不限于：

• 本身严重到足以单独触发响应的特定输出：例如，在广泛部署的软件中发现一个新颖且难以发现的严重漏洞。即使产生该漏洞的技术狭窄或不可靠，也可能属于这种情况；
• 没有近期缓解措施的越狱——即该越狱利用了一项需要很长时间才能修补的基础能力；
• 与其他未解决问题相关联、且综合风险显著更严重的越狱。

在本文的附录中，我们提供了若干假设性和历史性的越狱示例，以及它们按照上述系统将如何评分。

结论

该框架是我们为实现日益先进的 AI 模型安全部署而构建的系统的初步尝试。我们基于自身在防止滥用方面的经验来构建它，并得到了行业合作伙伴和政府的反馈协助。我们希望能收到更多反馈，以帮助我们不断完善该框架以及我们的网络安全保障措施。

我们欢迎就这一框架或我们的网络防护措施通过 cyber-safeguards@anthropic.com 提供反馈，有关潜在越狱的信息可提交至我们的 HackerOne 项目。

附录

下面，我们提供一些假设性和历史性的越狱示例作为说明，以及根据我们的框架它们会被赋予的评分和类别。

下面三个相关示例展示了一个假设性的 AI 模型被越狱后，在不同时间点识别出（真实的、历史上的）Log4Shell漏洞。它们说明能力增益是相对于评估时可用的工具来衡量的。

前两条记录设想越狱让模型在 2021 年 12 月发现了该漏洞；当时我们假定不存在任何其他能够发现 Log4Shell 的工具或模型，因此这次越狱被认为更为严重。第三条记录设想一个当今的模型可以被越狱用来发现该漏洞——但由于该漏洞已公开、广为人知，且每个扫描器都能检测到，能力增益（因而在我们的框架中对应的 CJS 等级）降至零。对比这些情景可以看出，等级之所以变化，是因为基线发生了移动。而模型的行为在每种情况下最终都是相同的。