诉讼：男子使用Grok制作7000张继女色情图像后自杀

在据称由 Grok 生成儿童性图像的最骇人案件之一中，相关方在周二扩大了一起拟议集体诉讼。如今，年幼女孩们不仅指控 X 和 xAI 构建了有毒的 AI“脱衣”工具，还指控它们通过阻碍警方对 Grok 生成的儿童性虐待材料（CSAM）的调查来庇护儿童性侵者。

据修订后的起诉书称，今年 3 月，一名女孩的继父在警方发现他使用 Grok，仅凭一张继女 11 岁时拍摄的照片就生成了 7,000 张露骨性图像后，结束了自己的生命。

起诉书称，Grok 允许该男子生成描绘乱伦和强奸的极端图像，却没有对任何有害行为发出警示。看起来，xAI 的儿童安全系统只在该男子输入“轮奸”提示词后才介入。该请求向美国国家失踪与受虐儿童中心（NCMEC）发送了一份 CyberTip，后者随即提醒执法部门注意这些 AI 生成的 CSAM。

然而，伤害当时也并未被阻止。起诉书指控称，尽管在 CSAM 被标记时有强制报告要求，须分享用户 IP 地址等信息，但 xAI 却一再拒绝帮助警方或 NCMEC 识别该用户。据称，数周以来，xAI“在每一个环节都阻碍这项调查”，并使“执法部门定位、识别和抓捕犯罪者的努力”变得更加困难。

最终，警方取得搜查令扣押其设备后，这名继父被逮捕。正是在那时，“法医审查发现了大约 7,000 张 AI 生成的图像和视频”，内容描绘的是他的继女，据称这些是用 Grok 制作的。如果不是 Grok 让用户能够轻易获得“脱衣”功能，他的家人怀疑他根本不会生成这些有害图像——据称他在网上贩卖这些图像，以换取“其他儿童性掠夺者制作的 CSAM”。

起诉书称，这名男子获保释两天后开枪自杀，使这名在起诉书中被称为 Jane Doe 4 的幼女陷入“极度个人危机的时期”。在所受伤害中，她现在患有焦虑和抑郁，并且“与自杀念头作斗争”。

诉讼称：“一夜之间，Jane Doe 4 的整个现实被儿童性剥削和自杀这双重悲剧击碎。”“她的家庭被撕裂，她的生活变成了一场噩梦。”

xAI 被指庇护掠夺者

在一份新闻稿中，这些女孩在 Lieff Cabraser Heimann & Bernstein 和 Baehr-Jones Law 的法律团队表示，Jane Doe 4 的案件并非孤例。他们指出，NCMEC 在 2026 年初发现，xAI 提交的 CyberTipline 报告中，90% “对执法部门而言无法采取行动，因为 xAI 拒绝提供可让执法部门追踪和定位施害者的用户信息”。正如律师们所解释的：

“Jane Doe 4 的案例显示了这种模式是如何上演的：xAI 向 NCMEC 提交的强制报告只包含了最初那张并非 CSAM 的照片，遗漏了每一张由 AI 生成的 CSAM 图像，也没有包含这些图像被创建时所在的 IP 地址。尽管调查人员反复索要这一对识别和逮捕施害者至关重要的位置信息，xAI 却未作回应，导致调查停滞了数周。”

据称，xAI 避免分享这些信息，是为了将利润置于儿童安全之上。在新闻稿中，Jane Doe 4 指控 X 在 Grok 把“一张我小时候睡在沙发上、穿着一件超大熊猫睡衣衬衫的照片”变成“数千张我的露骨色情图像——这些图像之恐怖，我甚至无法开始描述”之后，便陷入了“沉默”。

“他们拥有帮助执法部门阻止责任人并实现正义所需的一切。可他们却保持沉默，任由这个人利用 Grok 偷走我的童年，”Jane Doe 4 说。“这项技术是一件免费、易于获取的武器，被交到了世界上最恶劣的人手中。真正危险的是，根本无法阻止一个掠食者拿任何一张照片——不只是互联网上的照片——而是任何一张儿童的照片，利用这项技术制造出你最可怕噩梦中的画面。没有人是安全的——成年人不是，儿童不是，任何人都不是。”

周二站出来的另一名女孩 Jane Doe 5，同样被一名熟人盯上，那是一位成年家庭朋友，他也以类似方式在网上传播据称由 Grok 生成的图像。那名女孩直到警方逮捕施害者并指控他“大量持有和传播 CSAM 内容”后才得到通知，而诉状称，这些内容“仅限于非 AI 生成的 CSAM”。

她的母亲将 Jane Doe 5 遭受的侵害归咎于 xAI，称正是因为 Grok，“我的女儿充满了焦虑，对于谁看过这些图片感到完全无法掌控。任何孩子都不应该经历这种事。”

xAI 创始人 Elon Musk 否认 Grok 曾被用于生成儿童性图像。

然而，研究人员估计，Grok 宽松的防护措施——允许用户发出“火辣”请求来脱去图片中人物的衣物——已经伤害了数以万计的儿童，却没有受到有意义的干预。迄今为止，xAI 唯一的行动就是对该功能收费，而诉状指控称，这恰恰确保了 xAI 从所有 Grok 生成的 CSAM 中获利。

X 和 xAI 未回应 Ars 的置评请求。

Stability AI 被卷入 xAI 之争

除了在诉状中增加更多受害者外，律师还将 Stability AI 列为被告。

根据修订后的诉状，Stability AI 的开放权重模型是在 CSAM 上训练的，并据称“充当第三方‘脱衣’应用的基础”，而 Grok 用户据称依赖这些应用来进一步修改 Grok 生成的露骨内容。

与 X 和 xAI 一样，Stability AI 被指控故意放宽防护措施，通过允许生成不适宜工作场所（NSFW）内容来抢占市场。诉讼称，“基于信息和信念”，在 Stability AI 的模型因用户抱怨其过于保守而导致使用量下降后，此前阻止 NSFW 输出的防护措施被移除。

看来在诉讼最初提起后，警方发现，起诉方中针对未成年人的两名施害者手机上的应用依赖于“Stability AI 的图像生成工具”。因此，起诉书被修订，指称部分施害者可能使用了 Grok 或与 Stability AI 相关的工具，或两者兼有。

由于如此多的脱衣应用依赖 Stability AI 的模型，诉讼称，“如果没有 Stability 的模型，这些衍生应用就不会以当前形式存在，也不会具备能够生成 CSAM 的图像和视频生成能力。”为支持其主张，修订后的起诉书引用了 6 月的一份报告，其中研究人员发现，“Stable Diffusion 系列是网络上基于图像的脱衣内容的主要驱动因素”，占此类图像的 42.7%。

周三晚些时候，Stability AI 的一位发言人回应了 Ars 的置评请求，强调“Stability AI 致力于防止 AI 技术被滥用，尤其是在创建和传播有害内容方面，包括 CSAM，这在我们可接受使用政策中被明确禁止。”

发言人援引了 Stability AI 在儿童安全方面的工作，包括“定期”与执法部门合作，以及与儿童安全组织合作，其中包括 Thorn，还有一个由科技公司组成的、打击儿童性剥削的全球联盟——Tech Coalition。

“任何暗示安全并非我们首要任务的言论都是完全错误的，”Stability AI 的发言人说。“我们认真对待自己的道德责任，并且自 2022 年底接管 Stable Diffusion 系列模型（Stable Diffusion 2 及之后版本）的独家开发以来，已经实施了强有力的防护措施，以提升我们的安全标准，保护我们的产品免遭滥用。”

数千名受害者可能加入诉讼

由于 Stability AI 已被追加为被告，该诉讼目前寻求覆盖两个类别，每家公司各一个类别，并且每个类别还设有田纳西州子类别。

xAI 集体诉讼涵盖所有美国公民，其“自己未成年时期的真实图像”被使用 Grok 篡改，“以生成带有其面部和/或其他可合理识别特征、涉及性露骨行为或内容的图像或视频”。而 Stability AI 集体诉讼则涵盖以类似方式受到伤害的美国公民，所使用的是“一款基于 Stability AI 模型构建的应用”。

律师估计，可能有数千名未成年人有资格加入这些集体诉讼，他们并继续寻找受 AI CSAM 伤害的受害者。

NCMEC 未回应 Ars 的置评请求。

然而，该组织呼吁平台、立法者、儿童安全组织和执法部门携手合作，以应对“日益紧迫的协调行动需求”。

今年 3 月，NCMEC 警告称，2025 年“与生成式 AI（GAI）相关的举报”出现了“急剧上升”。据 NCMEC 称，去年提交了超过 150 万份 CyberTipline 举报，“表明其与 GAI 和儿童性剥削存在关联”。令人不安的是，在超过 133,000 起案件中，NCMEC“缺乏足够信息来确定该技术是如何被使用的”。

该报告并未点名 X 或 xAI，但确实暗示，AI 公司普遍倾向于避免分享警方可用于实施逮捕的 AI CSAM 相关信息。另一个例子是，NCMEC 指出，Amazon AI 服务提交了绝大多数举报（110 万份），而这些举报中没有任何一份提供了执法部门可用于识别施害者的“可采取行动的信息”。

随着外界对 AI 公司给儿童造成伤害的审视日益加剧，倡导者希望各公司能微调模型，以屏蔽一切裸露内容。起诉 X 的女孩们声称，这是唯一的补救办法，“因为如果你的模型允许任何性内容或虐待性内容，就不可能阻止该模型生成涉及未成年人的此类内容。”

在新闻稿中，代表未成年人的一名律师 Annika K. Martin 抨击 xAI 和 Stability AI，指控它们明知故犯地构建“能够生成深度伪造 CSAM”的模型，“完全无视它们明知会随之而来的毁灭性后果”。

“AI 生成的 CSAM 是危害社会的祸害，波及每一个社区和每一类人群，”Martin 表示。“其危害规模令人震惊，那些产品为此提供便利的公司必须被追究责任。”

本文于 7 月 8 日更新，加入了 Stability AI 的评论。