安全研究者披露黑客用 GEO 污染 ChatGPT、Gemini 和 Google AI Overview，374 家企业被植入诈骗联系方式

你以为可以信任 AI 给你正确答案？再想想。

ChatGPT、Gemini 和 Google AI Overview 正遭到一场大规模 AI 虚假信息攻击的毒化。当用户查询数百家大型公司的日常信息时，AI 却在提供伪装成可信答案的网络钓鱼陷阱。

攻击者正在向网络大量投放经过精心优化的帖子、PDF、评论和虚假支持页面，诱骗 AI 呈现欺诈性的电话号码、电子邮件地址和登录页面。

目标包括 Delta、Lufthansa、Qatar Airways、Chase、Bank of America、Airbnb、TripAdvisor 以及数百家其他公司。

Google AI Overview 将攻击者的电话号码作为 Lufthansa 官方联系方式呈现

这不是研究，也不是概念验证。它此刻正在真实世界中发生，由恶意行为者通过自动化活动实施，其规模是传统下架手段无法跟上的。

社会工程攻击不再以人类为目标。新的目标是浏览网页的 AI 智能体。

这是我们博客系列的第一部分，讨论 AI 虚假信息攻击的影响。

坐好，让我们深入探讨。

引言

过去一年，我们变懒了。是的，比以前更懒。我们都有了一个新的好朋友，它为我们做所有事，似乎无所不知。
但你是否停下来想过：AI 究竟是如何知道一切的？这些知识到底从何而来？答案显而易见——互联网。所以，AI 的回答完全由网络塑造。

但等等……任何人都能在互联网上发布内容。谁来保证这些内容全都真实有效？如果这些内容被故意投毒，又会发生什么？

这让我想到一个问题：攻击者能否精心构造内容，精准到足以操控浏览网页的 AI 智能体的行为？

一项研究由 Exploding Topics 报告：

“92% 的用户不会核实 AI 的回答”

这意味着，如果攻击者控制了 AI，而我们又盲目信任它，那么他们实质上就控制了我们。

内容推广：攻击者的版本

那么，AI 究竟是如何决定信任哪些事实、忽略哪些事实的？
你们中有些人可能知道 GEO（生成式引擎优化）这个术语，它基本上就是传统 SEO 为 AI 时代演化而来的版本。简而言之，GEO 就是 AI 如何决定引用哪些来源。

GEO 有很多技巧可以让 AI 偏爱某些内容而非其他内容。例如，加入统计数据来支撑论点，或者引用知名专家的言论来助推某个议程。这些技巧只是让 AI 对特定数据点更有信心。许多营销人员使用 GEO 来让 AI 引用他们的品牌。

这让我开始思考……那么从攻击者的角度来看，如果我在网上放置虚假信息并使用 GEO 技巧让大语言模型相信它，会发生什么？我能让它说出任何我想让它说的话吗？

AI 信息供应链攻击

那么我能利用这些营销技巧来实施网络攻击吗？

我开始做一些实验，看看什么是可能的。我能够实施一些非常疯狂的攻击，我们将在接下来的章节中详细阐述。
但有一件事真的让我很不安——如果我能做到，攻击者也能做到。那么我们如何查明这些技术是否已经落入坏人之手？

我脑海中首先浮现的是网络钓鱼。攻击者的头号动机是经济利益，而最常见的攻击途径就是网络钓鱼。如果攻击者能在人们使用 AI 搜索银行等组织的联系方式时篡改这些信息，会怎样？

检测系统

为了检查现实中是否存在真正的 GEO 攻击，我们构建了一个系统，用于分析 Gemini、ChatGPT 和 Google AI Overview（Google 的顶部搜索结果）中的 AI 回答，以及它们所依赖的来源。该系统会对这些来源以及从中抓取的内容进行评分，并寻找任何被用于推送虚假信息的 GEO 手法。当我们检测到某个虚假细节（电话号码、URL、电子邮件地址等）被引用时，就将其标记为一次事件。我们在《财富》100 强公司、银行、航空公司、软件公司等对象上运行了该系统。

现实世界中的攻击

结果令人震惊。我们发现真实的攻击活动正在利用包含 GEO 优化内容的帖子、文档、网站和图像，推送虚假信息，比如伪造的联系方式、支持电话、电子邮件地址、虚假的软件更新、登录页面等等。

我们总共检测到 374 家遭到攻击的公司。其中包括《财富》100 强组织、大型航空公司（Delta、Lufthansa、United Airlines、Emirates、Qatar 等）、顶级银行（Bank of America、Wells Fargo、Chase、Citi 等）、旅行平台（Airbnb、TripAdvisor）、各类软件供应商等等。

这些攻击波及 ChatGPT、Gemini 和 Google AI Overview，已检测到数万个恶意页面。

以下是一些引用了诈骗电话号码的受攻击查询示例：

*需要说明的是：大多数事件都是统计性的。由于 LLM 的结果并不一致，我们发现攻击（LLM 引用虚假数字）并非每次运行查询时都能复现。攻击内容越好，投毒奏效的概率就越高。

投毒帖子

这些影响 AI 的帖子经过精心设计，带有 GEO 载荷，并被嵌入到各类允许创建用户生成内容（UGC）的无害网站中：

社交媒体/论坛帖子 — Instagram、Tumblr、Buzzfeed、LeetCode、YouTube 和 Vimeo 视频描述、Medium 等
允许上传文件的网站（主要是 PDF）— 政府网站、大学、学院等
网站托管平台— Google sites、GitHub pages、Wordpress、blogspot.com
筹款、求职、活动平台 — Posh.vip、onecause.com、bebee.com、raiselysite.com 等等
被滥用于投递载荷的各类随机网站 — Yelp 评论、Apple Maps 评论、心理健康基金会（mentalhealth.org.nz）、国家癌症研究基金会（nfcr.org）、PC 评测网站（pcreview.co.uk），以及许许多多其他网站！

以下是一些示例：

攻击技术拆解：它是如何运作的？

攻击者使用的载荷内容乍看之下可能显得随机，但实际上是经过精心构造的。以下是攻击者用来让这些载荷劫持 LLM 回答的一些手法：

面向 GEO 优化的内容：这些帖子反复重复虚假号码，使用问答板块，并加入“立即致电”“24/7”或“2026 年更新”之类的措辞。这让该号码更有可能出现在搜索结果和 AI 回答中。
旨在绕过防御：他们用多种方式书写同一个号码：使用空格、点号、emoji、Unicode 字符，或在数字之间插入文字。有些垃圾信息/诈骗过滤器会移除电话号码。这些过滤器可能将其视为不同的文本，或无法检测出电话号码，而 AI 仍然能够理解它，并在 tokenization 之后正确解读，因为它在语义上是相同的（1️⃣ == 1，☎️ == 电话）。
到处发布：攻击者将同一个故事复制到社交媒体、论坛、网站和 PDF 上。他们还会将其上传到可信的 .edu、慈善机构和商业网站上，使虚假信息看起来得到了广泛证实且具有权威性。
做得像真的：这些帖子将有用的建议和真实电话号码与虚假号码混在一起，促使 LLM 同时引用两者。看起来官方的 AI 生成图片、虚假点赞、评论和支持标签让这一骗局显得更加可信，并让 LLM 在引用真实信息的同时也引用虚假号码。
专为制造恐慌而设计： 内容聚焦于退款、航班取消、账户被锁或转账等紧急问题。目的是让处于焦虑中的 AI 用户迅速拨打电话，而不是去查看公司的官方网站。

自动化攻击 → 绕过下架机制

有许多方案可以自动下架其中一些帖子。但这种方法已经行不通了。这些攻击显然是自动化的：相同的模板、相同的电话号码、相同的措辞，横跨众多受害公司和网站，其规模远超人工发帖的能力——每个平台每家公司每天数百条帖子 → 每天数千条帖子。
试图下架所有这些帖子是徒劳的。当一个页面被下架时（每次可能需要数小时甚至数天），一千个新页面又会被创建出来。

此外，像 archive.org 这样存储已删除网页内容的网站，仍然被搜索引擎索引。这意味着即使在下架之后，这些毒害内容仍然有效。

例如：针对 American Airlines 的 LeetCode 攻击者帖子在过去 24 小时内在 Google 上占据了超过 10 页搜索结果（！），以及一份在下架后仍留在 web archive 上的 PDF：

这个问题需要一种全新的方法。
我们开发了一种机制，能够根据检测到的每一次攻击，自动逆转虚假信息攻击，并将真相还原到 AI 回答中。我们将在后续章节中详细阐述。

负责任披露

我们通过各公司的漏洞赏金、欺诈和安全渠道联系了所有被针对的公司。大多数公司并未意识到这些攻击的规模及其影响。我们开始与其中一些公司合作以缓解威胁。
另一些公司则不以为然，要么声称他们现有的解决方案能够应对（显然并不能），要么表示这不在漏洞赏金计划的范围内，因为它没有直接攻击他们的内部系统。
以下才是他们真正应该关注的原因：

收入损失：被骗的客户在尝试购买时被劫持，直接造成收入流失。
品牌损害：愤怒的受害者将矛头指向真正的公司，损害信任并导致用户流失。
麻烦与法律费用：处理大量客户纠纷和潜在诉讼的成本会迅速攀升。

我们预计越来越多的安全团队将很快熟悉这一问题并加以处理，尤其是在拥有大品牌的公司中。

我们还通过 Google 和 OpenAI 的漏洞赏金渠道联系了他们。Google 将该问题归类为超出范围，表示 AI 生成的虚假信息以及钓鱼/社会工程场景不在其 VRP 的覆盖范围内。OpenAI 则以无法复现为由关闭了报告，称提交内容必须展示对用户已证实的影响，而非理论上的攻击，尽管报告中包含了真实的攻击示例。

因此，由于该攻击操纵的是 AI 向用户展示的内容，而非入侵 AI 厂商自身的系统，它落在了这两个项目当前对漏洞的定义范围之外。

总结

AI 虚假信息是一种疾病，将会演变成一场瘟疫。
这些攻击会愈演愈烈，因为有一个根本事实不会改变——AI 无法区分真相与谎言。
在本系列博客中，我们将深入探讨由 AI 虚假信息引发的多种攻击用例。
在下一章中，我们将讨论 AI 虚假信息如何导致软件供应链攻击。敬请关注。

但不必惊慌——我和我的团队已经有了解决方案。如果你有兴趣进一步了解，或者想了解你的公司是否正遭受攻击，请通过 contact@vigilance.security 联系我们。

随时联系我们

我们是 Ariel Simon、Naor Haziz、Dan Lasker、Roi Levy 和 Ben Silvan——安全研究员和创业者。
如需提问、合作研究，或只是聊聊天，欢迎随时通过 LinkedIn 联系我们 :)