Cloudflare新政策：默认屏蔽混合爬虫，推动AI公司付费

Cloudflare 刚刚给 AI 行业设定了一个新的最后期限，要求将用于传统搜索目的（如 Google Search）的网络爬虫与用于 AI 智能体和训练的爬虫区分开来。该公司周三宣布，从 2026 年 9 月 15 日起，Cloudflare 的默认设置将阻止“混合用途”爬虫访问任何承载广告的页面。

这意味着，那些将搜索、智能体使用和训练混在一起的爬虫将默认被阻止爬取这些网站，除非网站所有者调整设置另行允许。该公司表示，这些默认设置的变更将适用于新的 Cloudflare 客户、现有客户新建的站点，以及所有现有的免费客户。

此举可能会影响 AI 模型提供商获取网络内容用于训练以及为其智能体服务提供支持的方式。

Cloudflare 指出，大多数网站所有者希望自己的内容能通过搜索被发现，通常也希望通过 AI 服务被发现，但他们希望得到保护，避免自己的知识产权被免费拿走。

Cloudflare 特别点名“全球最大的搜索引擎”（显然是在指 Google！），称其获取的信息量比其他 AI 公司多出约“2 倍”，因为这家搜索巨头让客户很难在内容不被用于 AI 的情况下保持可被搜索发现。

Google 过去曾对这一概括提出反驳，指出它提供了一个名为 Google Extended 的机器人，允许网站所有者选择不让其内容被用于训练以及 Gemini Apps 和 Vertex API 等 AI 产品与服务。它的使用不会影响网站在 Google Search 中的收录。然而，这家科技巨头的旗舰爬虫 Googlebot 会为 Search 抓取内容，包括 AI Overviews 和 AI Mode 等 AI 功能。

“如今互联网上的大多数流量已是非人类流量，我们必须更进一步、更快行动，才能让一个可持续的生态系统得以形成，”Cloudflare 联合创始人兼 CEO Matthew Prince 在宣布这一消息时表示，他指的是近期的一个里程碑——机器人流量首次在线上超过人类流量。这一转变原本预计要到明年才会发生。

“Cloudflare 的新工具和合作伙伴关系为网站所有者带来了更高的可见性和商业机会，也让那些拥有意图清晰透明的机器人的 AI 公司从中受益。我们希望我们提出的默认变更能鼓励混合用途爬虫将搜索与智能体使用和训练区分开来，”Prince 表示。

虽然 Cloudflare 提供了多款产品帮助用户搭建自己的 AI 系统，但该公司也发布了一系列工具，让出版商在 AI 时代对其内容拥有更多控制权。近年来，Cloudflare 推出了对抗 AI 机器人的工具，其中包括一个允许网站向 AI 机器人收取抓取费用的市场，名为 Pay Per Crawl。

该公司表示，后者如今也在演变为“按使用付费”，这将允许出版商在自身内容创造价值时向 AI 公司收费，而不仅仅是在内容被抓取时收费。

这一变化还可能有助于为 AI 模型提供商节省出版商的带宽和计算资源，因为 Cloudflare 的数据显示，来自 AI 爬虫的抓取流量中，超过 50% 花在了重复抓取未更改的页面上。

为了将这一机制付诸实践，Cloudflare 最初与两家合作伙伴 Ceramic.ai 和 You.com 展开合作。当出版商选择加入后，其内容出现在 Ceramic 的 AI 搜索结果中时，或当 You.com 访问其某篇付费内容时，出版商即可获得报酬。

Cloudflare 表示，其他 AI 公司可以根据自身的运作方式定制这一模式。