Cloudflare 九月爬虫政策调整：对您的网站 AI 访问意味着什么

• 介绍变更背景
• 变更对网站所有者的影响
• 与 Googlebot 的关联
• 多功能爬虫的评估方式
• 对行业的影响
• 网站所有者应采取的措施

爬虫流量的新常态

Cloudflare 于 9 月 15 日对其爬虫默认设置进行了重要调整，坦率地说，这一变化将让许多网站所有者措手不及。如果你此前通过屏蔽 AI 训练爬虫来保护内容，现在可能需要重新检查设置——因为同样的配置现在也可能一并屏蔽了 Googlebot。

这是一件大事。Googlebot 本质上是网站获得搜索可见性的门票。一旦失去访问权限，你的自然流量就会像遭受 DDoS 攻击时的服务器实例一样迅速蒸发。

为何突然改变？

Cloudflare 正在就其如何分类和处理爬虫流量表明立场。关键变化在于多功能爬虫的评估方式。过去，如果爬虫承担多种功能，可能会在某些限制上获得豁免。如今，Cloudflare 将根据爬虫执行的每一项任务对其进行评判——这意味着，如果某个爬虫包含任何 AI 训练组件，就可能触发屏蔽机制，进而影响合法的搜索功能。

这就像安检关卡。以前，如果你拥有某项功能的 VIP 通行证，就可以畅通无阻地通过所有检查。现在，每项功能都会被单独评估。你的内容可能对搜索结果很有价值，但如果同一个机器人还用于训练 AI 模型？就会被屏蔽。

对网站所有者的影响

这里涉及实际操作层面。如果你使用 Cloudflare 的机器人管理功能来屏蔽 AI 爬虫，需要立即审计你的配置。那些主动屏蔽 AI 训练爬虫的网站，可能会发现由于 Cloudflare 新默认设置的工作方式，其 Googlebot 访问权限受到了影响。

这给内容创作者和企业带来了两难境地。一方面，你可能不希望自己的专有内容被用于训练与你竞争的 AI 模型。另一方面，对 Google 而言隐形，对大多数在线企业来说无异于数字自杀。

网站所有者该怎么办？

首先，立即检查你的 Cloudflare 控制面板设置。重点查看机器人和爬虫配置。如果你正在屏蔽已知的 AI 爬虫，可能需要创建更精细的规则，以区分搜索爬虫和 AI 训练机器人。

其次，考虑这种方法的长期影响。随着 AI 更深入地融入内容的发现和消费方式，“搜索爬虫”与“AI 训练爬虫”之间的界限只会越来越模糊。这可能是行业在应对这一新现实时，我们将看到的众多政策转变中的第一个。

更宏观的视角

Cloudflare 的这一举措反映了网络生态系统中围绕 AI 训练数据日益加剧的紧张关系。内容创作者希望获得保护；AI 公司需要数据；搜索引擎需要维持其核心功能。Cloudflare 作为数百万网站网络层的关键节点，现在正在做出影响这三方的政策选择。

无论你是否认同 Cloudflare 的做法，有一点很明确：将所有爬虫流量一视同仁的时代正在结束。网站所有者需要更有意识地决定允许谁访问其内容以及原因。

归根结底，这关乎控制权。Cloudflare 赋予网站运营者对爬虫访问更多的控制权，但这种控制伴随着复杂性。在 Web 托管和域名管理领域，复杂性是我们始终需要超前应对的问题。

保持警惕，检查你的设置，并记住：每一次屏蔽机器人的决定都会产生连锁反应。