别再靠头部和握手了：Web Bot Auth 让 AI 机器人验证彻底变天

过去几年，我们一直靠一套脆弱的信任机制：User-Agent 字符串、IP 地址、Reverse DNS 查询。凑合能用，但真不靠谱。聪明攻击者几下就能伪造。现在 AI 机器人满世界爬，旧办法明显跟不上了。就像用手电筒查身份证，该上生物识别了。

Google 正在测试的 Web Bot Auth，就是 IETF 的实验协议。它彻底颠覆了机器人认证的思路。

老办法的痛点

先说说现状吧。传统验证靠这些：

• User-Agent headers – 随便改，容易模仿
• IP reputation – 有点用，但地域差异大
• Reverse DNS – 依赖别人基础设施
• 请求模式 – 猜的，假阳性多

大多数时候行得通，但本质是被动的。挡不住铁了心搞破坏的家伙。合法 AI 机器人因为 IP 换了或 header 设错被挡？客服得炸锅。

Web Bot Auth 怎么玩

它带来加密确定性。不是猜“这是不是 Google 的请求”，而是确认真实“Google 用加密签名了这个请求”。

核心：机器人用密钥签名请求，服务器独立验证。身份跟 IP 完全脱钩。为什么牛？

• 云端机器人 IP 老变。再也不用为 IP 白名单头疼。
• 伪造基本不可能。不信 header，直接验签名。
• 看得清。知道到底哪些机器人来过，何时来。

签名合同 vs 口头约定，懂吧。

实验阶段，别急着全押

刹车：Web Bot Auth 还在实验。Google 没全签请求，IETF 规范在迭代。不是“扔掉旧的换新的”，而是“提前准备”。

实际呢？

• Google 只有部分机器人流量签了名
• 不是所有 Google 机器人用它
• 规范可能改，根据反馈调整

所以，旧验证别扔。IP、DNS、User-Agent 继续用。Web Bot Auth 是加层，不是替换。

今天怎么上手 Web Bot Auth

大平台或 CDN（Cloudflare、AWS WAF、Akamai）基本自动支持。去安全面板瞅瞅，有开关就行。

自己搞验证？几步走：

1. 缓存公钥集

从 https://agent.bot.goog/.well-known/http-message-signatures-directory 拉 Google 公钥，按 Cache-Control 缓存。这是验证根基。

2. 看 Signature-Agent header

签名的请求带 Signature-Agent header，值 g="https://agent.bot.goog"。这表示有签名。

3. 用 RFC 9421 验证

按 HTTP Message Signatures 标准，验 Signature 和 Signature-Input。加密确认请求真货。

4. 注意过期时间

签名过期，公钥也过期。别混了，分别验。

5. 总有后备

不是所有请求都签名。IP、DNS、User-Agent 继续查。Web Bot Auth 是补充。

小贴士：延迟敏感的应用，先发响应，后台异步验签名。用结果管下次请求。别让验证拖后腿。

对你基础设施的意义

跑 API、SaaS 或内容站？这玩意儿解真痛：

• 准分类 – 合法机器人不跟恶意爬虫混
• 数据干净 – 分析不被 IP 伪造坑
• 假阳性少 – 少挡好请求，客户不闹
• 防未来 – AI 机器人越来越多，加密验证成标配

网页向机器机器人“公民”时代走，有可验证身份。Web Bot Auth 是基石。

现在就干这些

1. 查供应商 – Cloudflare、AWS 等，问 WAF 或安全设置支持没。

2. 审视当前验证 – 记下怎么识机器人。哪有漏洞？加密能补哪。

3. 盯 IETF 组 – 还在变，提前知避免惊喜。

4. 试 Google 机器人 – 想玩，联系他们团队。早用早反馈。

5. 规划上线 – 第三方工具或自建，都画好升级路。

更大的图景

Web Bot Auth 标志一件事：机器人流量是常态，当敌人过时了。合法的用加密证明身份，网站聪明决定放行。

现在实验，明天标准，后天基础设施。优化机器人策略？赶紧动起来。

握手时代结束了。加密验证时代来了。