网站想拦AI爬虫?胳膊拧不过大腿

网站想拦AI爬虫?胳膊拧不过大腿

十月 04, 2026 ai-agents web-scraping machine-learning digital-transformation tech-history developer-tools data-access internet-infrastructure

AI 时代的信息革命:一场正在重演的历史

有个历史故事,我每次想起都睡不着觉。

1727年,奥斯曼帝国终于接受了印刷机——这时候距离古腾堡发明印刷术已经快三百年了。

他们当时的考虑很简单:手写的时候,抄写员和神职人员可以控制写了什么。印刷出来的文本呢?早上就能到一千个人手里,根本没法收回,没法控制。

奥斯曼选择了控制,放弃了进步。欧洲开始印刷,奥斯曼继续抄写。两百年后,这个知识差距变成了能力差距。历史学家到现在还在争论,这件事对帝国的衰落影响有多大。

我觉得,我们正在互联网上以"光速"重演同样的故事。

互联网:一张活着的巨型文档

AI agent 最让我激动的地方是什么?它们能代表你阅读整个互联网。不是比喻——是真的。一个 agent 就能扫描一个城市所有的租房信息,然后告诉你哪些房东在新法律通过后涨了房租。一千个 agent 协同工作,可以每天追踪整个租房市场。同样的方法可以用来追踪物价、招聘信息、药品缺货情况、法院文件。

互联网突然就从一个一个孤立的页面,变成了一张可以查询的完整记录。

这不就是当年的印刷术时刻吗?越多 agent 读越多页面,就越需要更多可读的页面,就催生更多 agent。上限不是十亿个页面——而是整个互联网,被综合、被检索。

看门人的隐形代价

大多数主流网站都部署了反制措施。他们管这叫安全系统、反机器人保护、欺诈检测。听起来挺合理,但你要是深挖一下就知道怎么回事了。

这些系统的工作方式是在你看到页面之前就给你"画像"。你的显卡、字体、屏幕分辨率、鼠标移动轨迹、连接的"数字指纹"——所有信息都会被打分,和网站在成千上万其他访问者身上看到的做比对。如果你看起来不对劲,直接拦掉。不需要问你同意不同意——因为"安全"嘛,好像就不需要什么许可了。

结果可想而知。用了 VPN 的人被拦。用了隐私浏览器的被拦。远程办公共享公司 IP 的被拦。与此同时,有钱的公司按 GB 租用住宅 IP,想读什么就读什么。

这才是安全行业没人愿意讨论的真相:这套东西的经济账一塌糊涂。供应商赚钱的方式是拦截访客,然后报告"成功拦截率"。那些被拒之门外的正常用户根本不会出现在报告里——因为你根本没法统计一个没进来的人。网站看到的是一堆被拦截的"威胁"。那些放弃离开的读者?从来没被看见过。

说白了,这套系统最大的作用就是拦住小人物,让大玩家畅通无阻。

门口的保安到底在查什么

那到底是什么决定你是过关还是卡在那个"请稍候"的页面上?

首先,你在哪。 你连接的 IP 地址会暴露你来自家庭网络还是服务器机房。系统一眼就能分辨出来。

其次,你浏览器说话的方式。 在任何页面加载之前,你的浏览器和服务器要协商加密方式。这个协商过程有微妙的"口音"。真正的 Chrome 有一种腔调,假装是 Chrome 的软件在第一句话就能听出差别。

第三,你肚子里有什么货。 脚本会探测你的浏览器:画这张隐形图片、汇报你的显卡型号、列出你的字体。真正的机器回答会各有不同——就像每个人的笔迹都不一样。软件要么像服务器一样回答(没有显卡、字体都是没人用的标准配置),要么每次回答都一模一样(一千个访客穿着同一件外套)。

第四,故事能不能对上。 你的浏览器在第一个请求里声明了某些配置。页面的脚本会再问一遍同样的问题。如果答案对不上,说明有人在撒谎。

如果保安还是拿不准,就让你等着——真的等着。"请稍候"那个页面会运行一个小测试,观察你的浏览器怎么处理。真正的浏览器做完就走。很多爬虫工具会卡在那里,因为它们的行为和成千上万被拦掉的人一模一样。

这一天迟早会来

我的预测是:AI agent 最终会读到整个互联网,就像印刷术最终还是传到了奥斯曼一样。技术太有用,价值太大,压力太持续。唯一的问题是:我们怎么走过去,谁会在这个转变中获益。

现在的看门人并没有在保护互联网。它们不过是在无法阻止的转变中收过路费。它们拦住小开发者,却让有钱的爬虫公司在住宅 IP 农场里畅通无阻。它们给正当的研究制造麻烦,而复杂的爬虫系统基本不受影响。

今天用 AI agent 做开发的创业者和工程师,就是这项技术的早期使用者。十年之内,这会成为标配。印刷术的类比不完美——互联网更脆弱,争议更多,作为共享基础设施价值更大。但方向是清楚的。

奥斯曼当年接受印刷术,是因为欧洲印得太多,已经无法忽视了。我们在 AI agent 这件事上还没到那个地步。但时钟在走,站在错误一边的代价在涨。

问题不是要不要用 AI agent 做开发。而是现在就动手,在格局成型之前;还是等着让别人定好规则。

我觉得哪个选项更像是在进步,不用多说了吧。

Read in other languages:

RU EL BG UZ CS TR SV FI RO PT PL NB NL HU IT FR ES DE DA EN