别让垃圾网页毁了你的AI：内容提取为什么这么重要

大语言模型其实要"吃"两遍互联网。

一遍是预训练阶段，让它学会人类知识的套路。另一遍是推理的时候，抓取相关内容来回答问题。但这两个阶段都有一个尴尬的事实：输入的东西大部分都是废话。

研究表明，典型网页的 HTML 里，大约70%都是模板内容——导航栏、广告、侧边栏、Cookie提示、底部链接。你真正想要的东西？只占30%。

而关键是：这30%决定了模型的一切。

数据质量才是真正的护城河

搞机器学习的人一直在卷模型架构、参数规模、训练方法。但越来越多的研究指向一个不太光鲜的真相：数据清洗这个苦活累活，可能才是真正的制胜法宝。

2025年，Ma 等人做了一个很有说服力的实验。他们用同一批 Common Crawl 数据创建了两份训练语料库，唯一的区别就是提取方法——一份用传统规则，另一份用模型来提取。其它条件完全一样。

结果，用更干净、模型提取的数据训练出来的模型，在13个基准测试上比另一份高出1.08个百分点。更夸张的是，单凭这一个改动，它直接超过了 FineWeb 和 RefinedWeb——这两个数据集可是以复杂的过滤流程著称的。

这个发现值得每个 ML 团队停下来想想。大家都在抢着训练更大的模型、试验新架构，但最大的提升可能只是把垃圾删掉这么简单。

推理阶段的问题

数据质量不只是训练的事。ICML 2023 年有一项研究证明了这一点：一个不相关的段落就能彻底带偏模型的答案。

当你的检索系统拉进来一堆噪音内容，浪费的不只是算力——你是在主动降低回答质量。

这对生产系统来说是个头疼的问题。RAG（检索增强生成）本来是让回答更靠谱的，但如果检索结果里混入了侧边栏广告和 Cookie 通知，那你就是在往 context window 里灌毒药。

来看看不同提取器保留结构内容的能力对比，数字很能说明问题。规则类方法（比如 Trafilatura）提取代码块的相似度只有0.13，数学公式是0.61；而模型类方法能达到0.91和0.94。要是文档里有代码示例或技术符号，这些提取错误直接污染你的训练数据。

两条技术路线：Encoder 还是 Decoder？

现在的提取方法分两大派：基于结构的，和基于内容的。

结构派（Trafilatura、Readability、Boilerpipe）靠 HTML 的表面信号来分析——DOM 位置、标签类型、文字密度。速度快，不需要 ML 模型，但长得像的东西容易搞混。导航表格和数据表格的结构特征一模一样，这派方法难免分错。

内容派把实际内容喂给 Transformer。Dripper 是目前的老大，用 decoder 架构一个 token 一个 token 地生成标签。准确率确实高，但效率上有硬伤：每个 token 都得把整个模型从内存里读一遍，速度被内存带宽卡脖子，而不是算力。

这就引出了一个叫 Pulpie 的新方案。它在架构上赌了一把——不用逐个生成标签的 decoder，而是用 encoder 一次性把每个 HTML 块都标完。瓶颈从内存带宽变成了纯算力，这个问题好解决得多。

效果很亮眼。在 NVIDIA L4 GPU 上，小号 Pulpie 每秒能处理13.7个页面，Dripper 只有0.68个。差了20倍。换算成真金白银：清洗10亿个页面，Pulpie 大约花7900美元，Dripper 要15.9万美元。

对你的 AI 架构意味着什么

对于做 AI 应用的创业者和开发者，这研究有几个实操建议：

第一，检查你的提取流程。 如果训练数据或 RAG 管道还在用规则类提取器，那你正在白白浪费可量化的性能提升。更高效的提取方法成本已经比一年前低了一大截。

第二，想清楚提取在架构里的位置。 很多团队把网页内容当"已解决"的问题——抓个页面，去掉 HTML，完事。但模型越高级，输入质量越重要。检索系统好不好，全看提取层给不给力。

第三，看看开源方案。 Pulpie 只是开源提取模型生态里的一个新成员。想做好提取，不再非得花大价钱买商业 API 了。

大局

整个 ML 社区对数据质量的认知正在悄悄转变。一直以来大家的假设是：数据多比数据干净更重要。扩大语料库，做个简单过滤，训久一点——信号迟早会盖过噪音。

但模型能力越来越强，这个假设就不成立了。训练几千亿个 token 的时候，哪怕很低的错误率也会累积成明显的损伤。推理的 context 有上限，每一个噪音 token 都意味着少一个有用的 token。

讽刺的是，网页提取——这个识别主内容、剔除 HTML 噪音的枯燥工作——可能是整个 ML 流程里杠杆最高的改进环节之一。你的模型下次突破，也许不在新架构，而在于更仔细地读懂网页。

干净的数据不酷。但它区分了好的模型和伟大的模型。