O Custo Escondido do Lixo na Web: Por Que a Extração de Conteúdo Nunca Foi Tão Importante

Todo modelo de linguagem consome a web duas vezes. Primeiro no pré-treinamento, quando aprende os padrões do conhecimento humano. Depois no tempo de inferência, quando busca contexto relevante para responder suas perguntas. Ambas etapas compartilham um segredo nada sexy: a maior parte do que entra é ruído puro.

Pesquisas recentes mostram que cerca de 70% do HTML em uma página típica é descartável—menus de navegação, anúncios, barras laterais, pop-ups de cookies, links de rodapé. O conteúdo que realmente importa? Apenas 30% da página. E aí está o ponto crucial: esses 30% definem tudo.

Qualidade de Dados: O Verdadeiro Diferencial

A comunidade de machine learning sempre foi obcecada por arquitetura de modelos, quantidade de parâmetros e regimes de treinamento. Mas um corpo crescente de evidências sugere que o trabalho sem glamour de preparação de dados pode ser o verdadeiro diferencial.

Um estudo de 2025 conduzido por Ma et al. (AICC) mostrou algo revelador. A equipe criou dois corpora de treinamento a partir de snapshots idênticos do Common Crawl. A única variável alterada foi o método de extração—um usava heurísticas tradicionais, o outro usava uma abordagem baseada em modelo. Tudo o mais permaneceu igual.

O modelo treinado com dados mais limpos, extraídos por modelo, superou o outro em 1,08 ponto percentual em 13 benchmarks. Mais impressionante: essa única mudança permitiu bater modelos treinados no FineWeb e RefinedWeb—dois datasets famosos por seus pipelines elaborados de filtragem.

Esse resultado deveria fazer toda equipe de ML parar e pensar. Enquanto todos correm para treinar modelos maiores ou experimentar arquiteturas novas, os maiores ganhos podem vir de simplesmente remover o lixo.

O Problema no Tempo de Inferência

A qualidade dos dados importa além do treinamento. Pesquisas de Shi et al. (ICML 2023) demonstraram que um único trecho irrelevante pode descarrilar completamente a resposta de um modelo. Quando seu sistema de recuperação puxa contexto ruidoso, você não está apenas desperdiçando processamento—está ativamente degradando a qualidade da resposta.

Isso cria uma dinâmica preocupante para sistemas em produção. Pipelines RAG prometem ancorar respostas em informação relevante, mas se essa recuperação inclui anúncios de barra lateral e avisos de cookies, você está injetando veneno na sua context window.

Os números são alarmantes quando olhamos para como diferentes extratores preservam conteúdo estruturado. Métodos baseados em heurísticas como Trafilatura mostram pontuações de similaridade de apenas 0,13 para blocos de código e 0,61 para fórmulas matemáticas. Já abordagens baseadas em modelo conseguem 0,91 e 0,94 respectivamente. Quando sua documentação contém exemplos de código ou notação técnica, esses erros de extração se tornam contaminação do treinamento.

A Questão Arquitetural: Encoder versus Decoder

Os métodos atuais de extração se dividem em duas categorias: baseados em estrutura e baseados em conteúdo.

Extratores baseados em estrutura (Trafilatura, Readability, Boilerpipe) analisam HTML através de sinais superficiais—posição no DOM, tipos de tag, densidade de texto. São rápidos e não exigem overhead de ML, mas confundem elementos que parecem similares. Uma tabela de navegação e uma tabela de dados têm assinaturas estruturais idênticas, então esses métodos inevitavelmente classificam errado.

Extratores baseados em leitura alimentam o conteúdo real para modelos transformer. Dripper, o líder atual, usa uma arquitetura decoder que gera rótulos token por token. Essa abordagem alcança excelente acurácia, mas tem um problema fundamental de eficiência: cada token exige ler o modelo inteiro da memória. A velocidade fica limitada pela largura de banda de memória, não pelo compute.

É aqui que uma nova abordagem chamada Pulpie faz uma aposta arquitetural interessante. Em vez de um decoder que gera rótulos sequencialmente, Pulpie usa um encoder que rotula cada bloco HTML em uma única passada. Isso muda o gargalo de largura de banda de memória para compute puro—um problema muito mais escalável.

Os resultados impressionam. Em uma GPU NVIDIA L4, o modelo pequeno do Pulpie processa 13,7 páginas por segundo contra 0,68 páginas por segundo do Dripper. Isso representa uma melhoria de 20x em throughput. Traduzindo para custos reais: limpar um bilhão de páginas sai por aproximadamente US$ 7.900 com Pulpie versus US$ 159.000 com Dripper.

O Que Isso Significa Para Sua Stack de IA

Para startups e desenvolvedores construindo aplicações de IA, essa pesquisa traz implicações práticas:

Primeiro, audite seu pipeline de extração. Se você ainda usa extratores baseados em heurísticas para dados de treinamento ou pipelines RAG, está deixando performance mensurável na mesa. O custo marginal de uma extração melhor é agora uma fração do que era há apenas um ano.

Segundo, pense em onde a extração se encaixa na sua arquitetura. Muitas equipes tratam conteúdo web como problema resolvido—busca a página, remove o HTML, pronto. Mas à medida que os modelos se tornam mais sofisticados, a qualidade das suas entradas importa mais. Seu sistema de recuperação é tão bom quanto sua camada de extração.

Terceiro, considere opções open source. Pulpie se junta a um ecossistema crescente de modelos de extração open source. Os dias de precisar de APIs proprietárias caras para extração de qualidade estão acabando.

O Quadro Geral

Estamos testemunhando uma mudança silenciosa na forma como a comunidade de ML pensa sobre qualidade de dados. Por anos, a premissa era que mais dados vencem dados mais limpos. Escale seu corpus, aplique filtragem básica, treine por mais tempo—eventualmente o sinal supera o ruído.

Mas à medida que os modelos atingem níveis mais altos de capacidade, essa premissa se quebra. Quando você está treinando em centenas de bilhões de tokens, mesmo taxas pequenas de corrupção se acumulam em danos significativos. E quando os contextos de inferência são limitados, cada token ruidoso é um token útil a menos.

A ironia é que a extração web—o trabalho sem brilho de identificar conteúdo principal do HTML—pode ser uma das intervenções com maior alavancagem em todo o seu pipeline de ML. O próximo avanço na performance do seu modelo pode não vir de uma nova arquitetura. Pode vir de simplesmente ler a web com mais cuidado.

Dados limpos não são glamorosos. Mas é isso que separa um bom modelo de um excelente.