El Costo Oculto del Ruido en la Web: Por Qué la Extracción de Contenido Importa Más Que Nunca

Cada modelo de lenguaje consume la web dos veces. Primero durante el pre-entrenamiento, donde aprende los patrones del conocimiento humano. Después en tiempo de inferencia, cuando recupera contexto relevante para responder tus preguntas. Ambas etapas comparten un secreto incómodo: la mayor parte de lo que ingieren es ruido inútil.

Según investigaciones recientes, aproximadamente el 70% del HTML en una página típica es contenido boilerplate—menús de navegación, anuncios, barras laterales, banners de cookies y enlaces del pie de página. ¿El contenido que realmente importa? Eso representa apenas el 30% de la página. Y aquí viene lo interesante: ese 30% lo determina todo.

Por Qué la Calidad de Datos Es el Verdadero Moat

La comunidad de machine learning se ha obsesionado con la arquitectura del modelo, el conteo de parámetros y los regímenes de entrenamiento. Pero un cuerpo creciente de investigación sugiere que el trabajo poco glamoroso de preparación de datos podría ser el verdadero diferenciador.

Un estudio de 2025 realizado por Ma et al. (AICC) llevó a cabo un experimento revelador. El equipo creó dos corpus de entrenamiento a partir de snapshots idénticos de Common Crawl. La única variable cambiada fue el método de extracción—uno usó heurísticas tradicionales, el otro un enfoque basado en modelos. Todo lo demás se mantuvo igual.

El modelo entrenado con datos más limpios, extraídos por modelos, superó a su contraparte en 1.08 puntos porcentuales en 13 benchmarks. Más impresionante aún, este simple cambio les permitió superar a modelos entrenados con FineWeb y RefinedWeb—dos datasets reconocidos por sus elaborados pipelines de filtrado.

Este hallazgo debería hacer que cada equipo de ML se detenga a pensar. Mientras todos se apresuran a entrenar modelos más grandes o experimentar con arquitecturas novedosas, las mayores ganancias podrían venir de simplemente eliminar la basura.

El Problema en Tiempo de Inferencia

La calidad de los datos importa más allá del entrenamiento. Investigación de Shi et al. (ICML 2023) demostró que una sola oración irrelevante puede descarrilar completamente la respuesta de un modelo. Cuando tu sistema de recuperación incluye contexto ruidoso, no solo estás desperdiciando compute—estás degradando activamente la calidad de tus respuestas.

Esto crea una dinámica problemática para sistemas en producción. Las pipelines de RAG (Retrieval-Augmented Generation) prometen anclar respuestas en información relevante, pero si esa recuperación incluye anuncios de barras laterales y avisos de cookies, estás inyectando veneno en tu context window.

Los números son reveladores cuando observas cómo diferentes extractores preservan contenido estructurado. Los métodos basados en heurísticas como Trafilatura muestran puntajes de similitud de apenas 0.13 para bloques de código y 0.61 para fórmulas matemáticas, comparados con los enfoques basados en modelos que marcan 0.91 y 0.94 respectivamente. Cuando tu documentación contiene ejemplos de código o notación técnica, estos errores de extracción se convierten en corrupción del entrenamiento.

La Pregunta Arquitectónica: Encoder vs. Decoder

Los métodos de extracción actuales se dividen en dos categorías: basados en estructura y basados en contenido.

Los extractores basados en estructura (Trafilatura, Readability, Boilerpipe) analizan el HTML a través de señales superficiales—posición en el DOM, tipos de etiquetas, densidad de texto. Son rápidos y no requieren overhead de ML, pero confunden elementos que lucen similares. Una tabla de navegación y una tabla de datos tienen firmas estructurales idénticas, así que estos métodos inevitablemente mal clasifican.

Los extractores basados en lectura alimentan contenido real a modelos transformer. Dripper, el líder actual, usa una arquitectura de decoder que genera etiquetas token por token. Este enfoque logra excelente precisión pero tiene un problema fundamental de eficiencia: cada token requiere leer el modelo completo desde memoria. La velocidad queda limitada por el ancho de banda de memoria en lugar del compute.

Aquí es donde un nuevo enfoque llamado Pulpie hace una apuesta arquitectónica interesante. En lugar de un decoder que genera etiquetas secuencialmente, Pulpie usa un encoder que etiqueta cada bloque de HTML en un solo forward pass. Esto desplaza el cuello de botella del ancho de banda de memoria al compute puro—un problema mucho más escalable.

Los resultados son contundentes. En una GPU NVIDIA L4, el modelo pequeño de Pulpie procesa 13.7 páginas por segundo versus las 0.68 páginas por segundo de Dripper. Eso es una mejora de 20x en throughput. Traduciendo esto a costos reales: limpiar mil millones de páginas cuesta aproximadamente $7,900 con Pulpie versus $159,000 con Dripper.

Qué Significa Esto para Tu Stack de IA

Para startups y desarrolladores construyendo aplicaciones de IA, esta investigación tiene implicaciones prácticas:

Primero, audita tu pipeline de extracción. Si todavía estás usando extractores basados en heurísticas para datos de entrenamiento o pipelines de RAG, estás dejando rendimiento medible sobre la mesa. El costo marginal de mejor extracción es ahora una fracción de lo que era hace apenas un año.

Segundo, piensa en dónde encaja la extracción en tu arquitectura. Muchos equipos tratan el contenido web como un problema resuelto—obtén la página, elimina el HTML, listo. Pero a medida que los modelos se vuelven más sofisticados, la calidad de sus entradas importa más. Tu sistema de recuperación es tan bueno como su capa de extracción.

Tercero, considera opciones open source. Pulpie se une a un ecosistema creciente de modelos de extracción open source. Los días de necesitar APIs propietarias costosas para extracción de calidad están quedando atrás.

El Panorama General

Estamos presenciando un cambio silencioso en cómo la comunidad de ML piensa sobre la calidad de datos. Durante años, la suposición era que más datos superaban a datos más limpios. Escala tu corpus, aplica filtrado básico, entrena más tiempo—eventualmente la señal opaca el ruido.

Pero a medida que los modelos alcanzan niveles más altos de capacidad, esa suposición se desmorona. Cuando estás entrenando con cientos de miles de millones de tokens, incluso tasas pequeñas de corrupción se acumulan en daño significativo. Y cuando los contextos de inferencia están limitados, cada token ruidoso es un token útil menos.

La ironía es que la extracción web—el trabajo poco glamoroso de identificar el contenido principal del HTML—podría ser una de las intervenciones de mayor leverage en todo tu pipeline de ML. El próximo avance en el rendimiento de tu modelo podría no venir de una nueva arquitectura. Podría venir de simplemente leer la web con más cuidado.

Los datos limpios no son glamorosos. Pero son lo que separa un buen modelo de uno excelente.