Скрытая цена веб-шума: почему извлечение контента критичнее, чем кажется

Каждая языковая модель потребляет интернет дважды. Сначала при обучении — когда она впитывает паттерны человеческих знаний. Потом при инференсе — когда достаёт релевантный контекст для ответов. И у обоих этапов есть грязный секрет: большая часть входных данных — бесполезный мусор.

Исследования показывают: около 70% HTML на типичной странице — это boilerplate. Навигация, реклама, боковые панели, cookie-баннеры, футеры. Полезный контент? Всего 30%. И вот ключевой момент: именно эти 30% определяют всё.

Качество данных как настоящий барьер

ML-сообщество годами фокусировалось на архитектурах, количестве параметров и режимах обучения. Но всё больше исследований указывают на другую истину: скучная работа с данными может оказаться настоящим конкурентным преимуществом.

Команда Ma et al. (AICC, 2025) провела показательный эксперимент. Они собрали два корпуса из одинаковых снапшотов Common Crawl. Единственное различие — метод извлечения: один корпус использовал классические эвристики, другой — модельный подход. Всё остальное идентично.

Модель, обученная на чистых данных с модельным извлечением, обошла конкурента на 1,08 процентных пункта по 13 бенчмаркам. Более того, это единственное изменение позволило превзойти модели, натренированные на FineWeb и RefinedWeb — наборах данных, известных своими изощрёнными пайплайнами фильтрации.

Вывод должен заставить задуматься любую ML-команду. Пока все гонятся за масштабированием моделей и экспериментами с новыми архитектурами, главный прирост может лежать в банальном удалении мусора.

Проблема на этапе инференса

Качество данных важно не только при обучении. Исследование Shi et al. (ICML 2023) показало: одна нерелевантная вставка способна полностью исказить ответ модели. Когда ваша система поиска подтягивает зашумлённый контекст, вы не просто тратите вычислительные ресурсы — вы активно ухудшаете качество ответов.

Для продакшен-систем это создаёт неприятную дилемму. RAG-пайплайны обещают привязать ответы к релевантной информации, но если в извлечённом контексте окажутся боковые рекламные блоки и уведомления о cookies — вы подмешиваете яд в контекстное окно.

Цифры впечатляют, если посмотреть на сохранение структурированного контента. Эвристические методы вроде Trafilatura показывают коэффициент подобия всего 0,13 для блоков кода и 0,61 для математических формул. Модельные подходы выдают 0,91 и 0,94 соответственно. Когда ваша документация содержит примеры кода или технические обозначения, такие ошибки извлечения превращаются в повреждение обучающих данных.

Архитектурный расклад: энкодер против декодера

Современные методы извлечения делятся на два лагеря: структурные и контентные.

Структурные экстракторы (Trafilatura, Readability, Boilerpipe) анализируют HTML по поверхностным сигналам — позиция в DOM, типы тегов, плотность текста. Они быстрые и не требуют ML-оверхеда, но путают элементы с похожей структурой. Навигационная таблица и таблица с данными выглядят идентично, поэтому эти методы неизбежно ошибаются.

Читающие экстракторы подают реальный контент в трансформерные модели. Dripper, текущий лидер, использует архитектуру декодера, который генерирует метки токен за токеном. Подход обеспечивает отличную точность, но имеет фундаментальную проблему эффективности: каждый токен требует считывания всей модели из памяти. Скорость упирается в пропускную способность памяти, а не в вычислительную мощность.

Именно здесь новая модель под названием Pulpie делает интересную архитектурную ставку. Вместо декодера, генерирующего метки последовательно, Pulpie использует энкодер, который размечает каждый HTML-блок за один проход. Это смещает узкое место с пропускной способности памяти на чистую вычислительную мощность — задача куда более масштабируемая.

Результаты впечатляют. На NVIDIA L4 GPU компактная модель Pulpie обрабатывает 13,7 страниц в секунду против 0,68 страниц у Dripper. Двадцатикратный прирост пропускной способности. В денежном выражении: очистка миллиарда страниц обойдётся примерно в $7 900 с Pulpie против $159 000 с Dripper.

Что это значит для вашего AI-стека

Для стартапов и разработчиков, строящих AI-приложения, эти исследования несут практические следствия:

Во-первых, проверьте свой пайплайн извлечения. Если вы всё ещё используете эвристические экстракторы для обучающих данных или RAG-пайплайнов — вы оставляете на столе измеримую производительность. Маржинальная стоимость качественного извлечения уже стала долей от того, что была год назад.

Во-вторых, задумайтесь о месте извлечения в архитектуре. Многие команды воспринимают веб-контент как решённую задачу — забрал страницу, вырезал HTML, готово. Но чем сложнее становятся модели, тем важнее качество их входных данных. Ваша система поиска хороша ровно настолько, насколько хорош её слой извлечения.

В-третьих, присмотритесь к open-source решениям. Pulpie входит в растущую экосистему открытых моделей для извлечения. Времена, когда для качественного экстрактирования требовались дорогие проприетарные API, уходят в прошлое.

Общая картина

Мы наблюдаем тихую перестройку в мышлении ML-сообщества относительно качества данных. Годы погони за объёмом подорвали веру в простую логику: лучше меньше, да чище. Масштабируй корпус, применяй базовую фильтрацию, тренируй дольше — в конце концов сигнал утопит шум.

Но по мере роста возможностей моделей эта логика даёт сбой. При обучении на сотнях миллиардов токенов даже небольшие rates ошибок набегают в существенный ущерб. А когда контекстные окна ограничены, каждый зашумлённый токен — это один полезный токен меньше.

Ирония в том, что веб-экстракция — эта неприметная работа по выделению основного контента из HTML — может оказаться одним из самых высоковоздейственных вмешательств во всём ML-пайплайне. Следующий прорыв в производительности вашей модели может прийти не от новой архитектуры. Он может прийти от простого более внимательного чтения интернета.

Чистые данные — это не гламур. Но именно они отделяют хорошую модель от великой.