Ukryty koszt zaszumionych danych w sieci: dlaczego ekstrakcja treści jest ważniejsza niż kiedykolwiek

Każdy model językowy „pożera" internet dwukrotnie. Najpierw podczas treningu, gdy uczy się wzorców ludzkiej wiedzy. Potem w czasie inferencji, gdy pobiera odpowiedni kontekst do odpowiedzi na pytania. Oba etapy dzielą jedną brudną tajemnicę: ogromna większość danych wejściowych to bezużyteczny szum.

Według najnowszych badań, około 70% HTML na typowej stronie WWW to boilerplate — menu nawigacyjne, reklamy, paski boczne, banery ciasteczek i linki w stopce. Treść, która naprawdę cię interesuje? To zaledwie 30% strony. I tutaj pojawia się clou: to właśnie te 30% decyduje o wszystkim.

Jakość danych jako prawdziwa przewaga

Społeczność machine learning przez lata skupiała się na architekturze modeli, liczbie parametrów i metodach treningu. Ale rosnąca liczba badań sugeruje, że niespektakularna praca nad przygotowaniem danych może być prawdziwym wyróżnikiem.

Badanie z 2025 roku autorstwa Ma i współpracowników (AICC) przeprowadziło bardzo wymowne doświadczenie. Zespół stworzył dwa zbiory treningowe z identycznych snapshotów Common Crawl. Jedyną zmienną była metoda ekstrakcji — jedna wykorzystywała tradycyjne heurystyki, druga podejście oparte na modelu. Wszystko inne pozostało równe.

Model trenowany na czystszych, wydobytych przez model danych przewyższył swojego odpowiednika o 1,08 punktu procentowego w 13 benchmarkach. Co bardziej imponujące, ta jedna zmiana pozwoliła im pokonać modele trenowane na FineWeb i RefinedWeb — dwóch zbiorach danych cenionych za wyrafinowane pipeline'y filtrowania.

To odkrycie powinno skłonić każdy zespół ML do chwili refleksji. Podczas gdy wszyscy rzucają się na szkolenie większych modeli lub eksperymentowanie z nowymi architekturami, największe zyski mogą pochodzić po prostu z usunięcia śmieci.

Problem na etapie inferencji

Jakość danych ma znaczenie nie tylko podczas treningu. Badania Shi i współpracowników (ICML 2023) wykazały, że pojedynczy nieistotny fragment może całkowicie zaburzyć odpowiedź modelu. Gdy twoje wyszukiwanie pobiera zaszumiony kontekst, nie tylko marnujesz zasoby obliczeniowe — aktywnie pogarszasz jakość odpowiedzi.

Tworzy to niepokojącą dynamikę dla systemów produkcyjnych. Pipeline'y RAG (Retrieval-Augmented Generation) obiecują osadzenie odpowiedzi w istotnych informacjach, ale jeśli wyszukiwanie zawiera reklamy z paska bocznego i powiadomienia o cookies, wstrzykujesz truciznę do swojego okna kontekstowego.

Liczby są porażające, gdy przyjrzysz się, jak różne ekstraktory zachowują treść strukturalną. Metody oparte na heurystykach, jak Trafilatura, osiągają współczynniki podobieństwa zaledwie 0,13 dla bloków kodu i 0,61 dla wzorów matematycznych. Tymczasem podejścia oparte na modelu zdobywają odpowiednio 0,91 i 0,94. Gdy twoja dokumentacja zawiera przykłady kodu lub notację techniczną, te błędy ekstrakcji stają się zanieczyszczeniem materiału treningowego.

Pytanie architektoniczne: encoder kontra decoder

Współczesne metody ekstrakcji dzielą się na dwie szkoły: oparte na strukturze i oparte na treści.

Ekstraktory strukturalne (Trafilatura, Readability, Boilerpipe) analizują HTML przez pryzmat powierzchniowych sygnałów — pozycja w DOM, typy tagów, gęstość tekstu. Są szybkie i nie wymagają narzutu ML, ale mylą elementy, które wyglądają podobnie. Tabela nawigacyjna i tabela danych mają identyczne sygnatury strukturalne, więc te metody nieuchronnie klasyfikują błędnie.

Ekstraktory czytające przekazują rzeczywistą treść do modeli transformer. Dripper, obecny lider, wykorzystuje architekturę decodera, który generuje etykiety token po tokenie. To podejście osiąga znakomitą dokładność, ale ma fundamentalny problem z wydajnością: każdy token wymaga odczytania całego modelu z pamięci. Prędkość staje się ograniczona przez przepustowość pamięci, a nie moc obliczeniową.

Właśnie tutaj pojawia się nowe podejście o nazwie Pulpie z ciekawym architektonicznym założeniem. Zamiast decodera generującego etykiety sekwencyjnie, Pulpie używa encodera, który etykietuje każdy blok HTML w jednym przejściu forward. Przesuwa to wąskie gardło z przepustowości pamięci do czystej mocy obliczeniowej — znacznie łatwiejszy do skalowania problem.

Wyniki są przekonujące. Na karcie NVIDIA L4, mały model Pulpie przetwarza 13,7 stron na sekundę wobec 0,68 strony na sekundę Drippera. To 20-krotna poprawa przepływności. Przekładając to na realne koszty: oczyszczenie miliarda stron kosztuje około 7 900 dolarów z Pulpie wobec 159 000 dolarów z Dripperem.

Co to oznacza dla twojego stacku AI

Dla startupów i deweloperów budujących aplikacje AI, te badania niosą praktyczne implikacje:

Po pierwsze, sprawdź swój pipeline ekstrakcji. Jeśli wciąż używasz ekstraktorów opartych na heurystykach do danych treningowych lub pipeline'ów RAG, zostawiasz mierzalną wydajność na stole. Marginalny koszt lepszej ekstrakcji to teraz ułamek tego, co jeszcze rok temu.

Po drugie, zastanów się, gdzie ekstrakcja wpisuje się w twoją architekturę. Wiele zespołów traktuje treść webową jako rozwiązany problem — pobierz stronę, usuń HTML, gotowe. Ale wraz z tym, jak modele stają się coraz bardziej wyrafinowane, jakość ich wejść ma większe znaczenie. Twój system wyszukiwania jest tak dobry, jak jego warstwa ekstrakcji.

Po trzecie, rozważ opcje open source. Pulpie dołącza do rosnącego ekosystemu modeli ekstrakcji open source. Dni, gdy potrzebowałeś drogich, zastrzeżonych API do jakościowej ekstrakcji, powoli odchodzą.

Szerszy obraz

Obserwujemy cichą zmianę w myśleniu społeczności ML o jakości danych. Przez lata zakładano, że więcej danych przewyższa czyściejsze dane. Skaluj korpus, zastosuj podstawowe filtrowanie, trenuj dłużej — ostatecznie sygnał przytłoczy szum.

Ale wraz z osiąganiem przez modele wyższego poziomu możliwości, to założenie się rozpada. Gdy trenujesz na setkach miliardów tokenów, nawet niewielkie wskaźniki zanieczyszczenia kumulują się w znaczące szkody. A gdy okna kontekstowe inferencji są ograniczone, każdy zaszumiony token to jeden użyteczny token mniej.

Ironiczne jest to, że ekstrakcja z sieci — ta niespektakularna praca polegająca na wyróżnieniu głównej treści z HTML — może być jedną z najwyższego wpływu interwencji w całym twoim pipeline'ie ML. Następny przełom w wydajności twojego modelu może nie pochodzić z nowej architektury. Może pochodzić z prostego uważniejszego czytania internetu.

Czystej danych nikt nie docenia. Ale to ona oddziela dobry model od świetnego.