Costul Ascuns al Datelor Web Zgomotoase: De Ce Extragerea Conținutului Contează Mai Mult Ca Niciodată

Fiecare model de limbaj consumă web-ul de două ori. O dată în faza de pre-training, când învață tiparele cunoșterii umane. Apoi în timpul inferenței, când recuperează contextul relevant pentru a-ți răspunde la întrebări. Ambele etape au un secret neplăcut: marea majoritate a input-ului este zgomot inutil.

Conform cercetărilor recente, aproximativ 70% din HTML-ul unei pagini web tipice constă în boilerplate—meniuri de navigare, reclame, bare laterale, bannere de cookie-uri și link-uri din footer. Conținutul care te interesează cu adevărat? Reprezintă doar 30% din pagină. Și iată ironia: acel 30% determină totul.

Calitatea Datelor – Veritabila Protecție Competitivă

Comunitatea de machine learning a fost obsedată de arhitectura modelelor, de numărul de parametri și de regimurile de antrenare. Dar o serie crescândă de cercetări sugerează că munca mai puțin glamour de pregătire a datelor ar putea fi adevăratul diferențiator.

Un studiu din 2025 realizat de Ma et al. (AICC) a condus un experiment revelator. Echipa a creat două corpora de antrenare din aceleași snapshot-uri Common Crawl. Singura variabilă modificată a fost metoda de extracție—una folosea euristici tradiționale, cealaltă folosea o abordare bazată pe model. Tot restul a rămas identic.

Modelul antrenat pe date mai curate, extrase prin metoda bazată pe model, l-a depășit pe omologul său cu 1,08 puncte procentuale pe 13 benchmark-uri. Și mai impresionant, această singură schimbare le-a permis să depășească modele antrenate pe FineWeb și RefinedWeb—două dataset-uri renumite pentru pipeline-urile lor elaborate de filtrare.

Această descoperire ar trebui să pună pe gânduri fiecare echipă de ML. În timp ce toată lumea se grăbește să antreneze modele mai mari sau să experimenteze cu arhitecturi noi, cele mai mari câștiguri ar putea veni din simpla eliminare a gunoiului.

Problema de la Timpul Inferenței

Calitatea datelor contează și dincolo de antrenare. Cercetările lui Shi et al. (ICML 2023) au demonstrat că o singură secțiune nerelevantă poate deraia complet răspunsul unui model. Când sistemul tău de retrieval aduce context zgomotos, nu doar că irosești resurse de calcul—degradezi activ calitatea răspunsului.

Aceasta creează o dinamică problematică pentru sistemele în producție. Pipeline-urile RAG (Retrieval-Augmented Generation) promit să ancoreze răspunsurile în informații relevante, dar dacă acel retrieval include reclame din bara laterală și notificări de cookie-uri, injectezi otravă în fereastra de context.

Numerele sunt elocvente când privești cum diferiți extractori păstrează conținutul structurat. Metodele bazate pe euristici precum Trafilatura arată scoruri de similaritate de doar 0,13 pentru blocuri de cod și 0,61 pentru formule matematice, comparativ cu abordările bazate pe model care obțin 0,91 și respectiv 0,94. Când documentația ta conține exemple de cod sau notații tehnice, aceste erori de extracție devin corupție în antrenare.

Arhitecturi în Confruntare: Encoder vs. Decoder

Metodele actuale de extracție se împart în două tabere: bazate pe structură și bazate pe conținut.

Extractorii structurali (Trafilatura, Readability, Boilerpipe) analizează HTML prin semnale de suprafață—poziția în DOM, tipuri de tag-uri, densitatea textului. Sunt rapizi și nu necesită overhead de ML, dar confundă elementele care arată similar. Un tabel de navigare și un tabel de date au semnături structurale identice, așa că aceste metode clasifică inevitabil greșit.

Extractorii de citire trimit conținutul real către modele transformer. Dripper, liderul actual, folosește o arhitectură de tip decoder care generează etichete token cu token. Această abordare obține o acuratețe excelentă, dar are o problemă fundamentală de eficiență: fiecare token necesită citirea întregului model din memorie. Viteza devine legată de lățimea de bandă a memoriei, nu de puterea de calcul.

Aici intervine o abordare nouă numită Pulpie, care face un pariu arhitectural interesant. În loc de un decoder care generează etichete secvențial, Pulpie folosește un encoder care etichetează fiecare bloc HTML într-o singură trecere forward. Aceasta mută blocajul de la lățimea de bandă a memoriei la calculul pur—o problemă mult mai scalabilă.

Rezultatele sunt convingătoare. Pe un GPU NVIDIA L4, modelul mic Pulpie procesează 13,7 pagini pe secundă față de 0,68 pagini pe secundă ale Dripper. Adică o îmbunătățire de 20x în throughput. Tradus în costuri reale: curățarea unui miliard de pagini costă aproximativ 7.900 USD cu Pulpie versus 159.000 USD cu Dripper.

Ce Înseamnă Asta pentru Stack-ul Tău AI

Pentru startup-uri și dezvoltatori care construiesc aplicații AI, această cercetare are implicații practice:

În primul rând, auditează-ți pipeline-ul de extracție. Dacă încă folosești extractori bazate pe euristici pentru datele de antrenare sau pipeline-uri RAG, lași performanță măsurabilă pe masă. Costul marginal al unei extracții mai bune este acum o fracțiune din ce era acum un an.

În al doilea rând, gândește-te unde se încadrează extracția în arhitectura ta. Multe echipe tratează conținutul web ca o problemă rezolvată—preia pagina, elimină HTML-ul, gata. Dar pe măsură ce modelele devin mai sofisticate, calitatea input-urilor lor contează mai mult. Sistemul tău de retrieval e bun doar cât e bun layer-ul de extracție.

În al treilea rând, ia în considerare opțiunile open-source. Pulpie se alătură unui ecosistem în creștere de modele de extracție open-source. Zilele în care aveai nevoie de API-uri proprietare scumpe pentru extracție de calitate sunt pe cale să dispară.

Imaginea de Ansamblu

Asistăm la o schimbare silențioasă în modul în care comunitatea ML gândește despre calitatea datelor. Ani de zile, presupunerea a fost că mai multe date înving datele mai curate. Scalează corpusul, aplică filtrare de bază, antrenează mai mult—în cele din urmă semnalul copleșește zgomotul.

Dar pe măsură ce modelele ating niveluri mai ridicate de capacitate, această presupunere se clătină. Când antrenezi pe sute de miliarde de token-uri, chiar și rate mici de corupție se compilează în daune semnificative. Și când contextele de inferență sunt limitate, fiecare token zgomotos e un token util în minus.

Ironia e că extracția web—munca obscură de identificare a conținutului principal din HTML—ar putea fi una dintre intervențiile cu cel mai mare impact din întregul tău pipeline ML. Următoarea descoperire în performanța modelului tău ar putea să nu vină dintr-o arhitectură nouă. Ar putea să vină din simplul fapt de a citi web-ul mai atent.

Datele curate nu sunt glamour. Dar sunt ceea ce separă un model bun de unul extraordinar.