A zajos webes adatok rejtett költsége: Miért fontosabb most a tartalomkinyerés, mint valaha

Minden nyelvi modell kétszer "eszi meg" az internetet. Először a pretanulás során, amikor megtanulja az emberi tudás mintázatait. Aztán a következtetési időszakban, amikor releváns kontextust kér le a válaszokhoz. Mindkét szakaszban ugyanaz a piszkos titok lapul: a bemenetek túlnyomó többsége használhatatlan zaj.

A kutatások szerint egy átlagos weboldal HTML-jének nagyjából 70 százaléka automatikus tartalom – navigációs menük, hirdetések, oldalsávok, sütikérő szalagok, lábléc-linkek. Az a tartalom, amit valójában szeretnél olvasni? Az csak a lap 30 százaléka. És itt jön a lényeg: ez a 30 százalék dönt mindenről.

Miért a data quality a valódi versenyelőny

A gépi tanulással foglalkozó közösség évtizedek óta a modellarchitektúrára, a paraméterszámokra és a tréningezési módszerekre koncentrál. De egyre több kutatás sugallja, hogy az adat-előkészítés alulbecsült munkája jelentheti az igazi differenciáló tényezőt.

A 2025-ös Ma et al. tanulmány (AICC) egy beszédes kísérletet mutatott be. A csapat két azonos Common Crawl pillanatképből származó tréning korpuszt hozott létre. Az egyetlen változtatás a kinyerési módszer volt – az egyik hagyományos heurisztikát használt, a másik modell-alapú megközelítést. Minden más azonos maradt.

A tisztább, modell-alapú adatokon tréningezett modell 1,08 százalékponttal teljesítette túl párját 13 benchmarkon. Még lenyűgözőbb: ez az egyetlen változtatás lehetővé tette számukra, hogy legyőzzék a FineWeb és RefinedWeb adathalmazokon tréningezett modelleket – két olyan adathalmazt, amelyek híresek átgondolt szűrési folyamataikról.

Ez a megállapítás minden ML csapatot elgondolkodásra késztet. Míg mindenki a nagyobb modellek tréningezésével vagy az új architektúrák kísérletezésével versenyez, a legnagyobb előnyök talán egyszerűen a szemét eltávolításával érhetők el.

A következtetési idő problémája

Az adatminőség a tréningen túli területeken is számít. A Shi et al. kutatása (ICML 2023) bebizonyította, hogy egyetlen irreleváns passzus is teljesen félreviheti a modell válaszát. Amikor a visszakereső rendszered zajos kontextust kér le, nem csak számítást pazarolsz – aktívan rontod a válaszok minőségét.

Ez aggasztó dinamikát teremt a production rendszerek számára. A RAG (Retrieval-Augmented Generation) pipeline-ok azt ígérik, hogy a válaszokat releváns információkhoz kötik, de ha a visszakeresés oldalsáv-hirdetéseket és sütikérő üzeneteket is tartalmaz, mérget injektálsz a context window-ba.

A számok elkeserítőek, ha megnézed, hogy a különböző extraktorok hogyan őrzik meg a strukturált tartalmat. A heurisztika-alapú módszerek, mint a Trafilatura, code block-okra mindössze 0,13-as, matematikai képletekre 0,61-es hasonlósági pontszámot mutatnak, szemben a modell-alapú megközelítések 0,91-es és 0,94-es értékeivel. Amikor a dokumentációd kódpéldákat vagy technikai jelölést tartalmaz, ezek a kinyerési hibák tréning-korrupcióvá válnak.

Az architektúra kérdése: Encoder vs. Decoder

A jelenlegi kinyerési módszerek két táborba sorolhatók: strukturális és tartalom-alapú.

A strukturális extraktorok (Trafilatura, Readability, Boilerpipe) a HTML-t felületes jelek alapján elemzik – DOM pozíció, tag típusok, szövegsűrűség. Gyorsak és nem igényelnek ML overheaddet, de összekeverik a hasonlóan kinéző elemeket. Egy navigációs táblázat és egy adattáblázat azonos strukturális aláírással rendelkezik, így ezek a módszerek elkerülhetetlenül téveszt besorolásokat.

A olvasás-alapú extraktorok a tényleges tartalmat transzformer modelleknek adják. A Dripper, az aktuális piacvezető, decoder architektúrát használ, amely tokenről tokenre generálja a címkéket. Ez kiváló pontosságot ér el, de fundamentális hatékonysági problémája van: minden tokenhez a teljes modellt ki kell olvasni a memóriából. A sebesség a memória-sávszélességhez kötődik, nem a számítási kapacitáshoz.

Itt jön képbe a Pulpie nevű új megközelítés, amely érdekes architektúrális fogadást köt. Ahelyett, hogy egy decoder tokenenként generálná a címkéket szekvenciálisan, a Pulpie egy encodert használ, amely egyetlen forward pass-ban címkézi az összes HTML blockot. Ez a szűk keresztmetszetet a memória-sávszélességről tiszta számításra tolja el – ez egy sokkal skálázhatóbb probléma.

Az eredmények meggyőzőek. Egy NVIDIA L4 GPU-n a kicsi Pulpie modell másodpercenként 13,7 lapot dolgoz fel, szemben a Dripper 0,68 lapjával. Ez 20-szoros áteresztőképesség javulás. Valós költségekre lefordítva: egymilliárd lap tisztítása nagyjából 7 900 dollárba kerül a Pulpie-vel, szemben a Dripper 159 000 dolláros költségével.

Mit jelent ez az AI stack-ednek

Az AI alkalmazásokat építő startupoknak és fejlesztőknek ez a kutatás gyakorlati következményekkel jár:

Először is, vizsgáld felül a kinyerési pipeline-odat. Ha még mindig heurisztika-alapú extraktorokat használsz a tréning adatokhoz vagy RAG pipeline-okhoz, mérhető teljesítményt hagysz az asztalon. A jobb kinyerés marginális költsége ma töredéke annak, mint ami egy évvel ezelőtt volt.

Másodszor, gondolkodj azon, hol fér hozzá a kinyerés az architektúrádhoz. Sok csapat a webes tartalmat megoldott problémaként kezeli – lehozod az oldalt, eltávolítod a HTML-t, kész. De ahogy a modellek egyre kifinomultabbá válnak, a bemeneteik minősége egyre fontosabb lesz. A visszakereső rendszered annyira jó, amennyire a kinyerési rétege.

Harmadszor, fontold meg az open-source opciókat. A Pulpie egy növekvő open-source extraction modellek ökoszisztémájához csatlakozik. Azoknak a napoknak vége, amikor drága proprietárius API-kra volt szükség a minőségi kinyeréshez.

A nagyobb kép

Csendes paradigmaváltásnak vagyunk tanúi abban, hogyan gondolkodik az ML közösség az adatminőségről. Évek óta az a feltételezés élt, hogy a több adat felülmúlja a tisztább adatot. Növeld a korpuszt, alkalmazz alapvető szűrést, tréningezz tovább – végül a jel elnyomja a zajt.

De ahogy a modellek egyre magasabb képességi szintre érnek, ez a feltételezés megdől. Amikor százmilliárd tokenen tréningezel, még a kicsi korrupciós ráták is jelentős károkká halmozódnak. És amikor a következtetési kontextusok korlátozottak, minden zajos token egy hasznos tokenrel kevesebbet jelent.

Az irónia az, hogy a webes tartalomkinyerés – az a nem túl glamorous munka, amely a fő tartalmat azonosítja a HTML-ben – lehet az ML pipeline-od egyik legnagyobb hatású beavatkozása. A modelljeid teljesítménybeli áttörése talán nem egy új architektúrából jön majd. Egyszerűen abból, hogy körültekintőbben olvassák a webet.

A tiszta adat nem csillog. De ez az, ami elválaszt egy jó modellt egy kiválótól.