Proč je čistota dat důležitější než samotný model: Překvapivá role extrakce obsahu

Když se bavíme o AI a machine learningu, většina lidí myslí na modely. Na počty parametrů, na nové architektury, na to, jak velký model dokážeme natrénovat. Jenže realita je trochu jiná. A možná nepříjemná.

Dvě fáze, jeden problém

Každý velký jazykový model využívá webová data dvakrát. Poprvé při trénování – tam se učí vzorce lidského poznání. Podruhé při inference – když potřebuje relevantní kontext pro odpověď na vaši otázku.

Oba případy sdílejí jednu nepříjemnou vlastnost: většina toho, co se do modelu dostane, je naprostý bordel.

Výzkumy ukazují, že zhruba 70 % HTML na běžné webové stránce tvoří所谓的 boilerplate – navigační menu, reklamy, postranní panely, cookie bannery, zápatí s milionem odkazů. Obsah, o který vám actually jde? Ten zabírá pouhých 30 % stránky.

A tady přichází ten háček: právě těch 30 % rozhoduje o všem.

Kvalita dat jako skutečná konkurenční výhoda

ML komunita se roky soustředila na architektury modelů, počty parametrů, trénovací postupy. Ale čím dál víc výzkumů naznačuje, že ta nenápadná práce s daty může být tím pravým diferenciátorem.

Vezměme si studii od Ma a kolektivu (AICC) z roku 2025. Vytvořili dva trénovací datasety ze stejných Common Crawl snapshotů. Jediná proměnná byla metoda extrakce – jeden používal tradiční heuristiky, druhý model-based přístup. Všechno ostatní bylo identické.

Model natrénovaný na čistších datech z modelové extrakce překonal svého kolegu o 1,08 procentního bodu napříč 13 benchmarky. A to není všechno – touto jedinou změnou porazili modely trénované na FineWeb a RefinedWeb, tedy datasetech proslulých svými propracovanými filtrovacími pipeline.

Tohle by mělo dělat každému ML týmu starosti. Zatímco se všichni předhání v tom, kdo natrénuje větší model nebo experimentuje s novými architekturami, ty největší zisky možná leží někde úplně jinde – v prostém odstranění odpadu.

Problém na úrovni inference

Kvalita dat nehraje roli jen při trénování. Výzkum Shi a kolektivu (ICML 2023) ukázal, že jediný nerelevantní passage může zcela rozbít odpověď modelu. Když váš retrieval systém tahá do kontextu noisy data, neplýtváte jen výpočetním výkonem – aktivně zhoršujete kvalitu odpovědí.

To vytváří problematickou dynamiku pro produkční systémy. RAG pipeliny slibují, že ukotví odpovědi v relevantních informacích, ale pokud ten retrieval zahrnuje postranní reklamy a cookie notifikace, cpete do kontextového okna jed.

Ty rozdíly jsou drastické, když se podíváte na to, jak různé extraktory zachovávají strukturovaný obsah. Heuristické metody jako Trafilatura dosahují similarity skóre pouhých 0,13 pro code bloky a 0,61 pro matematické vzorce. Naproti tomu model-based přístupy? 0,91 a 0,94. Když vaše dokumentace obsahuje kódové příklady nebo technické notace, tyhle extrakční chyby se mění v trénovací korupci.

Dvě cesty: Encoder versus Decoder

Současné metody extrakce spadají do dvou kategorií: structure-based a content-based.

Strukturové extraktory (Trafilatura, Readability, Boilerpipe) analyzují HTML přes povrchové signály – pozice v DOM, typy tagů, textová hustota. Jsou rychlé a nepotřebují ML overhead, jenže mate je to, co vypadá podobně. Navigační tabulka a datová tabulka mají identické strukturální signatury, takže tyto metody nevyhnutelně misklasifikují.

Reading-based extraktory cpou skutečný obsah do transformer modelů. Dripper, aktuální leader, používá decoder architekturu, která generuje labely token po tokenu. Tento přístup dosahuje skvělé přesnosti, ale má fundamentální problém s efektivitou: každý token vyžaduje načtení celého modelu z paměti. Rychlost je svázána s memory bandwidth, ne s compute.

Tady přichází na scénu Pulpie s zajímavou architekturní sázkou. Místo decoderu, který generuje labely sekvenčně, Pulpie používá encoder, který olabeluje každý HTML block v jediném forward passu. To přesouvá bottleneck z memory bandwidth na čistý compute – mnohem škálovatelnější problém.

Výsledky jsou přesvědčivé. Na NVIDIA L4 GPU malý Pulpie model zpracuje 13,7 stránek za sekundu versus Dripperových 0,68 stránek za sekundu. To je 20x improvement v propustnosti. Převeďme to na reálné náklady: čištění miliardy stránek vyjde zhruba na 7 900 USD s Pulpie versus 159 000 USD s Dripperem.

Co to znamená pro vaši AI stack

Pro startupy a developery budující AI aplikace má tenhle výzkum praktické důsledky:

Za prvé, zauditujte svou extrakční pipeline. Pokud pořád používáte heuristické extraktory pro trénovací data nebo RAG pipeliny, necháváte na stole měřitelný výkon. Marginální náklady na lepší extrakci jsou dnes zlomkem toho, co byly před rokem.

Za druhé, zamyslete se, kde extrakce sedí ve vaší architektuře. Spousta týmů bere webový obsah jako vyřešený problém – stáhni stránku, stripni HTML, hotovo. Ale čím jsou modely sofistikovanější, tím víc záleží na kvalitě jejich inputů. Váš retrieval systém je jen tak dobrý, jak dobrá je jeho extrakční vrstva.

Za třetí, zvažte open-source options. Pulpie se přidává do rostoucího ekosystému open-source extrakčních modelů. Dny, kdy jste potřebovali drahé proprietární API pro kvalitní extrakci, se chýlí ke konci.

Větší obrázek

Svědčíme tichému posunu v tom, jak ML komunita přemýšlí o kvalitě dat. Roky platil assumption, že víc dat porazí čistší data. Škálujte svůj corpus, aplikujte základní filtrování, trénujte déle – nakonec signál přehluší noise.

Ale jak modely dosahují vyšších úrovní schopností, ten assumption se rozpadá. Když trénujete na stovkách miliard tokenů, i malé corruption rates se kumulují v relevantní damage. A když jsou inference kontexty omezené, každý noisy token je o jeden užitečný token míň.

Ta ironie je, že webová extrakce – ta nenápadná práce s identifikací hlavního obsahu v HTML – možná patří mezi nejvyšší leverage intervence v celém vašem ML pipeline. Další průlom ve výkonu vašeho modelu možná nepřijde z nové architektury. Možná přijde z prostého pečlivějšího čtení webu.

Čistá data nejsou sexy. Ale jsou tím, co odděluje dobrý model od skvělého.