Waarom schone webdata het nieuwe geheim is van betrouwbare AI

Elk taalmodel eet het web twee keer op. Eerst tijdens het trainen, om patronen in menselijke kennis te leren. Daarna bij het beantwoorden van vragen, wanneer het relevante context ophaalt. Bij beide stappen speelt een verontrustend probleem: veruit het grootste deel van wat het model binnenkrijgt, is volkomen nutteloze ruis.

Onderzoek wijst uit dat ongeveer 70% van de HTML op een doorsnee webpagina uit boilerplate bestaat — denk aan navigatiemenu's, reclameblokken, zijbalken, cookiemeldingen en voetteksten. De content waar je eigenlijk om geeft? Die vormt slechts 30% van de pagina. En hier komt het: die 30% bepaalt alles.

Waarom datakwaliteit jouw eigenlijk onderscheidende voordeel is

De machine learning wereld heeft zich jarenlang gefocust op modelarchitectuur, aantal parameters en trainingsmethoden. Maar steeds meer onderzoek wijst erop dat het minder glamoureuze werk van datavoorbereiding misschien wel de echte verschilmaker is.

Een studie van Ma et al. (2025) voerde een instructief experiment uit. Het team creëerde twee trainingsdatasets uit identieke Common Crawl momentopnamen. Het enige verschil was de extractiemethode — de ene gebruikte traditionele regels, de andere een modelgebaseerde aanpak. Verder was alles gelijk.

Het model dat getraind werd op schonere, model-geëxtraheerde data presteerde 1,08 procentpunt beter op 13 benchmarks. Nog indrukwekkender: deze ene aanpassing stelde hen in staat om modellen te verslaan die getraind waren op FineWeb en RefinedWeb — datasets die bekendstaan om hun uitgebreide filterprocessen.

Dit resultaad zou elk ML-team aan het denken moeten zetten. Terwijl iedereen jaagt op grotere modellen of experimenteert met nieuwe architecturen, kunnen de grootste verbeteringen misschien wel simpelweg komen van het weghalen van de rommel.

Het probleem dat ontstaat tijdens het beantwoorden

Datakwaliteit speelt niet alleen bij het trainen een rol. Onderzoek van Shi et al. (ICML 2023) liet zien dat zelfs één irrelevante passage een model's antwoord volledig kan ontsporen. Wanneer jouw ophaalsysteem ruisachtige context meeneemt, verspil je niet alleen rekenkracht — je verslechtert actief de kwaliteit van je antwoord.

Dit creëert een lastige situatie voor productiesystemen. RAG (Retrieval-Augmented Generation) pipelines beloven antwoorden te verankeren in relevante informatie, maar als die opgehaalde informatie zijbalk-reclames en cookiemeldingen bevat, dan voeg je gif toe aan je contextvenster.

De cijfers zijn schrijnend als je kijkt naar hoe verschillende extractoren omgaan met gestructureerde content. Heuristische methoden zoals Trafilatura behalen similarity scores van slechts 0,13 voor codeblokken en 0,61 voor wiskundige formules. Modelgebaseerde methoden scoorden daarentegen 0,91 en 0,94. Wanneer jouw documentatie codevoorbeelden of technische notatie bevat, worden deze extractiefouten automatisch trainingsvervuiling.

De architectuurkeuze: encoder of decoder

Huidige extractiemethoden vallen in twee categorieën: structuur-gebaseerd en content-gebaseerd.

Structuur-gebaseerde extractoren (Trafilatura, Readability, Boilerpipe) analyseren HTML via oppervlakkige signalen — DOM-positie, tag-types, tekstdichtheid. Ze zijn snel en vereisen geen ML-overhead, maar ze verwarren elementen die er similar uitzien. Een navigatietabel en een datatabel hebben identieke structurele kenmerken, dus deze methoden classificeren onvermijdelijk verkeerd.

Reading-gebaseerde extractoren stoppen daadwerkelijke content in transformer-modellen. Dripper, de huidige koploper, gebruikt een decoder-architectuur die labels token-voor-token genereert. Deze aanpak bereikt uitstekende nauwkeurigheid, maar heeft een fundamenteel efficiëntieprobleem: elke token vereist het volledige model uit het geheugen te lezen. Snelheid wordt daardoor beperkt door geheugenbandbreedte in plaats van rekencapaciteit.

Hier komt Pulpie met een interessante architectuurweddenschap. In plaats van een decoder die sequentieel labels genereert, gebruikt Pulpie een encoder die elke HTML-blok in één doorloop labelt. Dit verplaatst de bottleneck van geheugenbandbreedte naar pure rekenkracht — een veel beter schaalbaar probleem.

De resultaten zijn overtuigend. Op een NVIDIA L4 GPU verwerkt het kleine Pulpie-model 13,7 pagina's per seconde versus Dripper's 0,68 pagina's per seconde. Dat is een 20x doorvoerverbetering. Omrekenen naar echte kosten: het opschonen van één miljard pagina's kost ongeveer $7.900 met Pulpie tegenover $159.000 met Dripper.

Wat dit betekent voor jouw AI-stack

Voor startups en ontwikkelaars die AI-applicaties bouwen, heeft dit onderzoek praktische implicaties:

Ten eerste: controleer je extractie-pijplijn. Als je nog steeds heuristische extractoren gebruikt voor trainingsdata of RAG pipelines, laat je meetbare prestatieverbeteringen liggen. De marginale kosten van betere extractie zijn nu een fractie van wat ze zelfs een jaar geleden waren.

Ten tweede: denk na over waar extractie in je architectuur past. Veel teams beschouwen webcontent als een opgelost probleem — haal de pagina op, strip de HTML, klaar. Maar naarmate modellen geavanceerder worden, gaat de kwaliteit van hun input steeds meer wegen. Je ophaalsysteem is alleen zo goed als zijn extractielaag.

Ten derde: overweeg open-source opties. Pulpie sluit aan bij een groeiend ecosysteem van open-source extractiemodellen. De tijd van dure proprietary API's voor kwaliteitsextractie loopt ten einde.

De bredere context

We zijn getuige van een stille verschuiving in hoe de ML-gemeenschap naar datakwaliteit kijkt. Jarenlang gold de aanname dat meer data belangrijker was dan schonere data. Schaal je corpus op, pas basisfilters toe, train langer — uiteindelijk overstemt het signaal de ruis.

Maar naarmate modellen hogere capaciteitsniveaus bereiken, verdwijnt die aanname. Wanneer je traint op honderden miljarden tokens, hopen zelfs kleine corruptiepercentages zich op tot betekenisvolle schade. En wanneer inference-contexten begrensd zijn, is elke ruis-token er één bruikbare token minder.

De ironie is dat webextractie — het onglamoureuze werk van het onderscheiden van hoofdcontent uit HTML — misschien wel één van de meest impactvolle ingrepen in je hele ML-pijplijn is. De volgende doorbraak in je model's prestaties komt misschien niet uit een nieuwe architectuur. Misschien komt die gewoon uit het zorgvuldiger lezen van het web.

Schone data is niet glamoureus. Maar het is wat het verschil maakt tussen een goed model en een geweldig model.