Støj i webdata koster dig mere, end du tror: Derfor er content extraction afgørende

Forestil dig, at du betaler for en buffet, hvor 70% af tallerkenen erfyldt med servietter, fadeopdækning og pyntegreens. Det er nemlig præcis den situation, de fleste sprogmodeller befinder sig i hver dag.

Når en AI læser en webside, gør den det to gange. Først under træningen, hvor den optager menneskelig viden. Derefter når den svarer på dine spørgsmål ved at hente relevant kontekst. Begge gange består størstedelen af inputtet af meningsløs støj.

Forskning viser, at cirka 70% af HTML-koden på en gennemsnitlig webside er skabelonindhold – navigationsmenuer, annoncer, sidepaneler, cookie-bannere og sidefødder. Den faktiske information, du er interesseret i? Den udgør kun 30% af siden.

Datakvalitet er den egentlige konkurrencefordel

Maskinlæringsmiljøet har i årevis fokuseret på modelarkitektur, antal parametre og træningsmetoder. Men en voksende mængde forskning tyder på, at det kedelige arbejde med datapræparation faktisk er den sande differentiator.

En undersøgelse fra 2025 af Ma og kolleger (AICC) lavede et oplysende eksperiment. Forskerne oprettede to træningsdatabaser fra identiske Common Crawl-snapshots. Den eneste variabel var ekstraktionsmetoden – den ene brugte traditionelle heuristikker, den anden brugte en modelbaseret tilgang.

Resultatet? Modellen trænet på renere, model-ekstraheret data klarede sig 1,08 procentpoint bedre på tværs af 13 benchmarks. Endnu mere imponerende kunne de med denne ene ændring slå modeller trænet på FineWeb og RefinedWeb – to datasæt kendt for deres avancerede filtreringspipelines.

Denne indsigt bør give enhver ML-enhed grund til eftertanke. Mens alle kæmper om at træne større modeller eller eksperimentere med nye arkitekturer, kan de største forbedringer komme fra blot at fjerne skraldet.

Problemet ved inferenstid

Datakvalitet betyder noget, selv når modellen allerede er trænet. Forskning fra Shi og kolleger (ICML 2023) viste, at selv én irrelevant passage kan ødelægge en models svar fuldstændigt. Når dit hentningssystem trækker støjfyldt kontekst ind, spilder du ikke bare beregningsressourcer – du forringer aktivt kvaliteten af svarene.

Dette skaber en problematisk dynamik for produktionssystemer. RAG-pipelines (Retrieval-Augmented Generation) lover at forankre svar i relevant information, men hvis denne hentning inkluderer sidepanelsannoncer og cookie-meddelelser, injicerer du gift i din kontekst.

Tallene er slående, når man ser på, hvordan forskellige ekstraktorer bevarer struktureret indhold. Heuristikbaserede metoder som Trafilatura opnår lighedsscore på blot 0,13 for kodeblokke og 0,61 for matematiske formler sammenlignet med modelbaserede tilgange, der scorer 0,91 og 0,94. Når din dokumentation indeholder kodeeksempler eller teknisk notation, bliver disse ekstraktionsfejl til træningskorruption.

Arkitekturen: Encoder versus decoder

Nuværende ekstraktionsmetoder falder i to kategorier: strukturbaserede og indholdsbaserede.

Strukturbaserede ekstraktorer (Trafilatura, Readability, Boilerpipe) analyserer HTML gennem overfladesignaler – DOM-position, tagtyper, tekstdensitet. De er hurtige og kræver ingen ML-overhead, men de forveksler elementer, der ligner hinanden. En navigationsmenu og en datatabel har identiske strukturelle signaturer, så disse metoder klassificerer uundgåeligt forkert.

Læsebaserede ekstraktorer sender faktisk indhold til transformer-modeller. Dripper, den nuværende leder, bruger en decoder-arkitektur, der genererer labels token for token. Denne tilgang opnår fremragende nøjagtighed, men har et fundamentalt effektivitetsproblem: hver token kræver, at hele modellen læses fra hukommelsen. Hastigheden bundet til hukommelsesbåndbredde snarere end beregning.

Her gør en ny tilgang ved navn Pulpie en interessant arkitektonisk satsning. I stedet for en decoder, der genererer labels sekventielt, bruger Pulpie en encoder, der mærker hver HTML-blok i én fremadgående pass. Dette flytter flaskehalsen fra hukommelsesbåndbredde til ren beregning – et langt mere skalerbart problem.

Resultaterne er overbevisende. På en NVIDIA L4 GPU behandler den lille Pulpie-model 13,7 sider per sekund mod Drippers 0,68 sider per sekund. Det er en 20x gennemløbsforbedring. Oversat til reelle omkostninger: at rense en milliard sider koster cirka $7.900 med Pulpie versus $159.000 med Dripper.

Hvad dette betyder for din AI-infrastruktur

For startups og udviklere, der bygger AI-applikationer, har denne forskning praktiske konsekvenser:

For det første: undersøg din ekstraktionspipeline. Hvis du stadig bruger heuristikbaserede ekstraktorer til træningsdata eller RAG-pipelines, efterlader du målbar ydeevne på bordet. De marginale omkostninger ved bedre ekstraktion er nu en brøkdel af, hvad de var for blot et år siden.

For det andet: tænk over, hvor ekstraktion passer ind i din arkitektur. Mange teams behandler webindhold som et løst problem – hent siden, fjern HTML'en, færdig. Men efterhånden som modellerne bliver mere sofistikerede, betyder kvaliteten af deres inputs mere. Dit hentningssystem er kun så godt som dets ekstraktionslag.

For det tredje: overvej open source-muligheder. Pulpie sluttede sig til et voksende økosystem af open source-ekstraktionsmodeller. Dagene med at have brug for dyre proprietære API'er til kvalitetsekstraktion er ved at blive en saga blot.

Det store billede

Vi er vidne til en stille vending i, hvordan ML-miljøet tænker om datakvalitet. I årevis var antagelsen, at mere data slog renere data. Skaler din korpus, anvend basal filtrering, træn længere – til sidst overvælder signalet støjen.

Men efterhånden som modeller når højere capability-niveauer, bryder den antagelse sammen. Når du træner på hundredvis af milliarder af tokens, kompounder selv små korruptionsrater sig til meningsfulde skader. Og når inferenskontekster er begrænsede, er hver støjfyldt token én nyttig token mindre.

Ironien er, at webekstraktion – det kedelige arbejde med at identificere hovedindhold fra HTML – muligvis er en af de højesteffekt-interventioner i din samlede ML-pipeline. Det næste gennembrud i din models ydeevne kommer måske ikke fra en ny arkitektur. Det kommer måske fra blot at læse internettet mere omhyggeligt.

Rene data er ikke glamourøse. Men det er det, der adskiller en god model fra en fremragende.