Den dolda kostnaden av brus på webben: Varför innehållsextraktion är viktigare än någonsin

Varje språkmodell läser webben två gånger. Först under träningen, då den lär sig mönstren i mänsklig kunskap. Sedan vid körning, när den hämtar relevant kontext för att svara på dina frågor. Båda stegen delar en obekväm sanning: merparten av det som matas in är fullständigt värdelöst brus.

Enligt ny forskning består ungefär 70% av HTML-koden på en typisk webbsida av så kallad boilerplate—navigationsmenyer, annonser, sidopanel, cookie-meddelanden och sidfotslänkar. Det faktiska innehållet du bryr dig om? Det är bara 30% av sidan. Och här kommer poängen: det där 30-talet avgör allt.

Datakvalitet är den verkliga konkurrensfördelen

ML-gemenskapen har varit besatt av modellarkitektur, antal parametrar och träningsregimer. Men en växande mängd forskning pekar mot att det osexiga arbetet med databehandling kanske är den verkliga differenciatorn.

En studie från 2025 av Ma et al. (AICC) genomförde ett avslöjande experiment. Teamet skapade två träningskorpusar från identiska Common Crawl-ögonblicksbilder. Den enda variabeln som ändrades var extraktionsmetoden—den ena använde traditionella heuristiker, den andra en modellbaserad metod. Allt annat var lika.

Modellen tränad på renare, modellextraherad data presterade bättre med 1,08 procentenheter över 13 riktmärken. Ännu mer imponerande: denna ensamma förändring lät dem överträffa modeller tränade på FineWeb och RefinedWeb—två dataset kända för sina sofistikerade filtreringspipelines.

Det här resultatet borde få varje ML-team att pausa. Medan alla kämpar för att träna större modeller eller experimentera med nya arkitekturer, kanske de största förbättringarna kommer från att helt enkelt ta bort skräpet.

Problemet vid körningstid

Datakvalitet spelar roll bortom träningen. Forskning från Shi et al. (ICML 2023) visade att en enda irrelevant passage kan helt få en modells svar att spåra ur. När ditt hämtningssystem drar in brusig kontext slösar du inte bara datorkraft—du försämrar aktivt svarens kvalitet.

Detta skapar en bekymmersam dynamik för produktionssystem. RAG-pipelines (Retrieval-Augmented Generation) lovar att förankra svar i relevant information, men om den hämtningen inkluderar sidopanelannonser och cookie-meddelanden, injicerar du gift i ditt kontextfönster.

Siffrorna är skrämmande när du tittar på hur olika extractorer bevarar strukturerat innehåll. Heuristikbaserade metoder som Trafilatura visar likhetsvärden på bara 0,13 för kodblock och 0,61 för matematiska formler jämfört med modellbaserade tillvägagångssätt som når 0,91 respektive 0,94. När din dokumentation innehåller kodexempel eller tekniska notation blir dessa extraktionsfel till träningskorruption.

Arkitekturfrågan: Encoder kontra Decoder

Nuvarande extraktionsmetoder delas in i två läger: strukturbaserade och innehållsbaserade.

Strukturbaserade extractorer (Trafilatura, Readability, Boilerpipe) analyserar HTML genom ytsignaler—DOM-position, taggtyper, textdensitet. De är snabba och kräver ingen ML-overhead, men de förvirras av element som ser liknande ut. En navigeringstabell och en datatabell har identiska strukturella signaturer, så dessa metoder klassificerar fel oundvikligen.

Läsbaserade extractorer matar faktiskt innehåll till transformer-modeller. Dripper, den nuvarande ledaren, använder en decoder-arkitektur som genererar etiketter token för token. Detta tillvägagångssätt ger utmärkt noggrannhet men har ett fundamentalt effektivitetsproblem: varje token kräver att hela modellen läses från minnet. Hastigheten blir bunden till minnesbandbredd snarare än beräkning.

Det är här ett nytt tillvägagångssätt vid namn Pulpie gör en intressant arkitektonisk satsning. Istället för en decoder som genererar etiketter sekventiellt, använder Pulpie en encoder som etiketterar varje HTML-block i ett enda framåtpass. Detta skiftar flaskhalsen från minnesbandbredd till ren beräkning—ett mycket mer skalbart problem.

Resultaten är övertygande. På ett NVIDIA L4 GPU bearbetar den lilla Pulpie-modellen 13,7 sidor per sekund mot Drippers 0,68 sidor per sekund. Det är en 20x förbättring i genomströmning. Att översätta detta till verkliga kostnader: att rensa en miljard sidor kostar ungefär 7 900 dollar med Pulpie mot 159 000 dollar med Dripper.

Vad detta betyder för din AI-stack

För startups och utvecklare som bygger AI-applikationer har denna forskning praktiska konsekvenser:

För det första: granska din extraktionspipeline. Om du fortfarande använder heuristikbaserade extractorer för träningsdata eller RAG-pipelines lämnar du mätbar prestanda på bordet. Den marginala kostnaden för bättre extraktion är nu en bråkdel av vad den var för bara ett år sedan.

För det andra: fundera på var extraktion passar in i din arkitektur. Många team behandlar webbinnehåll som ett löst problem—hämta sidan, ta bort HTML, klart. Men när modellerna blir mer sofistikerade spelar kvaliteten på deras input större roll. Ditt hämtningssystem är bara så bra som sitt extraktionslager.

För det tredje: överväg open source-alternativ. Pulpie ansluter sig till ett växande ekosystem av open source-extraktionsmodeller. Dagarna då du behövde dyra proprietära API:er för kvalitetsextraktion håller på att försvinna.

Den större bilden

Vi bevittnar en tyst förskjutning i hur ML-gemenskapen tänker om datakvalitet. I åratal var antagandet att mer data överträffar renare data. Skala upp din korpus, applicera grundläggande filtrering, träna längre—så småningom överväldigar signalen bruset.

Men när modeller når högre kapacitetsnivåer faller det antagandet isär. När du tränar på hundratals miljarder tokens kompounderas även små korruptionsnivåer till meningsfull skada. Och när kontexter vid körning är begränsade är varje brusig token en användbar token färre.

Ironin är att webbextrakton—det osexiga arbetet med att identifiera huvudinnehåll från HTML—kanske är en av de högsta impact-insatserna i din hela ML-pipeline. Nästa genombrott i din modells prestanda kanske inte kommer från en ny arkitektur. Det kanske kommer från att helt enkelt läsa webben mer noggrant.

Ren data är inte glamouröst. Men det är det som skiljer en bra modell från en fantastisk.