Der versteckte Kostenfaktor: Warum saubere Webdaten für KI entscheidend sind

Jedes Sprachmodell liest das Internet zwei Mal. Einmal während des Trainings, wo es Muster menschlichen Wissens erlernt. Und dann im Einsatz, wenn es kontextuelle Informationen abruft, um Fragen zu beantworten. Beide Phasen teilen ein schmutziges Geheimnis: Der Großteil der eingehenden Daten ist wertloser Ballast.

Aktuelle Untersuchungen zeigen: Rund 70 Prozent des HTMLs auf einer durchschnittlichen Webseite bestehen aus Templates – Navigationsmenüs, Werbung, Seitenleisten, Cookie-Banner, Footer-Links. Der eigentliche Inhalt, der Sie interessiert? Gerade mal 30 Prozent der Seite. Und hier liegt der Haken: Genau diese 30 Prozent bestimmen alles.

Datenqualität als echter Wettbewerbsvorteil

Die Machine-Learning-Community hat sich jahrelang auf Modellarchitektur, Parameterzahlen und Trainingsmethoden konzentriert. Doch eine wachsende Anzahl von Studien deutet darauf hin, dass die unscheinbare Arbeit der Datenvorbereitung den wahren Unterschied ausmacht.

Eine Studie von Ma et al. (AICC) aus dem Jahr 2025 lieferte einen aufschlussreichen Versuchsaufbau. Das Team erstellte zwei Training Corpora aus identischen Common-Crawl-Schnappschüssen. Der einzige Unterschied: die Extraktionsmethode. Ein Datensatz nutzte klassische Heuristiken, der andere einen modellbasierten Ansatz. Alles andere blieb gleich.

Das Modell, das auf saubereren, modellbasiert extrahierten Daten trainierte, übertraf seinen Gegenpart um 1,08 Prozentpunkte über 13 Benchmarks. Noch beeindruckender: Durch diese einzelne Änderung konnten sie Modelle schlagen, die auf FineWeb und RefinedWeb trainiert wurden – Datensätze, die für ihre aufwendigen Filterpipelines bekannt sind.

Dieses Ergebnis sollte jedes ML-Team zum Nachdenken bringen. Während alle darauf fokussieren, größere Modelle zu trainieren oder neuartige Architekturen zu entwickeln, könnten die größten Verbesserungen schlicht aus dem Entfernen von Müll entstehen.

Das Problem zur Inferenzzeit

Datenqualität spielt nicht nur beim Training eine Rolle. Forschung von Shi et al. (ICML 2023) zeigte, dass eine einzige irrelevante Textpassage eine Modellantwort komplett aus dem Ruder laufen lassen kann. Wenn Ihr Retrieval-System verrauschten Kontext liefert, verschwenden Sie nicht nur Rechenleistung – Sie verschlechtern aktiv die Antwortqualität.

Das erzeugt eine problematische Dynamik für Produktivsysteme. RAG-Pipelines (Retrieval-Augmented Generation) versprechen, Antworten in relevanten Informationen zu verankern. Aber wenn der Abruf Seitenleisten-Werbung und Cookie-Hinweise enthält, injizieren Sie Gift in Ihr Kontextfenster.

Die Zahlen sind erschreckend, wenn man betrachtet, wie verschiedene Extraktoren strukturierte Inhalte bewahren. Heuristik-basierte Methoden wie Trafilatura zeigen Ähnlichkeitswerte von nur 0,13 für Codeblöcke und 0,61 für mathematische Formeln. Modellbasierte Ansätze hingegen erreichen 0,91 beziehungsweise 0,94. Wenn Ihre Dokumentation Codebeispiele oder technische Notation enthält, werden diese Extraktionsfehler zu Trainingsverseuchung.

Die Architekturfrage: Encoder gegen Decoder

Aktuelle Extraktionsmethoden lassen sich in zwei Kategorien einteilen: struktur- und inhaltsbasiert.

Struktur-basierte Extraktoren (Trafilatura, Readability, Boilerpipe) analysieren HTML durch oberflächliche Signale – DOM-Position, Tag-Typen, Textdichte. Sie sind schnell und benötigen keinen ML-Overhead, verwechseln aber Elemente, die ähnlich aussehen. Eine Navigationstabelle und eine Datentabelle haben identische strukturelle Signaturen, weshalb diese Methoden unweigerlich falsch klassifizieren.

Lesende Extraktoren füttern den eigentlichen Inhalt in Transformer-Modelle. Dripper, der aktuelle Marktführer, nutzt eine Decoder-Architektur, die Labels Token für Token generiert. Dieser Ansatz erreicht exzellente Genauigkeit, hat aber ein fundamentales Effizienzproblem: Jedes Token erfordert das vollständige Lesen des gesamten Modells aus dem Speicher. Geschwindigkeit wird durch Speicherbandbreite begrenzt, nicht durch Rechenleistung.

Hier setzt ein neuer Ansatz namens Pulpie auf eine interessante architektonische Wette. Statt eines Decoders, der Labels sequenziell generiert, nutzt Pulpie einen Encoder, der jeden HTML-Block in einem einzigen Vorwärtsdurchlauf beschriftet. Dadurch verschiebt sich der Flaschenhals von Speicherbandbreite auf reine Rechenleistung – ein wesentlich skalierbareres Problem.

Die Ergebnisse sprechen für sich. Auf einer NVIDIA L4 GPU verarbeitet das kleine Pulpie-Modell 13,7 Seiten pro Sekunde gegenüber Drippers 0,68 Seiten pro Sekunde. Das ist ein 20-facher Durchsatz. Auf reale Kosten umgerechnet: Das Bereinigen einer Milliarde Seiten kostet etwa 7.900 US-Dollar mit Pulpie gegenüber 159.000 US-Dollar mit Dripper.

Was das für Ihren KI-Stack bedeutet

Für Startups und Entwickler, die KI-Anwendungen aufbauen, ergeben sich aus dieser Forschung praktische Konsequenzen:

Erstens: Prüfen Sie Ihre Extraktionspipeline. Wenn Sie immer noch heuristikbasierte Extraktoren für Trainingsdaten oder RAG-Pipelines verwenden, lassen Sie messbare Leistung auf dem Tisch. Die Grenzkosten für bessere Extraktion sind jetzt nur noch ein Bruchteil dessen, was sie vor einem Jahr waren.

Zweitens: Denken Sie darüber nach, wo Extraktion in Ihre Architektur passt. Viele Teams behandeln Webinhalte als gelöstes Problem – Seite abrufen, HTML entfernen, fertig. Aber je ausgefeilter Modelle werden, desto wichtiger wird die Qualität ihrer Eingaben. Ihr Retrieval-System ist nur so gut wie seine Extraktionsschicht.

Drittens: Erwägen Sie Open-Source-Optionen. Pulpie reiht sich in ein wachsendes Ökosystem von Open-Source-Extraktionsmodellen ein. Die Zeiten, in denen teure proprietäre APIs für qualitative Extraktion nötig waren, neigen sich dem Ende zu.

Das große Ganze

Wir erleben einen leisen Wandel darin, wie die ML-Community über Datenqualität denkt. Jahrelang galt die Annahme, dass mehr Daten sauberere Daten übertrumpfen. Korpus hochskalieren, einfaches Filtern anwenden, länger trainieren – irgendwann überwältigt das Signal den Lärm.

Doch sobald Modelle ein höheres Fähigkeitsniveau erreichen, bricht diese Annahme zusammen. Wenn Sie auf Hunderten von Milliarden Tokens trainieren, summieren sich selbst kleine Korruptionsraten zu bedeutsamen Schäden. Und wenn Inferenzkontexte begrenzt sind, ist jedes rauschige Token ein nützliches Token weniger.

Die Ironie ist, dass Webextraktion – die unscheinbare Arbeit, Hauptinhalte aus HTML zu identifizieren – zu einer der wirkungsvollsten Interventionen in Ihrer gesamten ML-Pipeline werden könnte. Der nächste Durchbruch in der Leistung Ihres Modells kommt vielleicht nicht aus einer neuen Architektur. Er könnte schlicht daher kommen, das Web sorgfältiger zu lesen.

Saubere Daten sind nicht glamourös. Aber sie ist das, was ein gutes Modell von einem großartigen unterscheidet.