Το Κρυφό Κόστος του Θορύβου στα Web Data: Γιατί η Εξαγωγή Περιεχομένου Έχει Σημασία Τώρα Περισσότερο από Ποτέ

Κάθε μοντέλο γλωσσικής τεχνητής νοημοσύνης «καταπίνει» τον ιστό δύο φορές. Πρώτα στο pre-training, όπου μαθαίνει τα μοτίβα της ανθρώπινης γνώσης. Και μετά στην inference, όταν ανακτά σχετικό context για να απαντήσει στις ερωτήσεις σου. Και στα δύο στάδια, κρύβεται μια βρόμικη αλήθεια: το μεγαλύτερο μέρος του input είναι άχρηστος θόρυβος.

Σύμφωνα με πρόσφατη έρευνα, περίπου το 70% του HTML σε μια τυπική ιστοσελίδα αποτελείται από boilerplate—μενού πλοήγησης, διαφημίσεις, sidebars, banners cookies και links στο footer. Το πραγματικό περιεχόμενο που σε νοιάζει; Αυτό είναι μόλις το 30% της σελίδας. Και εδώ είναι η παγίδα: αυτό το 30% καθορίζει τα πάντα.

Η Ποιότητα Δεδομένων ως Πραγματικό Πλεονέκτημα

Η κοινότητα του machine learning έχει εμμονή με την αρχιτεκτονική των μοντέλων, τον αριθμό των παραμέτρων και τα training regimes. Όμως μια αυξανόμενη σειρά ερευνών υποδηλώνει ότι η «βρώμικη» δουλειά της προετοιμασίας δεδομένων μπορεί να είναι ο πραγματικός διαφοροποιητής.

Μια μελέτη του 2025 από τον Ma et al. (AICC) έτρεξε ένα αποκαλυπτικό πείραμα. Η ομάδα δημιούργησε δύο training corpora από τα ίδια snapshots του Common Crawl. Η μόνη μεταβλητή ήταν η μέθοδος εξαγωγής—μια χρησιμοποιούσε παραδοσιακές heuristics, η άλλη έναν model-based approach. Όλα τα υπόλοιπα ήταν ίδια.

Το μοντέλο που εκπαιδεύτηκε με καθαρότερα, model-extracted δεδομένα ξεπέρασε τον «αδελφό» του κατά 1.08 ποσοστιαίες μονάδες σε 13 benchmarks. Ακόμα πιο εντυπωσιακά, αυτή η μόνη αλλαγή τους επέτρεψε να ξεπεράσουν μοντέλα εκπαιδευμένα στα FineWeb και RefinedWeb—δύο datasets γνωστά για τις εξεζητημένες filtering pipelines τους.

Αυτό το εύρημα πρέπει να κάνει κάθε ML ομάδα να σταματήσει και να σκεφτεί. Ενώ όλοι τρέχουν να εκπαιδεύσουν μεγαλύτερα μοντέλα ή να πειραματιστούν με νέες αρχιτεκτονικές, τα μεγαλύτερα κέρδη μπορεί να προέρχονται από το απλό «καθάρισμα του σκουπιδιού».

Το Πρόβλημα στην Inference

Η ποιότητα των δεδομένων έχει σημασία πέρα από το training. Έρευνα από τους Shi et al. (ICML 2023) έδειξε ότι ένα μόνο άσχετο passage μπορεί να αποπροσανατολίσει εντελώς την απάντηση ενός μοντέλου. Όταν το retrieval σύστημά σου φέρνει noisy context, δεν σπαταλάς απλά compute—υποβαθμίζεις ενεργά την ποιότητα της απόκρισης.

Αυτό δημιουργεί μια ανησυχητική δυναμική για τα production systems. Οι RAG (Retrieval-Augmented Generation) pipelines υπόσχονται να «γειώσουν» τις απαντήσεις σε σχετικές πληροφορίες, αλλά αν αυτό το retrieval περιλαμβάνει διαφημίσεις στο sidebar και ειδοποιήσεις cookies, τότε ρίχνεις δηλητήριο στο context window σου.

Τα νούμερα είναι αμείλικτα όταν δεις πώς διαφορετικοί extractors διατηρούν structured content. Οι heuristic-based μέθοδοι όπως η Trafilatura δείχνουν similarity scores μόλις 0.13 για code blocks και 0.61 για μαθηματικούς τύπους, σε σύγκριση με model-based approaches που φτάνουν 0.91 και 0.94 αντίστοιχα. Όταν η τεκμηρίωσή σου περιέχει παραδείγματα κώδικα ή τεχνικούς συμβολισμούς, αυτά τα extraction errors μετατρέπονται σε training corruption.

Το Αρχιτεκτονικό Δίλημμα: Encoder εναντίον Decoder

Οι σύγχρονες μέθοδοι εξαγωγής χωρίζονται σε δύο στρατόπεδα: structure-based και content-based.

Οι structure-based extractors (Trafilatura, Readability, Boilerpipe) αναλύουν το HTML μέσω επιφανειακών σημάτων—θέση στο DOM, τύποι tags, πυκνότητα κειμένου. Είναι γρήγοροι και δεν χρειάζονται ML overhead, αλλά μπερδεύουν στοιχεία που φαίνονται παρόμοια. Ένας πίνακας πλοήγησης και ένας πίνακας δεδομένων έχουν πανομοιότυπη δομική υπογραφή, οπότε αυτές οι μέθοδοι αναπόφευκτα κάνουν misclassify.

Οι reading-based extractors τροφοδοτούν το πραγματικό περιεχόμενο σε transformer models. Το Dripper, ο σημερινός leader, χρησιμοποιεί decoder architecture που παράγει labels token-by-token. Αυτή η προσέγγιση πετυχαίνει εξαιρετική ακρίβεια αλλά έχει ένα θεμελιώδες πρόβλημα αποδοτικότητας: κάθε token απαιτεί ανάγνωση ολόκληρου του μοντέλου από τη μνήμη. Η ταχύτητα δεσμεύεται από το memory bandwidth αντί για το compute.

Εδώ είναι που ένα νέο approach που ονομάζεται Pulpie κάνει μια ενδιαφέρουσα αρχιτεκτονική επ赌. Αντί για decoder που παράγει labels διαδοχικά, το Pulpie χρησιμοποιεί encoder που labeling κάθε HTML block σε ένα μόνο forward pass. Αυτό μετατοπίζει το bottleneck από memory bandwidth σε pure compute—ένα πολύ πιο scalable πρόβλημα.

Τα αποτελέσματα είναι εντυπωσιακά. Σε μια NVIDIA L4 GPU, το μικρό μοντέλο Pulpie επεξεργάζεται 13.7 σελίδες το δευτερόλεπτο έναντι 0.68 του Dripper. Αυτό είναι 20x βελτίωση στο throughput. Μεταφράζοντας σε πραγματικά κόστη: ο καθαρισμός ενός δισεκατομμυρίου σελίδων κοστίζει περίπου $7.900 με το Pulpie έναντι $159.000 με το Dripper.

Τι Σημαίνει Αυτό για το AI Stack σου

Για startups και developers που χτίζουν AI εφαρμογές, αυτή η έρευνα φέρνει πρακτικές επιπτώσεις:

Πρώτα, κάνε audit το extraction pipeline σου. Αν χρησιμοποιείς ακόμα heuristic-based extractors για training data ή RAG pipelines, αφήνεις μετρήσιμη απόδοση στο τραπέζι. Το marginal cost για καλύτερη εξαγωγή είναι πλέον κλάσμα από αυτό που ήταν ακόμα και πριν ένα χρόνο.

Δεύτερον, σκέψου πού ταιριάζει η εξαγωγή στην αρχιτεκτονική σου. Πολλές ομάδες αντιμετωπίζουν το web content ως solved problem—κάνε fetch τη σελίδα, strip το HTML, τέλειωσε. Αλλά καθώς τα μοντέλα γίνονται πιο εξελιγμένα, η ποιότητα των inputs τους έχει μεγαλύτερη σημασία. Το retrieval σύστημά σου είναι τόσο καλό όσο το extraction layer του.

Τρίτον, εξέτασε τις open-source επιλογές. Το Pulpie εντάσσεται σε ένα αναπτυσσόμενο οικοσύστημα open-source extraction models. Οι μέρες που χρειαζόσουν ακριβά proprietary APIs για quality extraction κοσμούνται.

Η Μεγαλύτερη Εικόνα

Μαρτυρούμε μια ήσυχη μετατόπιση στο πώς η ML κοινότητα σκέφτεται την ποιότητα δεδομένων. Για χρόνια, η υπόθεση ήταν ότι περισσότερα δεδομένα νικούν τα καθαρότερα δεδομένα. Κλιμάκωσε το corpus σου, εφάρμοσε βασικό filtering, εκπαίδευσε περισσότερο—τελικά το signal θα υπερνικήσει τον θόρυβο.

Αλλά καθώς τα μοντέλα φτάνουν σε υψηλότερα επίπεδα ικανότητας, αυτή η υπόθεση καταρρέει. Όταν εκπαιδεύεις σε εκατοντάδες δισεκατομμύρια tokens, ακόμα και μικρά ποσοστά corruption συσσωρεύονται σε σημαντική ζημιά. Και όταν τα inference contexts είναι bound, κάθε noisy token είναι ένα χρήσιμο token λιγότερο.

Η ειρωνεία είναι ότι η web extraction—η «αξιοθρήνητη» δουλειά της αναγνώρισης του κύριου περιεχομένου μέσα στο HTML—μπορεί να είναι μία από τις υψηλότερης μόχλευσης παρεμβάσεις σε ολόκληρη την ML pipeline σου. Η επόμενη breakthrough στην απόδοση του μοντέλου σου μπορεί να μην προέρχεται από μια νέα αρχιτεκτονική. Μπορεί να προέρχεται από το απλό να διαβάζεις τον ιστό πιο προσεκτικά.

Τα καθαρά δεδομένα δεν είναι glamorous. Αλλά είναι αυτά που διαχωρίζουν ένα καλό μοντέλο από ένα εξαιρετικό.