Verkkodatan piilotettu hinta: Miksi sisällön poiminta on nyt tärkeämpää kuin koskaan

Jokainen kielimalli käy läpi verkon kahdesti. Ensin esiharjoittelussa, jossa se oppii ihmisen tiedon rakenteita. Sitten käyttöhetkellä, kun se hakee oleellista kontekstia vastatakseen kysymyksiisi. Molemmissa vaiheissa piilee likainen salaisuus: valtaosa syötteestä on hyödyetöntä kohinaa.

Tuoreen tutkimuksen mukaan tyypillisellä verkkosivulla noin 70 prosenttia HTML:stä koostuu vakiosisällöstä — navigaatiomenuista, mainoksista, sivupalkeista, evästebannereista ja alatunnisteista. Sisältö, jota oikeasti tarvitset? Se on vain 30 prosenttia sivusta. Ja tässä juju: se 30 prosenttia ratkaisee kaiken.

Miksi datan laatu on oikea kilpailuetu

Koneoppimisyhteisö on keskittynyt mallin arkkitehtuuriin, parametrimääriin ja harjoittelumenetelmiin. Mutta kasvava tutkimuskirjallisuus viittaa siihen, että näennäisen tylsä datan valmistelutyö saattaa olla todellinen erottaja.

Vuoden 2025 tutkimuksessa (Ma et al., AICC) tehtiin paljastava kokeilu. Tutkijat loivat kaksi harjoittelukorusta identtisistä Common Crawl -tallenteista. Ainoa muuttuja oli poimintamenetelmä — toinen käytti perinteisiä heuristiikkoja, toinen mallipohjaista lähestymistapaa. Kaikki muu pysyi samana.

Malli, joka oli koulutettu puhtaammalla, mallipohjaisesti poimitulla datalla, pärjäsi 1,08 prosenttiyksikköä paremmin 13 vertailuarvostelmansa osalta. Vielä vaikuttavampaa: tämä yksittäinen muutos mahdollisti sen, että tutkijat päihittivät FineWeb- ja RefinedWeb-malleilla koulutetut mallit — molemmat数据集 ovat tunnettuja perusteellisista suodatusputkistoistaan.

Tämä löydös saa jokaisen ML-tiimin pysähtymään. Kun kaikki kilpailevat suurempien mallien kouluttamisessa tai uusien arkkitehtuurien kokeilemisessa, suurimmat hyödyt saattavat tulla yksinkertaisesti roskan poistamisesta.

Ongelma käyttöhetkellä

Datan laatu ei ole tärkeää pelkästään harjoittelussa. Tutkimus (Shi et al., ICML 2023) osoitti, että yksikin epäolennainen katkelma voi täysin harhauttaa mallin vastauksen. Kun hakujärjestelmäsi tuo mukaan kohinapitoista kontekstia, et ainoastaan tuhlaa laskentatehoa — aktiivisesti heikennät vastauksen laatua.

Tämä luo huolestuttavan dynamiikan tuotantojärjestelmille. RAG-putkistot (Retrieval-Augmented Generation) lupaavat ankkuroida vastaukset oleelliseen tietoon, mutta jos haku sisältää sivupalkkimainoksia ja evästemuistutuksia, ruiskutat myrkkyä konteksti-ikkunaasi.

Luvut ovat rajuja, kun tarkastellaan eri poimijoiden kykyä säilyttää rakenteellinen sisältö. Heuristiikkapohjaiset menetelmät kuten Trafilatura saavuttavat vain 0,13 samankaltaisuuspisteet koodilohkoille ja 0,61 matemaattisille kaavoille verrattuna mallipohjaisten menetelmien 0,91 ja 0,94 pisteeseen. Kun dokumentaatiosi sisältää koodiesimerkkejä tai teknistä merkintää, nämä poimintavirheet muuttuvat harjoittelun saastumiseksi.

Arkkitehtuurikysymys: Encoder vai decoder

Nykyiset poimintamenetelmät jakautuvat kahteen leiriin: rakennepohjaisiin ja sisältöpohjaisiin.

Rakennepohjaiset poimijat (Trafilatura, Readability, Boilerpipe) analysoivat HTML:ää pintatason signaalien kautta — DOM-sijainti, tagityypit, tekstin tiheys. Ne ovat nopeita eivätkä vaadi ML-overheadia, mutta ne sekoittavat samannäköisiä elementtejä. Navigaatiotaulukko ja datataulukko näyttävät identtisiltä rakenteellisesti, joten nämä menetelmät luokittelevat väärin väistämättä.

Lukemispohjaiset poimijat syöttävät varsinaisen sisällön transformer-malleille. Dripper, nykyinen markkinajohtaja, käyttää decoder-arkkitehtuuria, joka generoi tunnisteet token tokenilta. Tämä lähestymistapa saavuttaa erinomaisen tarkkuuden, mutta siinä on perustavanlaatuinen tehokkuusongelma: jokainen token vaatii koko mallin lukemista muistista. Nopeus sidotaan muistin kaistanleveyteen laskennan sijaan.

Tässä kohtaa uusi lähestymistapa nimeltä Pulpie tekee mielenkiintoisen arkkitehtuurivedon. Decoderin sijaan, joka generoi tunnisteita peräkkäin, Pulpie käyttää encoderia, joka tunnistaa jokaisen HTML-lohkon yhdellä eteenpäinmenolla. Tämä siirtää pullonkaulan muistin kaistanleveydestä puhtaaseen laskentaan — paljon skaalautuvampi ongelma.

Tulokset ovat vakuuttavia. NVIDIA L4 -näytönohjaimella pieni Pulpie-malli käsittelee 13,7 sivua sekunnissa verrattuna Dripperin 0,68 sivuun sekunnissa. Se on 20-kertainen nopeusparannus. Muutetaan tämä todellisiin kustannuksiin: miljardin sivun siivoaminen maksaa noin 7 900 dollaria Pulpiella versus 159 000 dollaria Dripperillä.

Mitä tämä tarkoittaa AI-pinollesi

Startupeille ja kehittäjille, jotka rakentavat AI-sovelluksia, tällä tutkimuksella on käytännön vaikutuksia:

Ensinnäkin, tarkista poimintaputkistosi. Jos käytät yhä heuristiikkapohjaisia poimijoita harjoitteludatalle tai RAG-putkistoille, jätät mitattavissa olevaa suorituskykyä pöydälle. Paremman poiminnan marginaalikustannus on nyt murto-osa siitä, mitä se oli vielä vuosi sitten.

Toiseksi, mieti, mihin poiminta sopii arkkitehtuuriisi. Monet tiimit kohtelevat verkkosisältöä ratkaistuna ongelmana — hae sivu, strippaa HTML, valmis. Mutta kun mallit muuttuvat monimutkaisemmiksi, niiden syötteiden laatu merkitsee enemmän. Hakujärjestelmäsi on yhtä hyvä kuin sen poimintataso.

Kolmanneksi, harkitse avoimen lähdekoodin vaihtoehtoja. Pulpie liittyy kasvavaan avoimen lähdekoodin poimintamallien ekosysteemiin. Aika, jolloin laadukas poiminta vaati kalliita patentoituja API-rajapintoja, on ohi.

Isompi kuva

Olemme todistamassa hiljaista muutosta siinä, miten ML-yhteisö ajattelee datan laadusta. Vuosien ajan oletuksena oli, että enemmän data voittaa puhtaamman datan. Laajenna korpusta, käytä perussuodatusta, harjoittele pidempään — lopulta signaali hukuttaa kohinan alleen.

Mutta kun mallit saavuttavat korkeampia kyvykkyyksiä, tämä oletus murtuu. Kun harjoittelet sadoilla miljardeilla tokeneilla, pienetkin korruptioprosentit kasautuvat merkitykselliseksi vahingoksi. Ja kun käyttökonstekstit ovat rajalliset, jokainen kohinatoken on yksi vähemmän hyödyllinen token.

Ironia on siinä, että verkkosisällön poiminta — se näennäisen tylsä työ, jossa erotetaan pääsisältö HTML:stä — saattaa olla yksi korkeimman vaikutuksen interventioista koko ML-putkistossasi. Seuraava läpimurto mallisi suorituskyvyssä ei ehkä tule uudesta arkkitehtuurista. Se saattaa tulla yksinkertaisesti siitä, että luet verkkoa huolellisemmin.

Siisti data ei ole seksikästä. Mutta se erottaa hyvän mallin loistavasta.