Edullinen datankeruu tekoälyprojekteihin: Miten välttää kalliit hosting-laskut

Jos pyörität tekoälyyn keskittyvää startupia, tunnet varmasti tilanteen. Datatieteilijä pyytää lisää raakadataa, operaatiovastaava huokaisee, ja seuraavaksi vastaan tulee viisinumeroinen lasku siirrosta.

Laadukas data on mallien polttoainetta, mutta sen hankkiminen mittakaavassa on perinteisesti tarkoittanut kolmea vaihtoehtoa: joko maksat kalliisti valmiista aineistoista, rakennat kaiken itse tai turvaudut ilmaisiin työkaluihin, jotka eivät kestä tuotantokuormaa.

Neljäskin reitti on kuitenkin olemassa.

Miksi siirtokustannukset nousevat nopeasti

Kielimallit ja suosittelujärjestelmät tarvitsevat dataa gigatavuittain. Jo kohtalaisen kokoinen harjoitusputki voi kuluttaa viikossa sata gigatavua. Tavallisilla pilvihinnoilla pelkkä siirto voi maksaa kuukaudessa useita tuhansia euroja.

Kun tähän lisätään useita rinnakkaisia kokeiluja, kustannukset kasvavat nopeasti. Pahinta on, että rahat menevät infrastruktuuriin eivätkä tuotekehitykseen tai uusien ihmisten palkkaamiseen.

Toimiva arkkitehtuuri datankeruuseen

Käytännössä toimiviksi ovat osoittautuneet seuraavat periaatteet.

Hajautettu keruu

Yhden suuren solmun sijaan dataa kerätään useammasta kevyestä instanssista eri palveluntarjoajilta. Tämä jakaa kaistanleveyden kuormaa ja suojaa tilanteessa, jossa yksi lähde alkaa rajoittaa liikennettä.

Asuin-IP-verkot

Datakeskusten IP-osoitteet havaitaan ja estetään helposti. Asuinverkoissa pyörivät IP:t sen sijaan pääsevät useammin läpi, jolloin uudelleenyrityksiä ja virheitä syntyy vähemmän.

Käyttöön perustuva hinnoittelu

Kiinteiden sopimusten sijaan monet palvelut tarjoavat nyt gigatavuperusteista laskutusta. Maksat vain siitä, mitä käytät, ja voit skaalata ilman pitkiä sitoumuksia. Tämä sopii erityisesti alkuvaiheen tiimeille.

Mitä palvelulta kannattaa vaatia

Ennen kuin valitset datankeruupalvelun, tarkista ainakin nämä:

• Selkeä hinnoittelu. Onko kustannuksia helppo ennustaa, vai onko piilokuluja ja minimiveloituksia?
• Joustavuus. Edellyttääkö palvelu pitkiä sopimuksia tai suuria aloitusmaksuja?
• Luotettavuus kuormassa. Toimiiko ratkaisu myös silloin, kun datamäärät kasvavat?
• Nopea käyttöönotto. Pääsetkö keräämään dataa tunneissa vai viikoissa?

Käytännön vinkkejä toteutukseen

Kun infrastruktuuri on valittu, nämä käytännöt auttavat pitämään kustannukset kurissa:

• Käytä eksponentiaalista viivettä, kun palvelin rajoittaa pyyntöjä.
• Seuraa onnistumisprosenttia. Jos alle 95 % pyynnöistä menee läpi, IP-kierron tai ajastuksen säätäminen kannattaa.
• Tallenna tulokset paikallisesti. Näin vältät turhat uudelleenpyynnöt.
• Suosi eräajoja reaaliaikaisen keruun sijaan. Monissa tapauksissa 95 % hyödystä saadaan jo yöaikaan ajetuilla erissä.

Mitä hyvin suunniteltu putki mahdollistaa

Kun datankeruu toimii luotettavasti ja ennustettavasti, tiimi voi keskittyä mallien kehittämiseen eikä infrastruktuurin ylläpitoon. Kustannukset pysyvät hallinnassa, ja uudet kokeilut voi käynnistää ilman budjettikokouksia.

Lopulta kyse on siitä, että infrastruktuuri tukee tuotteen kehitystä eikä syö sen resursseja.