Verkko on kriisissä – ja bottien syy

Ollaan rehellisiä: verkko on ajautunut tilanteeseen, jossa kukaan ei enää tiedä, kuka oikeastaan vierailee sivustolla.

Vuosikymmeniä verkkosivustot ja hakukoneet elivät hiljaisessa sopimuksessa. Me annoimme bottien indeksoida sivumme, ja ne lupasivat tuoda kävijöitä. Ei mitään virallista, mutta toimi. Se ystävällinen robots.txt-tiedosto oli käytännössä lapunen ovenpielessä: "Olkaa hyvä ja käyttäytykää nätisti."

Tämä aika on päättymässä.

Botit dominoivat – mutta ei hyvässä mielessä

Automatisoitu liikenne hallitsee nykyään internettiä. Tutkijoiden analyysien mukaan tekoälyn crawlerit ja agentit muodostavat valtaosan pyynnöistä, jotka osuvat suurimpien CDN-verkkojen palvelimille. Tässä on ikävä totuus:

• Tekoälyalustat noutavat tuhansia sivuja jokaisesta ainoasta kävijästä, jonka ne ohjaavat takaisin sivustolle
• -harjoitteen kerääminen on noussut hallitsevaksi web-crawlingin muodoksi
• Perinteinen robots.txt ei koskaan rakennettu tätä maailmaa varten – sillä ei voi varmentaa identiteettiä, määritellä tarkoitusta tai sopia hinnoista

Tilanne on kuin menisi ravintolaan ja löytäisi sieltä 10 000 ihmistä syömässä ilmaiseksi, koska he lupailevat mahdollisesti joskus lähettävänsä muutaman asiakkaan suuntaan.

Miksi robots.txt ei enää riitä

Arvostetaan hetki sitä, mitä robots.txt oikeastaan on: vapaaehtoinen, kunniaan perustuva tekstitiedosto, jonka crawlerit voivat ohittaa. Se on yhtä sitova kuin "hiljaisuusalue"-kyltti keskellä meteliä.

Uudemmat vaihtoehdot? Lähinnä suljetut CDN-ominaisuudet, jotka lukitsevat sinut tiettyjen palveluntarjoajien yhteyteen. Jos et käytä Cloudflarea, Akamaita tai jotain muuta yritystason ratkaisua, olet pulassa.

Tavalliselle kehittäjälle tai pienelle startupille omalla infrastruktuurilla ei ole olemassa standardoitua tapaa neuvotella tekoälyjärjestelmien kanssa sisällön käytöstä.

Tervetuloa terms.txt: uusi sopimus sivuston ja bottien välille

Tutkijat arXiv:ssä (arXiv:2609.11152) ovat ehdottaneet jotain uutta: terms.txt – ajattele sitä robots.txt:n aikuisena versiona, joka on valmis nykymaailmaan.

Perusidea: koneluettava sopimustiedosto, jonka verkkosivustot voivat sijoittaa sisältönsä viereen. Sen avulla voi ilmaista:

• Kuka käyttää (identiteetin varmistus Web Bot Auth -allekirjoitusten avulla)
• Miksi käyttää (allekirjoitetut tarkoitusjulistukset)
• Mitä voi käyttää (säännöt polku- ja tarkoituskohtaisesti)
• Kuinka paljon (valinnaisesti: HTTP 402 -neuvottelut oikeasta maksusta)

Järjestelmä sisältää delegointitunnukset, joiden avulla tekoälyagentit voivat toimia kehittäjien puolesta, allekirjoitetut kuitit joiden avulla sivustot voivat tarkastaa todellisen käytön, sekä alkuperäpaikkaan sidotut kryptografiset takeet.

Tekniset yksityiskohdat

Kauneus piilee yksityiskohdissa:

• Kevyt toteutus: Lisää vain 0,20–0,65 millisekuntia yhden suoritinytimen kuormaan. Käytännössä näkymätön useimmilla sivustoilla.
• Ei toimittajalukkoja: Toisin kuin CDN-kohtaiset ratkaisut, tämä toimii origin-palvelimella.
• Joustava monimutkaisuus: Aloitat yksinkertaisesti (kuin robots.txt) ja lisäät hienompia ehtoja tarpeen mukaan.

Miksi kehittäjien kannattaa kiinnittää huomiota

Jos rakennat tekoälypohjaisia työkaluja, keräät dataa tai pyörität mitä tahansa palvelua, joka hakee sisältöä verkosta, tämä on merkityksellistä useista syistä:

1. Yhteensopivuus standardoituu

Sen sijaan, että neuvottelisit käyttöoikeussopimuksia yksittäin, kuvittele maailma, jossa sivustot julkaisevat yksinkertaisesti omat ehtonsa ja allekirjoitat ne kryptografisesti. Paljon siistimpää.

2. Uudet ansaintamallit syntyvät

HTTP 402 ("Payment Required") on ollut olemassa vuosia, mutta sille ei koskaan rakennettu infrastruktuuria. Nyt sivustot voivat todella periä maksua premium-tyyppisestä API-käytöstä – onko kysyntää mikromaksuille per pyyntö?

3. Kunnioitus muuttuu todennettavaksi

Eettisesti toimiville tekoälyrakentajille tämä tarjoaa todisteen siitä, että sivuston toiveita noudatetaan. Kryptografisesti allekirjoitettu aikomus noudattaa sääntöjä on vahvempi kuin "lupasimme lukea robots.txt:n".

Matka eteenpäin

Ei mennä asioiden edelle. Tämä on tutkimusehdotus, ei standardi. Laaja käyttöönotto vaatisi suurten tekoälypalveluntarjoajien, selaimien valmistajien ja laajemman kehittäjäyhteisön tuen.

Mutta ajoitus on oikea. Verkon epävirallinen scraping-talous on hajoamassa, oikeudelliset kiistat tekoälyn harjoitteen käytöstä lisääntyvät, ja aidosti kaivataan standardeja, jotka eivät vaadi yritystason CDN-sopimuksia.

NameOceanilla näemme tällaisten infrastruktuurikeskustelujen muokkaavan sitä, miten verkko kehittyy. Olitpa rekisteröimässä domain-nimiä, isännöimässä sovelluksia tai rakentamassa seuraavan sukupolven tekoälytyökaluja, näiden protokollatason keskustelujen ymmärtäminen auttaa ennakoimaan, mihin internet on menossa.

Botit eivät katoa mihinkään. Kysymys on siitä, rakennammeko oikeudenmukaisen järjestelmän niiden pääsyn hallintaan – vai jatkammeko sen teeskentelyä, että huomeneltaan tekstifilu riittää.

Mitä sinä ajattelet? Onko virallinen neuvottelu sivustojen ja tekoälyjärjestelmien välillä väistämätöntä? Jaa ajatuksesi alla.