Robots.txt er på vei til å bli irrelevant – og bransjen trenger en ny standard

La meg være direkte: weben har et problem med crawling, og det er i ferd med å bli akutt.

I årtier har nettsider levd i en uformell avtale med søkemotorer. Vi lot botene deres hente data fra sidene våre, og de sendte besøkende tilbake. Det var aldri formalisert, men det fungerte. Den trofaste robots.txt-filen var egentlig bare en høflig forespørsel om å oppføre seg pent.

Den tiden er over.

Botene tar over – og det er ikke bra

Automatisk trafikk dominerer nå internett. Ifølge forskere som analyserer webtrafikk-mønstre, utgjør AI-crawlere og agenter flertallet av forespørsler som treffer store CDN-er. Her er realiteten:

• AI-plattformer henter tusentalls sider for hver eneste besøkende de sender tilbake til en nettside
• Innsamling av treningsdata har blitt den dominerende formen for web-crawling
• Tradisjonell robots.txt var aldri designet for dette – den kan ikke verifisere identitet, spesifisere formål, definere vilkår eller sette priser

Det er som å komme til en restaurant og finne 10.000 mennesker som spiser gratis fordi de lovet vagt at de kanskje kunne sende noen kunder din vei en gang.

Hvorfor robots.txt ikke lenger strekker til

La oss være ærlige om hva robots.txt faktisk er: en frivillig tillitsbasert tekstfil som crawlbots kan ignorere. Den er omtrent like juridisk bindende som et skilt som ber om stillhet på en høylytt rockkonsert.

De nyere alternativene? For det meste proprietære CDN-funksjoner som låser deg til spesifikke leverandører. Kjører du ikke Cloudflare, Akamai eller en annen enterprise-løsning? Da er du overlatt til deg selv.

For uavhengige utviklere eller startups som drifter sin egen infrastruktur, finnes det rett og slett ingen standardisert måte å forhandle med AI-systemer som henter innhold fra nettsidene dine.

Enter terms.txt: En smartere avtale

En ny forslag fra forskere på arXiv (arXiv:2609.11152) introduserer terms.txt – tenk på det som robots.txt som har vokst opp og er klart for den virkelige verden.

Hovedidéen: en maskinlesbar vilkårsfil som nettsider kan plassere ved siden av innholdet sitt, og som uttrykker:

• Hvem som får tilgang (identitetsverifisering via Web Bot Auth-signaturer)
• Hvorfor de får tilgang (signerte intensjonserklæringer)
• Hva de får tilgang til (regler per bane, per formål)
• Hvor mye (valgfritt: HTTP 402-forhandling for faktisk betaling)

Systemet inkluderer delegeringstokener slik at AI-agenter kan opptre på vegne av utviklere, signerte kvitteringer så nettsider kan revidere faktisk tilgang, og kryptografiske garantier håndhevet av origin-serveren.

De tekniske høydepunktene

Skjønnheten ligger i detaljene:

• Ingen avhengigheter: Legger kun til 0,20 til 0,65 ms overhead på en enkelt vCPU. Knapt merkbart for de fleste bruksområder.
• Ingen leverandør-lock-in: I motsetning til CDN-spesifikke løsninger fungerer dette på origin-server-nivå.
• Gradert kompleksitet: Du kan starte enkelt (som med robots.txt) og legge til sofistikerte vilkår etter hvert.

Hvorfor utviklere bør bry seg

Hvis du bygger AI-drevne verktøy, skraper data eller drifter tjenester som henter innhold fra weben, er dette viktig av flere grunner:

1. Compliance blir standardisert

I stedet for å forhandle tilgangsavtaler én etter én, tenk deg en verden der nettsider rett og slett publiserer vilkårene sine og du signerer dem kryptografisk. Mye ryddigere.

2. Nye inntektsmodeller dukker opp

HTTP 402 ("Payment Required") har eksistert i år, men aldri hatt infrastruktur til å støtte det. Nå kan nettsider faktisk kreve betaling for premium API-aktig tilgang til innholdet sitt – per-forespørsel-mikrotransaksjoner, kanskje?

3. Respekt blir verifiserbar

For etiske AI-utviklere gir dette bevis på at du respekterer nettsiders preferanser. En kryptografisk signert intensjon om å overholde reglene er bedre enn "vi lover at vi leste robots.txt."

Veien videre

La oss ikke hoppe for langt foran. Dette er et forskningsforslag, ikke en standard. Adopsjon ville kreve støtte fra store AI-leverandører, nettleserutviklere og det bredere utviklermiljøet.

Men timingen er riktig. Webens uformelle skrapingsøkonomi bryter sammen, rettssaker om AI-treningsdata multipliseres, og det er genuint ønske om standarder som ikke krever enterprise CDN-kontrakter.

Hos NameOcean ser vi hvordan slike infrastrukturspørsmål former hvordan weben utvikler seg. Enten du registrerer domener, drifter applikasjoner eller bygger neste generasjons AI-verktøy, hjelper det å forstå disse protokollnivå-samtalene med å forutse hvor internett er på vei.

Botene forsvinner ikke. Spørsmålet er om vi bygger et rettferdig system for å håndtere tilgangen deres – eller om vi fortsetter å late som en tekstfil som alle kan ignorere er tilstrekkelig.

Hva tenker du? Er formelle forhandlinger mellom nettsider og AI-systemer uunngåelig? Si fra i kommentarene.