Webbetten har mistet kontrollen – og vi har brug for nye regler

Internettet har et problem med crawling. Et stort et.

Tænk lige over, hvordan tingene har fungeret hidtil. Når en hjemmeside blev tilgængelig på nettet, var det en uskreven aftale: Vi lod søgemaskinernes botter komme forbi, og til gengæld fik vi noget trafik tilbage. Ikke formelt, ikke juridisk bindende – bare en forventning om gensidighed.

robots.txt-filen var esencialt et skilt ved indgangen: "Venligst bank på først."

Den aftale er ved at falde fra hinanden.

En by i brand

Automatiseret trafik dominerer nu nettet. Forskere har kortlagt trafikmønstre hos store CDN-udbydere og fundet noget overraskende: AI-crawlere og agenter udgør flertallet af alle requests.

Det er der flere grunde til:

• AI-platforme henter tusindvis af sider for hver eneste bruger, de sender retur
• Indhentning af træningsdata er blevet den primære form for web-crawling
• robots.txt var aldrig designet til denne virkelighed – filen kan hverken verificere identitet, beskrive formål eller forhandle priser

Tænk på det som at åbne en restaurant og opdage, at 10.000 mennesker spiser gratis, fordi de henkastet har lovet måske at sende et par gæster forbi engang.

Hvorfor robots.txt er utilstrækkelig

Lad os være ærlige omkring, hvad robots.txt egentlig er: en frivillig fil baseret på tillid, som enhver crawler kan ignorere uden konsekvenser. Det er cirka lige så bindende som et "stilles zone"-skilt til et rockband.

Nyere alternativer? For det meste proprietære CDN-funktioner, der låser dig fast til en specifik udbyder. Bruger du ikke Cloudflare, Akamai eller en anden enterprise-løsning? Så er du overladt til dig selv.

For den uafhængige udvikler eller startup, der kører egen infrastruktur, findes der reelt ingen standardiseret måde at forhandle med AI-systemer på.

terms.txt: En moden løsning

Forskere har nu præsenteret et alternativ i et paper på arXiv (arXiv:2609.11152): terms.txt. Forestil dig robots.txt, der er vokset op og har fået styr på sine ting.

Grundideen er en maskinlæsbar fil, hvor hjemmesider kan specificere:

• Hvem der tilgår dem (identitetsverifikation via Web Bot Auth-signaturer)
• Hvorfor de gør det (signerede erklæringer om hensigt)
• Hvad de må tilgå (regler per sti, per formål)
• Hvor meget det koster (valgfrit: HTTP 402-forhandling om faktisk betaling)

Systemet inkluderer delegeringstokens, så AI-agenter kan handle på vegne af udviklere, signerede kvitteringer til audit af faktisk adgang, og kryptografisk sikrede garantier.

De tekniske detaljer

Det smarte ved denne løsning ligger i implementeringen:

• Ingen ekstra afhængigheder: Kun 0,20-0,65 ms overhead på en enkelt vCPU – praktisk talt usynlig for de fleste.
• Ingen vendor lock-in: Fungerer på originserver-niveau, ikke kun hos bestemte CDN-udbydere.
• Skalerbar kompleksitet: Start simpelt (som robots.txt) og tilføj avancerede vilkår efter behov.

Hvorfor det her betyder noget for udviklere

Bygger du AI-drevne værktøjer, skraber data eller driver services, der trækker indhold fra nettet, så er der flere grunde til at holde øje med denne udvikling:

Standardiseret compliance

I stedet for at forhandle adgangsaftaler individuelt med hver hjemmeside, forestil dig en verden, hvor siderne blot publicerer deres vilkår, og du signerer dem kryptografisk. Rent og effektivt.

Nye forretningsmodeller

HTTP 402 ("Payment Required") har eksisteret i årevis uden reel infrastruktur. Nu kan hjemmesider faktisk begynde at tage betaling for premium API-agtig adgang til deres indhold – per-request mikrotransaktioner, anyone?

Verificerbar respekt

For etiske AI-byggeri giver dette bevis for, at I faktisk overholder site-præferencer. En kryptografisk signeret hensigtserklæring vejer tungere end "vi lover, vi læste robots.txt."

Vejen frem

Lad os ikke løbe foran os selv. Dette er et forskningsforslag, ikke en standard. Adoption kræver opbakning fra store AI-udbydere, browsermagere og det bredere udviklermiljø.

Men timingen er rigtig. Nettets uformelle crawling-økonomi er ved at bryde sammen, retssager om AI-træningsdata tårner sig op, og der er en reel efterspørgsel efter standarder, der ikke kræver enterprise-CDN-kontrakter.

Hos NameOcean følger vi den slags infrastruktursdiskussioner tæt. Uanset om du registrerer domains, hoster applikationer eller bygger næste generation af AI-værktøjer, giver det god mening at holde sig orienteret om disse protokol-niveau samtaler.

Botterne forsvinder ikke. Spørgsmålet er, om vi bygger et fair system til at styre deres adgang – eller om vi bliver ved med at lade som om, en tekstfil alle kan ignorere, er tilstrækkelig.

Hvad tænker du? Er formel forhandling mellem hjemmesider og AI-systemer uundgåelig? Skriv dine tanker nedenfor.