Webben har ett crawlarproblem – och det blir värre

Låt oss vara ärliga: webben har ett problem, och det eskalerar snabbt.

I decennier har webbplatser och sökmotorer levt på en informell överenskommelse. Vi lät deras bots crawla våra sidor, och de skickade tillbaka besökare. Inget formellt kontrakt, men det fungerade. Din enkla robots.txt-fil var som en lapp på dörren: "Var snäll och uppför dig."

Den eran håller på att ta slut.

Botarna tar över (och det är ingen bra utveckling)

Automatiserad trafik dominerar numera internet. Enligt forskare som analyserar webbtrafik utgör AI-crawlers och agenter majoriteten av förfrågningar som når stora CDN-nätverk. Här är verkligheten:

• AI-plattformar hämtar tusentals sidor för varje enskild besökare de levererar tillbaka
• Insamling av träningsdata har blivit den dominerande formen av webbcrawling
• Traditionell robots.txt var aldrig designad för den här världen – den kan inte verifiera identitet, specificera syfte, definiera villkor eller sätta priser

Det är som att komma till en restaurang och hitta 10 000 personer som äter gratis för att de lovat skicka några potentiella kunder någon gång i framtiden.

Varför robots.txt inte längre räcker

Låt oss uppskatta vad robots.txt faktiskt är: en frivillig, hederssystem-baserad textfil som crawlers kan ignorera. Den är ungefär så juridiskt bindande som en "tyst zon"-skylt på en högljudd rockkonsert.

De nyare alternativen? Till största delen proprietära CDN-funktioner som låser in dig hos specifika leverantörer. Om du inte använder Cloudflare, Akamai eller någon annan enterprise-lösning, är du utelämnad.

För den oberoende utvecklaren eller startupen som kör sin egen infrastruktur finns det i praktiken inget standardiserat sätt att förhandla med AI-system som använder ditt innehåll.

Enter terms.txt: En smartare handskakning

Ett nytt förslag från forskare på arXiv (arXiv:2609.11152) introducerar terms.txt – tänk på det som robots.txt som blivit vuxen och redo för verkligheten.

Kärnidén: en maskinläsbar villkorsfil som webbplatser kan placera bredvid sitt innehåll, där de kan uttrycka:

• Vem som kommer åt (identitetsverifiering via Web Bot Auth-signaturer)
• Varför de kommer åt (signerade avsiktsförklaringar)
• Vad de kan komma åt (regler per sökväg, per syfte)
• Hur mycket (valfritt: HTTP 402-förhandling för faktisk betalning)

Systemet inkluderar delegeringstokens så att AI-agenter kan agera på utvecklares vägnar, signerade kvitton så att webbplatser kan granska faktisk åtkomst, samt ursprungsbaserade kryptografiska garantier.

De tekniska höjdpunkterna

Skönheten ligger i detaljerna:

• Implementering utan beroenden: Lägger bara till 0,20 till 0,65 ms overhead på en enskild vCPU. Det är i praktiken osynligt för de flesta användningsfall.
• Ingen vendor lock-in: Till skillnad från CDN-specifika lösningar fungerar detta på servernivå.
• Gradvis komplexitet: Du kan börja enkelt (som robots.txt) och lägga till sofistikerade villkor vid behov.

Varför utvecklare bör bry sig

Om du bygger AI-drivna verktyg, skrapar data eller driver någon tjänst som hämtar innehåll från webben, spelar detta roll av flera skäl:

1. Efterlevnad blir standardiserad

Istället för att förhandla fram åtkomstavtal ett efter ett, föreställ dig en värld där sajter helt enkelt publicerar sina villkor och du signerar dem kryptografiskt. Mycket renare.

2. Nya intäktsmodeller dyker upp

HTTP 402 ("Payment Required") har funnits i åratal men saknade infrastruktur för att stödja det. Nu kan webbplatser faktiskt ta betalt för premium-API-åtkomst till sitt innehåll – mikrobetalningar per förfrågan, någon?

3. Respekt blir verifierbar

För etiska AI-byggare ger detta bevis för att ni hedrar sidornas preferenser. En kryptografiskt signerad avsikt att följa reglerna slår "vi lovar att vi läste robots.txt".

Vägen framåt

Låt oss inte走太快. Det här är ett forskningsförslag, inte en standard. Adoption skulle kräva engagemang från stora AI-leverantörer, webbläsartillverkare och det bredare utvecklargemenskapen.

Men timingen är rätt. Webens informella skrapekonomi håller på att bryta ihop, rättsliga strider kring AI-träningsdata multipliceras, och det finns verklig aptit på standarder som inte kräver enterprise CDN-kontrakt.

På NameOcean ser vi hur infrastrukturdebatter som denna formar hur webben utvecklas. Oavsett om du registrerar domains, hostar applikationer eller bygger nästa generations AI-verktyg, hjälper det att förstå dessa protokollnivådiskussioner för att förutse vart internet är på väg.

Botarna försvinner inte. Frågan är om vi bygger ett rättvist system för att hantera deras åtkomst – eller fortsätter låtsas att en textfil som alla kan ignorera är tillräcklig.

Vad tycker du? Är formell förhandling mellan webbplatser och AI-system oundviklig? Skriv ner dina tankar nedan.