Ver voorbij headers en handshakes: web bot-auth verandert AI-verificatie
Web Bot Auth: Cryptografische Verificatie voor AI-Bots op het Web
Jarenlang vertrouwden we op simpele trucs zoals User-Agent strings, IP-adressen en reverse DNS. Het werkte redelijk, maar slimme aanvallers omzeilden het makkelijk. Met de opkomst van AI-agents voelt die methode als een verouderde ID-check in het donker. Tijd voor iets beters: Web Bot Auth, een experimenteel IETF-protocol dat Google test. Dit verandert hoe we bots écht verifiëren.
Waarom de Oude Methode Faalt
Laten we eerlijk zijn over het probleem. Traditionele checks hangen af van:
- User-Agent headers – Simpel te faken
- IP-reputatie – Wisselend door locaties
- Reverse DNS – Afhankelijk van andermans setup
- Patroonherkenning – Vol valse alarmen
Het stopt amateurspul, maar niet de profs. En als legitieme AI-agents vastlopen door een IP-wissel? Dan regent het supporttickets.
Hoe Web Bot Auth Werkt
Dit protocol levert cryptografische bewijskracht. In plaats van gokken of een request van Google komt, controleer je of Google het cryptografisch heeft ondertekend.
De kracht zit in loskoppeling van identiteit en IP. Agents tekenen requests met sleutels, die je onafhankelijk valideert. Voordelen:
- Cloud-IP's wisselen nonstop – Geen gedoe met whitelists meer
- Spoofing is onmogelijk – Headers tellen niet, handtekeningen wel
- Volledige inzage – Precies welke agent wanneer langskomt
Net als een notariële akte versus een mondje ja.
Nog in Experimentele Fase
Rem even in: Web Bot Auth is pril. Google signeert nog niet alles, de IETF-spec evolueert. Dit is geen totale omslag, maar een voorbereiding.
In de praktijk:
- Slechts deel van Google's traffic is gesigneerd
- Niet alle agents doen mee
- Specificatie kan wijzigen door feedback
Hou dus je oude checks aan: IP, DNS, User-Agent. Web Bot Auth komt erbovenop.
Web Bot Auth Implementeren
Bij grote platforms of CDN's zoals Cloudflare, AWS WAF of Akamai? Check je dashboard – vaak zit er al een schakelaar in.
Zelf aan de slag? Volg deze stappen:
1. Pak de Public Keys
Haal Google's publieke sleutels op van https://agent.bot.goog/.well-known/http-message-signatures-directory. Cache ze volgens Cache-Control.
2. Spot de Signature-Agent Header
Gesigneerde requests hebben Signature-Agent met g="https://agent.bot.goog". Dat signaleert een handtekening.
3. Valideer met RFC 9421
Controleer de Signature-header tegen Signature-Input via HTTP Message Signatures. Hier blijkt of het klopt.
4. Let op Vervaldatums
Handtekeningen en keys verlopen apart. Check beide los.
5. Altijd Terugval
Niet alles is gesigneerd. Blijf IP, DNS en User-Agent valideren. Dit is een extra laag.
Tip voor snelle apps: valideer async na de response. Zo blokkeert het geen performance.
Waarom Dit Jouw Setup Raakt
Voor API's, SaaS of content-sites lost het echte pijn op:
- Precieze bot-scheiding – Goede agents versus scrapers
- Zuivere analytics – Geen spoof-gedoe
- Minder valse blokkades – Gelukkiger klanten
- Toekomstklaar – AI-agents horen erbij, met bewijs
Het web krijgt machines met échte ID's.
Wat Jij Nu Doet
Check je provider – Cloudflare, AWS? Zoek Web Bot Auth in WAF-instellingen.
Onderzoek je checks – Noteer zwaktes. Waar past crypto?
Volg IETF – Blijf bij over evolutions.
Test met Google – Contacteer hun team voor early trials.
Plan vooruit – Custom of tool? Teken je route.
De Toekomstvisie
Web Bot Auth erkent: bots blijven, vecht er niet tegen. Bouw een web waar legitieme agents zich cryptografisch bewijzen, en sites slim beslissen.
Het is experimenteel, maar wordt standaard. Dan infrastructuur. Upgrade je bot-strategie nu, en loop voorop.
Handdrukken maken plaats voor crypto-bewijs.