Waarom Websites Geen Schijn van Kans Hebben Tegen AI-agenten
Het Historische Moment dat Zich Herhaalt
Er is een geschiedenisles die me niet loslaat. In 1727, bijna drie eeuwen nadat Gutenberg de drukpers uitvond, accepteerde het Ottomaanse Rijk eindelijk deze technologie. Waarom zo laat? Omdat kopiisten en geestelijken wisten wat er geschreven stond, zolang woorden reisden met de snelheid van een menselijke hand. Een gedrukte tekst kon echter binnen een ochtend in duizenden handen belanden — onmogelijk terug te halen, onmogelijk te containen.
De Ottomanen kozen voor controle boven vooruitgang. Europa drukte, het Ottomaanse Rijk kopieerde. Binnen twee eeuwen werd die kennisachterstand een machtsachterstand. HistoriciDiscussiëren nog steeds over hoeveel dit heeft bijgedragen aan het verval van het rijk.
Volgens mij zien we exact hetzelfde gebeuren, nu online en op internetsnelheid.
Het Web als Één Groot Document
Waarom fascineert kunstmatige intelligentie me zo? Omdat AI-agents het hele web namens je kunnen lezen. Niet figuurlijk — letterlijk. Eén agent kan huuradvertenties in een hele stad scannen en pinpointen welke verhuurders de prijs verhoogden nadat er een nieuwe wet kwam. Duizend gecoördineerde agents kunnen de complete huizenmarkt dagelijks volgen. Doe hetzelfde voor prijzen, vacatures, medicijntekorten, rechtbankdocumenten. plotseling verandert het publieke web van miljarden losse pagina's in één doorzoekbaar naslagwerk.
Dit is opnieuw het drukpersmoment. Meer agents betekent meer leesbare pagina's nodig, wat weer meer agents aantrekt. De limiet is niet een miljard pagina's — het is het hele web, samengevoegd en doorzoekbaar.
De Portiers en Hun Verborgen Prijskaartje
De meeste grote websites hebben inmiddels maatregelen getroffen. Ze noemen het beveiliging. Anti-bot bescherming. Fraudepreventie. Klinkt redelijk, tot je achter de schermen kijkt.
Deze systemen werken door je verbinding te fingerprinten voordat je ook maar iets te zien krijgt. Je grafische kaart, je lettertypes, je schermresolutie, je muisbewegingen, het digitale handschrift van je verbinding — alles wordt gescoord tegen wat de leverancier op duizenden andere sites heeft gezien. Ziet alles er ongebruikelijk uit? Je wordt geblokkeerd. Geen toestemming gevraagd, want blijkbaar betekent veiligheid dat je geen toestemming nodig hebt.
De resultaten zijn voorspelbaar chaotisch. VPN-gebruikers worden geblokkeerd. Privacygerichte browsers worden geblokkeerd. Thuiswerkers die een kantoor-IP delen worden geblokkeerd. Ondertussen huren goed gefinancierde operaties residentiële IP-adressen per gigabyte en lezen wat ze willen. De poortwachter stopt betrouwbaar onderzoekers, journalisten, indie-ontwikkelaars en iedereen wiens agent arriveert zonder bedrijfsbudget.
Dit is de ongemakkelijke waarheid die niemand in de beveiligingsindustrie wil bespreken: deze systemen hebben vreselijke economische prikkels. Leveranciers worden betaald om bezoekers te blokkeren en hun "succespercentages" te rapporteren. Legitieme gebruikers die geweigerd werden en vertrokken? Die staan niet in die rapporten — want je kunt niet tellen wat nooit binnenkwam. De sites zien een dashboard vol geblokkeerde dreigingen. Ze zien nooit de lezers die het opgaven en vertrokken.
Wat de Portier Echt Controleert
Wat bepaalt nu of je door mag of die gevreesde "just a moment"-pagina krijgt?
Locatie, locatie, locatie. Het IP-adres van je verbinding onthult of je vanaf een thuisnetwerk of een serverfarm komt. Het systeem hoort het verschil meteen.
Hoe je browser praat. Voordat er ook maar iets laadt, onderhandelen je browser en de server over versleuteling. Die onderhandeling heeft subtiele fingerprints. Echt Chrome klinkt op één specifieke manier. Software dat doet alsof het Chrome is, klinkt net even anders in die eerste zin.
Wat er onder de motorkap zit. Scripts onderzoeken je browser: teken dit onzichtbare plaatje, rapporteer je grafische kaart, noem je lettertypes. Echte machines beantwoorden allemaal net even anders — zoals handschriften verschillen. Software beantwoordt óf als een server (geen grafische kaart, standaard lettertypes die niemand heeft) óf identiek elke keer (duizend bezoekers in exact dezelfde jas).
Of het verhaal klopt. Je browser claimt bepaalde specificaties in zijn eerste verzoek. De scripts van de pagina stellen dezelfde vragen. Als de antwoorden verschillen, liegt iemand.
Wanneer de portier twijfelt, wacht je — letterlijk. De "just a moment"-pagina draait een klein puzzeltje en kijkt hoe je browser het afhandelt. Echte browsers maken af en gaan verder. Veel scrapingttools raken daar vast, doen wat duizenden andere geblokkeerde bezoekers ook doen.
De Onvermijdelijke Aankomst
Mijn voorspelling: AI-agents zullen het web lezen, zoals de drukpers uiteindelijk het Ottomaanse Rijk bereikte. De technologie is te nuttig, de waarde te enorm, de druk te onweerstaanbaar. De enige vragen zijn hoe we daar komen en wie profiteert van de transitie.
De huidige poortwachters beschermen het web niet tegen schade. Ze innen huur voor een transitie die ze niet kunnen stoppen. Ze blokkeren kleine spelers terwijl goed gefinancierde operaties lachend door residentiële IP-boerderijen wandelen. Ze creëren wrijving voor legitiem onderzoek terwijl geavanceerde scrapers grotendeels ongemoeid blijven.
De ontwikkelaars en startups die vandaag bouwen met AI-agents zijn de early adopters van een technologie die binnen tien jaar standaard zal zijn. De drukpersanalogie is niet perfect — het web is kwetsbaarder, meer betwist, waardevoller als gedeelde infrastructuur. Maar de richting is helder.
De Ottomanen accepteerden uiteindelijk de drukpers, toen Europa te veel had gedrukt om te negeren. Met AI-agents zijn we daar nog niet. Maar de klok tikt, en de kosten om aan de verkeerde kant van deze transitie te staan worden steeds hoger.
De vraag is niet of je moet bouwen met AI-agents. Het is of je nu wilt bouwen, terwijl het landschap nog vormt, of wacht tot de voorwaarden door iemand anders worden bepaald.
Ik weet welk scenario klinkt als vooruitgang.