De olifant in je datacenter

Je website staat onder druk. Niet door hackers, maar door vriendelijke AI-bots. Die vreten je bandbreedte op met een patroon waar je infrastructuur niet op voorbereid is.

Feit is: bijna 32% van het verkeer op grote CDNs is geautomatiseerd. Denk aan zoekmachine-crawlers, uptime-checkers en ad-trackers. Maar nu nemen AI-assistenten en trainingsbots de overhand. Ze slurpen de hele web op alsof ze een digitaal archief bouwen.

AI-bots zijn niet per se het probleem. Veel sites willen juist dat hun content in AI-modellen belandt. Ontwikkelaars hopen dat hun docs opduiken in ChatGPT. Webshops willen producten in AI-zoekresultaten. Uitgevers kijken naar nieuwe inkomsten via AI-licenties.

Het echte issue? AI-verkeer botst met menselijk verkeer, terwijl de meeste CDN-setups je dwingen te kiezen.

Waarom AI je cache sloopt

Caching is simpel. Bij een verzoek checkt je CDN of er een verse kopie ligt. Hit? Snel geleverd. Miss? Terug naar de origin server, met vertraging en extra kosten.

Het draait om vaak gevraagde content vasthouden. Dat past perfect bij mensen: homepage, categorieën, populaire blogs. Je cache leert het patroon en houdt de hits warm.

AI-bots gooien roet in het eten. Dit doen ze:

1. Ze halen alles op, zonder herhaling. Een mens bekijkt 20 pagina's. Een AI-bot voor training haalt duizenden unieke URLs. Meer dan 90% is nieuw en eenmalig.

2. Geen logische routes. Mensen klikken hiërarchisch. AI springt van docs naar afbeeldingen, oude blogs en API's. Dat vuilt je cache op en verdringt echt verkeer.

3. Vaak slordig. Slechte URL-behandeling leidt tot 404's en redirects. Meerdere bot-instanties gedragen zich als aparte users, zonder gedeelde cache.

Gevolg? Je cache puilt uit met eenmalige rommel, terwijl populaire content verdwijnt. Miss rates exploderen. Je origin server kreunt. Kosten schieten omhoog.

De onmogelijke keuze

Je zit klem. Optimaliseer voor mensen, en AI sloopt je setup. Optimaliseer voor AI, en je echte users wachten langer.

Huidige CDNs zijn gebouwd voor simpele bots zoals Google. Nu overspoelen AI-trainingen alles. Tijd voor een nieuw cache-ontwerp.

Wat data laat zien

Onderzoek van Zhang c.s. (Symposium on Cloud Computing 2025) analyseerde echte CDN-logs. Conclusies:

• AI haalt extreem veel unieke URLs – bijna alles nieuw.
• Grote diversiteit – bots mikken op docs, code, media, wat caching bemoeilijkt.
• Slecht patroon – veel fouten en redirects verspillen resources.

Trainingsbots zijn het ergst: ze willen alles.

Oplossingen in zicht

Gelukkig passen CDN-aanbieders zich aan. Geen blokkades of keuzes, maar slimme segmentatie.

Zo zou het eruit kunnen zien:

Gescheiden cache-lagen: Menselijk en AI-verkeer apart optimaliseren.

Bot-herkenning: Goede AI (voor indexering) vs. verspillers scheiden en anders routeren.

Kosten-gebaseerd: 'Pay-per-crawl' of waarde-gedreven toegang.

Flexibele TTL's: Verschil in houdbaarheid per patroon.

Wat het voor jou betekent

Dit raakt iedereen met een site op moderne infra.

Developers: Laat docs indexeren, maar houd API-snelheid intact.

Webshops: Producten in AI? Ja, maar checkout mag niet vertragen door cache-vullers.

Uitgevers: Licenties lonen, zolang lezers niet lijden.

CDN-gebruikers: Check je bot-verkeer. Praat met je provider over segmentatie.

De grote shift

Dit is meer dan tech. Het is een keerpunt: web-infra voor mensen botst met AI-tijdperk. Pijnlijk, maar het leidt tot betere systemen.

Nieuwe CDNs kiezen niet meer. Ze handelen beide slim, automatisch en goedkoop.

Pas je cache aan op het web van nu, niet van vroeger.

Klaar om je site te optimaliseren voor mensen én AI? Bij NameOcean zit Vibe Hosting vol slimme cache-tools voor hedendaags verkeer. Wij bouwen voor de echte webwereld.