A web botok uralma: Miért nem elég már a robots.txt?

Az internet jelenlegi állapotában őszintén szólva egy rendetlen helyzet alakult ki, és ez egyre csak romlik.

Évtizedeken át egy hallgatólagos megállapodás működtette a keresők és a weboldalak kapcsolatát. Engedtük, hogy a robotok mászkáljanak az oldalainkon, cserébe kaptunk némi látogatóforgalmat. Nem volt semmi hivatalos, de működött. A kedves kis robots.txt fájl gyakorlatilag egy "kérem, legyenek szívesek" cetli volt a bejáratra tűzve.

Ez az era gyorsan véget ér.

A botok uralkodnak – és ez nem jó

Az automatizált forgalom ma már uralja az internetet. Kutatók elemzései szerint az AI alapú crawler-ek és ügynökök teszik ki a nagyobb CDN-ekre érkező kérések többségét. Itt a kellemetlen valóság:

• Az AI platformok ezernyi oldalt lehúznak minden egyes látogatóért, akit visszaküldenek egy weboldalra
• A képzési adatok gyűjtése vált a webcrawling domináns formájává
• A hagyományos robots.txt soha nem erre a világra készült – nem tud azonosítást ellenőrizni, célt meghatározni, feltételeket szabni vagy árat állítani

Ez olyan, mintha egy étterembe belépve azt látnád, hogy tízezer ember eszik ingyen, mert homályosan megígérték, hogy talán majd egyszer küldenek néhány vevőt.

Miért nem elég már a robots.txt

Értékeljük egy pillanatra, mi is a robots.txt valójában: egy önkéntes, tiszteletbeli rendszerű szöveges fájl, amit a crawlerek figyelmen kívül hagyhatnak. Annyira kötelező erejű, mint egy "csendes övezet" tábla egy hangos rockkoncerten.

Az újabb alternatívák? Főleg proprietáris CDN funkciók, amelyek egy adott szolgáltatóhoz láncolnak. Ha nem Cloudflare-t, Akamai-t vagy épp valami vállalati megoldást használsz, hoppon maradsz.

Egyéni fejlesztőknek vagy startupoknak, akik saját infrastruktúrát működtetnek, gyakorlatilag nincs szabványos módjuk tárgyalni az AI rendszerekkel, amelyek a tartalmukat elérik.

Itt jön a terms.txt: Egy okosabb kézfogás

Az arXiv kutatói (arXiv:2609.11152) egy új javaslatot tettek közzé: a terms.txt – gondolj rá úgy, mint a robots.txt felnőtt változatára, aki végre készen áll a való világra.

A lényege: egy gépileg olvasható feltételfájl, amelyet a weboldalak a tartalmuk mellé helyezhetnek, és amely kifejezi:

• Ki fér hozzá (azonosítás Web Bot Auth aláírásokat használva)
• Miért fér hozzá (aláírt szándékdeklarációk)
• Mit érhet el (útvonalankénti, célonkénti szabályok)
• Mennyiért (opcionálisan: HTTP 402 egyeztetések tényleges fizetéshez)

A rendszer delegációs tokeneket is tartalmaz, így az AI ügynökök a fejlesztők nevében járhatnak el, aláírt visszaigazolásokat a weboldalaknak az aktuális hozzáférés auditálásához, és eredet-szintű kriptográfiai garanciákat.

A technikai részletek

A szépség itt a részletekben rejlik:

• Külső függőségek nélkül: Mindössze 0.20-0.65ms overhead-et ad hozzá egyetlen vCPU-n. Ez gyakorlatilag észrevehetetlen a legtöbb felhasználásnál.
• Nincs vendor lock-in: A CDN-specifikus megoldásokkal ellentétben ez az origin szerver szintjén működik.
• Fokozatos komplexitás: Kezdheted egyszerűen (mint a robots.txt), és ahogy kell, adhatsz hozzá komplexebb feltételeket.

Miért számít ez a fejlesztőknek?

Ha AI-alapú eszközöket építesz, adatokat scraped, vagy bármilyen szolgáltatást működtetsz, ami webes tartalmat kér le, ez több okból is fontos:

1. A megfelelőség szabványosodik

Egy-egy weboldallal külön tárgyalni a hozzáférési feltételekről helyett képzeld el, hogy egyszerűen közzéteszik a feltételeket, és te kriptográfiailag aláírod őket. Sokkal tisztább.

2. Új bevételi modellek születnek

A HTTP 402 ("Payment Required") évek óta létezik, de soha nem volt mögötte infrastruktúra. Most a weboldalak ténylegesen díjat számíthatnak fel prémium API-stílusú hozzáférésért – per-kérés mikrotranszakciók, bárki?

3. A tisztelet visszakövethető lesz

Az etikus AI-fejlesztőknek ez bizonyítékot ad arra, hogy tiszteletben tartják az oldalak preferenciáit. Egy kriptográfiailag aláírt megfelelési szándék többet ér, mint egy "megígérjük, elolvastuk a robots.txt-t."

Az út előtte

Ne szaladjunk előre. Ez egy kutatási javaslat, nem szabvány. A szélesebb körű elfogadáshoz a nagyobb AI szolgáltatóknak, böngészőgyártóknak és a fejlesztői közösségnek is csatlakoznia kellene.

De a timing jó. A web informális scrapelési gazdasága összeomlik, az AI képzési adatok miatti jogi csaták szaporodnak, és valódi igény van olyan szabványokra, amelyek nem igényelnek vállalati CDN szerződéseket.

A NameOcean-nál látjuk, hogy az infrastruktúra körüli viták, mint ez is, formálják, hogyan fejlődik a web. Függetlenül attól, domaineket regisztrálsz, alkalmazásokat hostolsz, vagy a következő generációs AI eszközöket építed – ezek a protokoll-szintű beszélgetések segítenek előre látni, merre tart az internet.

A botok nem fognak elmenni. A kérdés az, hogy építünk-e egy tisztességes rendszert a hozzáférésük kezelésére – vagy folytatjuk azt a színlelést, hogy egy szöveges fájl, amit bárki figyelmen kívül hagyhat, elegendő.

Mit gondolsz? Elkerülhetetlen a formális tárgyalás a weboldalak és az AI rendszerek között? Írd meg kommentben!