Il web ha un problema con i crawler, e sta peggiorando

Diciamolo chiaro: il web ha un problema con i crawler, e sta peggiorando.

Per decenni, i siti web hanno operato su un patto gentleman con i motori di ricerca. Lasciavamo che i loro bot indicizzassero le nostre pagine, e loro ci mandavano visitatori. Non era formale, ma funzionava. Quel caro vecchio robots.txt era sostanzialmente un "per favore, siate gentili" attaccato alla porta.

Quell'epoca sta finendo. Velocemente.

I Bot Stanno Vincendo (E Non È una Cosa Positiva)

Il traffico automatizzato ormai domina internet. Secondo i ricercatori che analizzano i pattern di traffico web, i crawler e agenti AI rappresentano la maggioranza delle richieste che colpiscono i principali CDN. Ecco la realtà scomoda:

• Le piattaforme AI prelevano migliaia di pagine per ogni singolo visitatore che riportano su un sito
• La raccolta di dati per l'addestramento è diventata la forma dominante di crawling web
• Il vecchio robots.txt non è mai stato pensato per questo mondo: non può verificare identità, specificare scopi, definire termini o fissare prezzi

È come entrare in un ristorante e trovare 10.000 persone che mangiano gratis perché hanno vagamente promesso di mandarti forse qualche cliente.

Perché robots.txt Non Basta Più

Apprezziamo cosa è realmente robots.txt: un file di testo volontario, basato sul sistema dell'onore, che i crawler possono ignorare. Ha la stessa forza legale di un cartello "zona silenziosa" a un concerto rock.

Le alternative più recenti? Funzionalità proprietarie dei CDN che ti incatenano a provider specifici. Se non usi Cloudflare, Akamai o qualunque soluzione enterprise di moda, sei fuori.

Per lo sviluppatore indipendente o la startup che gestisce la propria infrastruttura, non esiste fondamentalmente modo standardizzato per negoziare con i sistemi AI che accedono ai tuoi contenuti.

Arriva terms.txt: Una Stretta di Mano Più Intelligente

Una nuova proposta dei ricercatori su arXiv (arXiv:2609.11152) introduce terms.txt—pensalo come robots.txt cresciuto e pronto per il mondo reale.

L'idea di base: un file di termini leggibile dalle macchine che i siti possono posizionare accanto ai loro contenuti, esprimendo:

• Chi sta accedendo (verifica identità tramite firme Web Bot Auth)
• Perché stanno accedendo (dichiarazioni di intento firmate)
• Cosa possono accedere (regole per-path, per-scopo)
• Quanto (opzionale: negoziazione HTTP 402 per pagamenti veri)

Il sistema include token di delega così gli agenti AI possono agire per conto degli sviluppatori, ricevute firmate così i siti possono controllare gli accessi reali, e garanzie crittografiche imposte all'origine.

I Dettagli Tecnici

La bellezza sta nei dettagli:

• Implementazione senza dipendenze: Aggiunge solo 0.20-0.65ms di overhead su una singola vCPU. Praticamente invisibile per la maggior parte degli usi.
• Nessun vendor lock-in: A differenza delle soluzioni specifiche per CDN, funziona a livello di server origine.
• Complessità graduata: Puoi iniziare in modo semplice (come robots.txt) e aggiungere termini sofisticati quando serve.

Perché Gli Sviluppatori Dovrebbero Preoccuparsi

Se stai costruendo strumenti alimentati da AI, facendo scraping di dati, o gestendo qualsiasi servizio che estrae contenuti dal web, questo conta per diverse ragioni:

1. La compliance diventa standardizzata

Invece di negoziare accordi di accesso uno per uno, immagina un mondo dove i siti pubblicano semplicemente i loro termini e tu li firmi crittograficamente. Molto più pulito.

2. Emergono nuovi modelli di ricavo

HTTP 402 ("Payment Required") esiste da anni ma non ha mai avuto infrastruttura per supportarlo. Ora i siti possono effettivamente chiedere pagamento per accesso premium stile API ai loro contenuti—microtransazioni per richiesta, qualcuno?

3. Il rispetto diventa verificabile

Per chi costruisce AI etiche, questo fornisce prova che stai onorando le preferenze dei siti. Un intento crittograficamente firmato a rispettare batte "promettiamo di aver letto robots.txt."

La Strada Davanti

Non correre troppo. Questa è una proposta di ricerca, non uno standard. L'adozione richiederebbe il supporto dei principali provider AI, dei produttori di browser e della più ampia comunità di sviluppatori.

Ma il momento è quello giusto. L'economia informale del web scraping si sta rompendo, le battaglie legali sui dati di addestramento AI si moltiplicano, e c'è appetito genuino per standard che non richiedano contratti CDN enterprise.

Da NameOcean, vediamo che dibattiti infrastrutturali come questo stanno plasmando come evolve il web. Che tu stia registrando domini, ospitando applicazioni, o costruendo la prossima generazione di strumenti AI, capire queste conversazioni a livello di protocollo ti aiuta a prevedere dove sta andando internet.

I bot non stanno andando da nessuna parte. La domanda è se costruiamo un sistema equo per gestire il loro accesso—o continuiamo a fingere che un file di testo che tutti possono ignorare sia sufficiente.

Cosa ne pensi? La negoziazione formale tra siti web e sistemi AI è inevitabile? Lascia i tuoi pensieri qui sotto.