Schimbarea politicii Cloudflare privind crawlerele din septembrie: Ce înseamnă aceasta pentru accesul AI la site-ul dvs. web

• Introducere care explică modificarea
• Ce înseamnă schimbările pentru proprietarii de site-uri web
• Legătura cu Googlebot
• Modul în care sunt evaluate crawlerele cu scopuri multiple
• Implicații pentru industrie
• Ce ar trebui să facă proprietarii de site-uri web

Noua realitate pentru traficul de crawlere

Cloudflare a implementat modificări importante la valorile implicite pentru crawlere pe 15 septembrie și, sincer, această schimbare îi va lua prin surprindere pe mulți proprietari de site-uri web. Dacă ați blocat crawlerele de antrenare AI pentru a vă proteja conținutul, ar trebui să verificați din nou setările, deoarece aceleași configurații ar putea bloca acum și Googlebot.

Este o problemă majoră. Googlebot este, în esență, biletul site-ului dumneavoastră către vizibilitatea în motoarele de căutare. Pierderea acestui acces va face ca traficul organic să se evapore mai repede decât o instanță de server în timpul unui atac DDoS.

De ce această schimbare bruscă?

Cloudflare face o declarație despre modul în care clasifică și gestionează traficul de crawlere. Schimbarea cheie vizează modul în care sunt evaluate crawlerele cu scopuri multiple. Anterior, crawlerele puteau fi scutite de anumite restricții dacă îndeplineau mai multe funcții. Acum, Cloudflare evaluează aceste crawlere în funcție de fiecare sarcină pe care o îndeplinesc, ceea ce înseamnă că, dacă un crawler are orice componentă de antrenare AI, ar putea declanșa blocări care afectează și funcționalitatea legitimă de căutare.

Gândiți-vă la acest lucru ca la un punct de control de securitate. Înainte, dacă aveți un permis VIP pentru o funcție, treceți pentru toate. Acum, fiecare funcție este evaluată separat. Conținutul dumneavoastră poate fi valoros pentru rezultatele căutării, dar dacă același bot antrenează și modele AI? Blocat.

Implicațiile pentru proprietarii de site-uri web

Aici devine practic relevant. Dacă utilizați funcțiile de gestionare a boților Cloudflare pentru a bloca crawlerele AI, trebuie să auditați imediat configurația. Site-urile care au blocat proactiv crawlerele de antrenare AI pot constata că accesul Googlebot este acum afectat ca urmare a modului în care funcționează noile valori implicite Cloudflare.

Acest lucru creează o situație dificilă pentru creatorii de conținut și întreprinderi. Pe de o parte, poate nu doriți ca conținutul dumneavoastră proprietar să alimenteze modele AI care concurează cu dumneavoastră. Pe de altă parte, a fi invizibil pentru Google este, în esență, sinucidere digitală pentru majoritatea afacerilor online.

Ce are de făcut un proprietar de site web?

În primul rând, verificați imediat setările din panoul Cloudflare. Uitați-vă specific la configurațiile pentru boți și crawlere. Dacă blocați crawlere AI cunoscute, poate fi necesar să creați reguli mai granulare care să diferențieze între crawlerele de căutare și boții de antrenare AI.

În al doilea rând, luați în considerare implicațiile pe termen lung ale acestei abordări. Pe măsură ce AI devine mai integrat în modul în care conținutul este descoperit și consumat, granițele dintre „crawler de căutare” și „crawler de antrenare AI” se vor estompa și mai mult. Aceasta ar putea fi prima dintre multe schimbări de politică pe care le vom vedea pe măsură ce industria se luptă cu modul de a gestiona această nouă realitate.

Imaginea de ansamblu

Această mișcare din partea Cloudflare reflectă tensiunea crescândă din ecosistemul web în jurul datelor de antrenare AI. Creatorii de conținut doresc protecție; companiile AI au nevoie de date; motoarele de căutare trebuie să își mențină funcționalitatea de bază. Cloudflare, situat la nivelul de rețea pentru milioane de site-uri web, ia acum decizii de politică care afectează toate cele trei părți.

Indiferent dacă sunteți de acord cu abordarea Cloudflare sau nu, un lucru este clar: era în care tot traficul de crawlere era tratat