Промяната в политиката на Cloudflare за пълзачи през септември: Какво означава тя за достъпа на изкуствения интелект до вашия уебсайт

• Въведение, обясняващо промяната
• Какво означават промените за собствениците на уебсайтове
• Връзката с Googlebot
• Как се оценяват многофункционалните пълзачи (crawlers)
• Последствия за индустрията
• Какво трябва да направят собствениците на уебсайтове

Новата реалност за трафика от пълзачи

Cloudflare внедри важни промени в настройките по подразбиране за пълзачи на 15 септември и честно казано, тази промяна ще изненада много собственици на уебсайтове. Ако сте блокирали пълзачите за обучение на изкуствен интелект, за да защитите съдържанието си, може да искате да проверите отново настройките си, защото същите тези конфигурации може вече да блокират и Googlebot.

Това е от голямо значение. Googlebot е по същество билетът на вашия уебсайт за видимост в търсачките. Ако загубите този достъп, органичният ви трафик ще изчезне по-бързо от сървърна инстанция по време на DDoS атака.

Защо внезапната промяна?

Cloudflare прави изявление относно това как категоризира и обработва трафика от пълзачи. Ключовата промяна засяга начина, по който се оценяват многофункционалните пълзачи. Преди пълзачите можеха да получат разрешение за определени ограничения, ако изпълняваха множество функции. Сега Cloudflare преценява тези пълзачи въз основа на всяка единична задача, която изпълняват, което означава, че ако един пълзач има компоненти за обучение на изкуствен интелект, това може да задейства блокировки, които засягат и легитимната функционалност на търсачките.

Представете си това като контролно-пропускателен пункт. Преди, ако имахте VIP пропуск за една функция, преминавахте за всичко. Сега всяка функция се оценява поотделно. Съдържанието ви може да е ценно за резултатите от търсенето, но ако същият бот също обучава модели на изкуствен интелект? Блокиран.

Последствия за собствениците на уебсайтове

Тук нещата стават практически. Ако използвате функциите за управление на ботове на Cloudflare, за да блокирате пълзачи на изкуствен интелект, трябва незабавно да одитирате конфигурацията си. Сайтове, които проактивно блокират пълзачи за обучение на изкуствен интелект, може да открият, че достъпът на Googlebot е засегнат като следствие от начина, по който работят новите настройки по подразбиране на Cloudflare.

Това създава трудна ситуация за създателите на съдържание и бизнеса. От една страна, може да не искате собственото ви съдържание да захранва модели на изкуствен интелект, които конкурират вас. От друга страна, невидимостта за Google е по същество цифрово самоубийство за повечето онлайн бизнеси.

Какво да направи собственикът на уебсайт?

Първо, проверете настройките в таблото за управление на Cloudflare веднага. Обърнете специално внимание на конфигурациите за ботове и пълзачи. Ако блокирате известни пълзачи на изкуствен интелект, може да се наложи да създадете по-гранулирани правила, които разграничават пълзачите за търсене от ботовете за обучение на изкуствен интелект.

Второ, помислете за дългосрочните последици от този подход. Тъй като изкуственият интелект става все по-интегриран в начина, по който съдържанието се открива и консумира, границите между „пълзач за търсене“ и „пълзач за обучение на изкуствен интелект“ ще се размиват все повече. Това може да е първата от много промени