Уебът има проблем с ботовете — и става все по-зле

Нека си говорим директно: мрежата е в криза с краулинга и нещата тепърва ще се влошават.

Години наред сайтовете разчитаха на една неписана джентълменска сделка с търсачките. Пускаме техните ботове да обхождат страниците ни, те ни връщат посетители. Не беше официално, но вършеше работа. Онзи приятелски robots.txt файл беше като бележка "моля, бъдете любезни", залепена на вратата.

Този свят бързо си отива.

Ботовете печелят — но не за добро

Автоматизираният трафик вече доминира в интернет. Според изследователи, анализиращи моделите на уеб трафик, AI краулерите и агентите формират мнозинството от заявки към големите CDN мрежи. Ето каква е неприятната истина:

• AI платформите теглят хиляди страници за всеки един посетител, който връщат на даден сайт
• Събирането на данни за обучение се превърна в доминиращата форма на уеб краулинг
• Традиционният robots.txt изобщо не е проектиран за този свят — не може да проверява самоличност, да определя цел, да договаря условия или да поставя цени

Представете си, че влизате в ресторант и виждате 10 000 души, които ядат безплатно, защото са обещали неясно да ви пратят някой друг клиент... някога.

Защо robots.txt вече не става

Нека признаем какво всъщност представлява robots.txt: доброволен текстов файл на принципа "честна дума", който краулерите могат да игнорират. По-обвързващ е от надписа "тиха зона" на концерт на метъл група — но не много.

По-новите алтернативи? Повечето са патентовани CDN функции, които те заключват към конкретни доставчици. Ако не си на Cloudflare, Akamai или друга enterprise услуга — късмет.

За независимия разработчик или стартъп, който си управлява сам инфраструктурата, няма стандартизиран начин да преговаря с AI системите, достъпващи съдържанието му.

Влиза terms.txt: По-умната ръкостискане

Ново предложение от изследователи в arXiv (arXiv:2609.11152) представя terms.txt — помислете за него като за robots.txt, пораснало и готово за реалния свят.

Основната идея: машиночетив файл с условия, който сайтовете могат да поставят до съдържанието си, изразявайки:

• Кой достъпва (верификация на самоличността чрез Web Bot Auth подписи)
• Защо го прави (подписани декларации за намерение)
• Какво може да достъпва (правила за конкретен път и цел)
• Колко (по желание: преговори по HTTP 402 за реално плащане)

Системата включва делегационни токени, за да могат AI агенти да действат от името на разработчици, подписани разписки за одит на реалния достъп, и криптографски гаранции, наложени от произхода.

Техническите детайли

Красотата е в детайлите:

• Имплементация без зависимости: добавя само 0.20 до 0.65ms overhead на един vCPU. Практически невидимо за повечето случаи.
• Без заключване към доставчик: за разлика от CDN-специфичните решения, това работи на ниво origin сървър.
• Постепенна сложност: започваш просто (като robots.txt) и добавяш усъвършенствани условия при нужда.

Защо разработчиците трябва да се интересуват

Ако строите AI-базирани инструменти, събирате данни или пусскате услуги, които теглят съдържание от мрежата, ето защо това има значение:

1. Съответствието става стандартизирано

Вместо да преговаряш споразумения за достъп едно по едно, си представете свят, в който сайтовете просто публикуват условията си, а вие ги подписвате криптографски. Много по-чисто.

2. Появяват се нови модели на приходи

HTTP 402 ("Payment Required") съществува от години, но никога не е имал инфраструктура да го поддържи. Сега сайтовете могат реално да таксуват за premium достъп тип API към съдържанието си — микротранзакции на заявка, някой?

3. Уважението става доказуемо

За етичните AI разработчици това предоставя доказателство, че спазвате предпочитанията на сайтовете. Криптографски подписано намерение за съответствие е много по-убедително от "обещаваме, че прочетохме robots.txt".

Пътят напред

Да не избързваме. Това е научно предложение, не стандарт. Приемането му изисква подкрепа от големи AI доставчици, производители на браузъри и по-широката общност на разработчиците.

Но时机ът е подходящ. Неформалната икономика на краулинг в мрежата се разпада, правните битки за AI данни за обучение се множат, и има искрен апетит за стандарти, които не изискват enterprise CDN договори.

Ние в NameOcean виждаме как дебатите за инфраструктура като този оформят еволюцията на уеба. Дали регистрирате домейни, хоствате приложения или строите следващото поколение AI инструменти — разбирането на тези разговори на протоколно ниво ви помага да предвидите накъде е тръгнал интернет.

Ботовете няма да изчезнат. Въпросът е дали ще изградим справедлива система за управление на достъпа им — или ще продължим да се преструваме, че текстов файл, който всеки може да игнорира, е достатъчен.

Какво мислите? Неизбежна ли е формалната преговорка между сайтове и AI системи? Споделете мнението си отдолу.