Internetdagi CRC muammosi va terms.txt yechimi

To'g'risi, aytilganida internetda katta muammo bor va u yomonlashmoqda.

Uzoq yillar davomida veb-saytlar qidiruv tizimlari bilan "jimjimador kelishuv" asosida ishladi. Biz ularning botlariga sahifalarimizni skanerlashga ruxsat berardik, o'z navbatida ular bizga tashrif buyuruvchilarni yuborardilar. Rasmiy hujjat emasdi, lekin ishlardi. robots.txt fayli esa eshikka qoqilgan "iloji boricha yaxshi bo'ling" yozuviga o'xshardi.

Shu davr tezda tugayapti.

Botlar ustunlik qilmoqda (lekin yomon ma'noda)

Avtomatlashtirilgan trafik endi internetni boshqaradi. Tadqiqotchilarning ta'kidlashicha, AI crawlerlari va agentlar asosiy CDN tarmoqlariga kelayotgan so'rovlarning aksariyat qismini tashkil qiladi. Noqulay haqiqat shundaki:

• AI platformalar har bir tashrifchi uchun minglab sahifalarni yuklab oladi
• Mashg'ulot ma'lumotlarini yig'ish asosiy veb-skanerlash turiga aylandi
• An'anaviy robots.txt bu dunyoga umuman mos kelmaydi—u shaxsni tasdiqlay olmaydi, maqsadni aniqlamaydi, shartlarni belgilamaydi yoki narx qo'ymaydi

Bu shunga o'xshaydiki, restoranga kirsangiz, 10 ming kishi bepul yeb-o'tiribdi, chunki ular tasodifiy ravishda "ehtimol, bir-ikki mijoz yuboramiz" deb va'da berishgan.

Nega robots.txt endi yetmaydi

robots.txt nima ekanligini tushunish kerak: crawlerlar e'tiborsiz qoldirishi mumkin bo'lgan ixtiyoriy, "sizga ishonamiz" tamoyili asosidagi matn fayli. Bu sudda dhunab bo'lmaydigan hujjat kabi.

Yangi variantlar? Ko'pchilik yopiq tizimlar bo'lib, sizni muayyan provayderlarga bog'laydi. Cloudflare, Akamai yoki boshqa korporativ yechimlardan foydalanmasangiz—kunsiz.

Mustaqil dasturchi yoki o'z infratuzilmasini boshqarayotgan startup uchun AI tizimlari bilan muzokara olib borishning standart usuli yo'q.

terms.txt: Zo'r handshake

arxiv.org'dagi tadqiqotchilar yangi taklif bilan chiqishdi (arxiv:2609.11152). terms.txt deb ataladi—bu robots.txtning kattalashgan, haqiqiy dunyoga tayyor versiyasi.

Asosiy g'oya: veb-saytlar o'z kontenti yoniga qo'yishi mumkin bo'lgan machine-readable shartnoma fayli:

• Kim kiraapti (Web Bot Auth imzolari orqali shaxsni tekshirish)
• Nima uchun kiraapti (imzolangan niyat e'lonlari)
• Nimaga kiraishi mumkin (har bir yo'l va maqsad uchun alohida qoidalar)
• Qancha (ixtiyoriy: HTTP 402 orqali to'lov muzokarasi)

Tizim delegatsiya tokenlarini o'z ichiga oladi—bunda AI agentlar dasturchilar nomidan harakat qilishi mumkin. Shuningdek, imzolangan kvitantsiyalar orqali saytlar haqiqiy kirishlarni tekshirishi va kriptografik kafolatlar bilan ishlaydi.

Texnik tafsilotlar

Bu yerda chiroyligi—tafsilotlarda:

• Bog'liqliksiz amalga oshirish: bir vCPU uchun atigi 0.20 dan 0.65 ms qo'shimcha vaqt qo'shadi. Ko'pchilik uchun bu deyarli sezilmaydi.
• Provayderga bog'lanmaslik: CDN-specific yechimlardan farqli o'laroq, bu origin server darajasida ishlaydi.
• Murakkablikni bosqichma-bosqich oshirish: oddiydan boshlashingiz mumkin (robots.txt kabi) va kerak bo'lsa murakkab shartlarni qo'shasiz.

Dasturchilar uchun nega muhim

AI asosidagi vositalar yaratayotgan bo'lsangiz, ma'lumotlarni scraping qilayotgan bo'lsangiz yoki veb-saytlardan kontent oladigan xizmat ishlatayotgan bo'lsangiz—bu bir necha sabablarga ko'ra muhim:

1. Muvofiqlik standartlashadi

Har bir sayt bilan alohida kelishuvlar olib borish o'rniga, saytlar o'z shartlarini e'lon qilsin, siz esa ularni kriptografik imzo bilan qabul qiling. Aniq va sodda.

2. Yangi daromad modellari paydo bo'ladi

HTTP 402 ("To'lov talab qilinadi") yillar davomida mavjud edi, lekin uning uchun infratuzilma yo'q edi. Endi saytlar o'z kontentiga premium API-ga o'xshash kirish uchun haqiqatan ham to'lov olishi mumkin—har bir so'rov uchun kichik to'lovlar?

3. Hurmat tekshiriladigan bo'ladi

Axloqiy AI yaratuvchilar uchun bu sayt afzalliklariga rioya qilayotganingizni isbotlaydi. robots.txtni o'qiganmiz deb va'da berishdan ko'ra, muzokara qilishga kriptografik imzolang niyat yaxshi.

Oldinda yo'l

Avas tortmang. Bu hali tadqiqot taklifi, standart emas. Qabul qilish uchun yirik AI provayderlari, brauzer ishlab chiquvchilar va keng dasturchilar jamoasi qo'llab-quvvatlashi kerak.

Ammo vaqt to'g'ri keldi. Internetning noaniq scraping iqtisodiyoti qulab bitmoqda, AI mashg'ulot ma'lumotari bo'yicha sudlar ko'paymoqda va korporativ CDN shartnomalarisiz ishlaydigan standartlarga haqiqiy extiyoj bor.

NameOceanda biz infratuzilma munozaralarini—internet qanday rivojlanishini belgilaydigan gaplarni—diqqat bilan kuzatamiz. Domain ro'yxatdan o'tkazayotganingiz, application host qilayotganingiz yoki keyingi avlod AI vositalarini yaratayotganingizdan qat'i nazar, bu protokol darajasidagi suhbatlarni tushunish internet qayerga ketayotganini oldindan bilishga yordam beradi.

Botlar yo'qolmaydi. Savol shundaki—ularning kirishini boshqarish uchun adolatli tizim yaratamizmi yoki hamma e'tiborsiz qoldirishi mumkin bo'lgan matn fayli kifoya qiladi, degan noto'g'ri fikrda qolamizmi?

Siz nima deb o'ylaysiz? Veb-saytlar va AI tizimlari o'rtasida rasmiy muzokara muqarrar bo'ladimi? Pastda fikrlaringizni yozing.