Web Artık Eskisi Gibi Değil: AI Botları ve Yeni Erişim Kuralları

Açıkçası söyleyelim: internetin bir bot sorunu var ve işler gittikçe içinden çıkılmaz hale geliyor.

Yıllardır site sahipleri ile arama motorları arasında yazılı olmayan bir anlaşma vardı. Botlar sayfalarımızı tarardı, karşılığında ziyaretçi gönderirlerdi. Resmi bir şey değildi ama iş görüyordu. Sitenizin kök dizinindeki robots.txt dosyası, kapınıza asılmış bir "lütfen kibar olun" notu gibiydi.

O dönem hızla kapanıyor.

Botlar Kontrolü Ele Geçirdi

Otomatik trafiğin internet trafiğinin büyük çoğunluğunu oluşturduğu artık bilinen bir gerçek. Büyük CDN sağlayıcılarına gelen isteklerin çoğunluğu AI botları ve ajanlarından geliyor. İşte rahatsız edici tablo:

• AI platformları, bir siteye tek bir ziyaretçi göndermek için binlerce sayfa çekiyor
• Eğitim verisi toplama, web taramanın en yaygın biçimi haline geldi
• Mevcut robots.txt sistemi bu dünya için tasarlanmamış—kimlik doğrulayamıyor, niyet belirtemiyor, koşul koyamıyor veya ücret talep edemiyor

Bir restorana gittiğinizi ve içeride onbin kişinin, belki ileride size birkaç müşteri göndereceklerini vaat ederek ücretsiz yemek yediğini görmeniz gibi bir şey.

Neden robots.txt Artık Yeterli Değil?

robots.txt'nin aslında ne olduğunu anlamak lazım: botların uymayı seçebildiği gönüllü bir onur sistemi. Gürültülü bir rock konserindeki "sessiz bölge" tabelası kadar bağlayıcı.

Güncel alternatifler mi? Çoğunlukla sizi belirli sağlayıcılara bağlayan tescilli CDN özellikleri. Cloudflare, Akamai veya her neymiş o günün gözde kurumsal çözümü kullanmıyorsanız, şansınız yok.

Kendi altyapısını çalıştıran bağımsız geliştiriciler veya startup'lar için, içeriklerine erişen AI sistemleriyle pazarlık yapabilecek standart bir yöntem yok.

Karşımıza terms.txt Çıkıyor

arXiv araştırmacıları (arXiv:2609.11152) yeni bir öneri getirdi: terms.txt. Düşünün ki robots.txt büyüdü ve gerçek dünya için hazır hale geldi.

Temel fikir: sitelerin içeriklerinin yanına koyabileceği, makine tarafından okunabilir bir koşul dosyası. Bu dosya şunları belirtebiliyor:

• Kim erişiyor (Web Bot Auth imzalarıyla kimlik doğrulama)
• Neden erişiyor (imzalı niyet beyanları)
• Neye erişebilir (yol bazlı, amaç bazlı kurallar)
• Ne kadar (opsiyonel: HTTP 402 ile gerçek ödeme müzakeresi)

Sistem, AI ajanlarının geliştiriciler adına hareket etmesini sağlayan delege belirteçleri, sitelerin gerçek erişimi denetleyebilmesi için imzalı makbuzlar ve kaynak sunucu tarafından zorunlu kılınan kriptografik güvenceler içeriyyor.

Teknik Detaylar

Asıl güzellik ayrıntılarda gizli:

• Bağımlılık gerektirmez: Tek çekirdekli CPU'da yalnızca 0.20 ile 0.65ms ek gecikme ekliyor. Çoğu kullanım için fark edilmeyecek kadar küçük.
• Sağlayıcı tuzağı yok: CDN-özel çözümlerin aksine, kaynak sunucu seviyesinde çalışıyor.
• Kademeli karmaşıklık: robots.txt gibi basit başlayıp, ihtiyaca göre gelişmiş koşullar ekleyebilirsiniz.

Neden Geliştiriciler Bunu Düşünmeli?

AI destekli araçlar inşa ediyor, veri kazıyorsanız veya web'den içerik çeken herhangi bir hizmet çalıştırıyorsanız, bu birkaç açıdan önemli:

1. Uyum standart hale geliyor

Tek tek erişim anlaşmaları müzakere etmek yerine, sitelerin koşullarını yayınlayıp sizin bunları kriptografik olarak imzaladığınız bir dünya hayal edin. Çok daha temiz.

2. Yeni gelir modelleri doğuyor

HTTP 402 ("Ödeme Gerekli") yıllardır var ama altyapı desteği yoktu. Artık siteler içeriklerine premium API tarzı erişim için gerçekten ücret alabilir—istek başı mikro ödemeler mi dersiniz?

3. Saygı doğrulanabilir oluyor

Etik AI geliştiricileri için, site tercihlerine uyduğunuzun kanıtı var. Kriptografik olarak imzalı bir uyum niyeti, "robots.txt'yi okuduk söz verdik" demekten çok daha güvenilir.

Yol Burada Bitmiyor

Amaç, önümüzdeki hafta her şeyin değişeceğini söylemek değil. Bu bir araştırma önerisi, henüz bir standart değil. Benimsenmesi için büyük AI sağlayıcılarının, tarayıcı üreticilerinin ve daha geniş geliştirici topluluğunun desteği şart.

Ama zamanlama doğru. Web'in informel tarama ekonomisi çözülüyor, AI eğitim verileri üzerindeki yasal savaşlar çoğalıyor ve kurumsal CDN sözleşmeleri gerektirmeyen standartlara gerçek bir talep var.

NameOcean'da, bu tür altyapı tartışmalarının web'in nasıl evrileceğini şekillendirdiğini görüyoruz. Domain kaydetme, uygulama barındırma veya yeni nesil AI araçları geliştirme—fark etmez—protokol düzeyindeki bu konuşmaları anlamak, internetin nereye gittiğini önceden görmenize yardımcı olur.

Botlar gitmeyecek. Mesele, erişimlerini yönetmek için adil bir sistem kurup kurmayacağımız—ya da herkesin görmezden gelebileceği bir metin dosyasının yeterli olduğunu iddia etmeye devam edip etmeyeceğimiz.

Sence ne olacak? Web siteleri ile AI sistemleri arasında resmi müzakere kaçınılmaz mı? Aşağıda düşüncelerini paylaş.