AI Kod Asistanları ve Altında Yatan Altyapı Gerçeği

Şu aralar kodlama asistanları piyasasında işler epey ısındı. Claude Code, Codex, Gemini CLI derken, artık "bu araçlar çalışıyor mu?" sorusu değil, "bunları ölçekli biçimde nasıl servis edeceğiz?" sorusu gündemde. Üstelik her iki sorunun cevabı da sandığınızdan çok daha karmaşık.

Washington Üniversitesi'ndeki SyFI laboratuvarından çıkan yeni bir araştırma, gerçek kodlama ajanı iş yüklerinin nasıl göründüğüne dair somut veriler sunuyor. Ve bu veriler, mevcut LLM servis altyapınızın muhtemelen bu iş için optimize edilmediğini gösteriyor.

Kimse Hazırlıklı Değilmiş

Kodlama ajanlarının ne yaptığını düşününce aslında mantıklı ama birilerinin söylemesi gerekiyordu: bu araçlar sadece soruları yanıtlamıyor. Planlar yürütüyorlar. Bir AI kodlama asistanına bir özellik eklemesini veya bir hatayı düzeltmesini söylediğinizde, basit bir soru-cevap işlemi başlatmıyorsunuz. Modelin akıl yürütmesini, shell komutları çalıştırmasını, dosyaları okuyup düzenlemesini, testleri çalıştırmasını ve tatmin olana (veya siz kesene) kadar yinelemeyi içeren özerk bir iş akışı başlatıyorsunuz.

Araştırma ekibi 4.300'den fazla gerçek dünya oturumunu ve yaklaşık 55 milyar tokeni analiz etmiş. Veriler oldukça çarpıcı. Her kullanıcı isteği tamamlanana kadar ortalama 8,8 LLM-araç döngüsünden geçiyor. Yani her soru için yaklaşık dokuz tur model üretimi ve ardından araç çalıştırması var. Model sadece konuşmuyor—iş yapıyor. Ve tüm LLM çıkarım turlarının %88'i kullanıcı girdisine değil, araç sonuçlarına yanıt olarak gerçekleşiyor.

Bu, verimlilik planlaması için devasa sonuçlar doğuruyor. Geleneksel sohbet botları temel olarak arada bir takip sorusu gelen istek-yanıt sistemleri. Kodlama ajanları ise üretim ve yürütme aşamaları arasında sık sık bağlam değiştiren uzun süreli özerk süreçler. Otomatik ölçekleme politikalarınız, istek kuyruğunuz, önbellekleme stratejileriniz—bunların hepsi basit tur-atma konuşmaları değil, özerk çok adımlı iş akışları perspektifinden yeniden düşünülmeli.

Önbelleğinizi Alt Üst Eden Girdi-Çıktı Asimetrisi

Şu sayı her altyapı mühendisinin dikkatini çekmeli: girdiler çıktıları 294'e 1 oranında geride bırakıyor. İncelenen izlerde modeller 52,56 milyar önbelleğe alınmış girdi tokeni okudu ve 2,34 milyar yeni tokeni ön doldurdu, ancak yalnızca 186,9 milyon çıktı tokeni üretti. Tipik bir tur 32K ile 256K token önek üzerinde oturuyor ve kod çözmeden önce birkaç yüz ila birkaç bin token ekliyor.

Bu, çoğu LLM servis sisteminin optimize edildiği performans profilinden tamamen farklı bir profil yaratıyor. Geleneksel dil modeli çıkarımı ağırlıklı olarak üretim verimi üzerine odaklanıyor—saniyede kaç token üretebiliyoruz? Ama kodlama ajanları için darboğaz genellikle kod çözme hızı değil, araç çalıştırması döndükten sonra ilk tokena ulaşma süresi (TTFT). Ekip, Codex'in her adım için TTFT'sinin yaklaşık 3,1 saniye olduğunu buldu, bu da bir turun toplam üretim süresinin yaklaşık %25'ini oluşturuyor. Bir istek için dokuz tur yapıyorsanız, bu ek yük hızla katlanıyor.

Önbellekleme hikayesi de ilk bakışta göründüğü kadar basit değil. Evet, girdi önbellekleme (prefild önbellekleme) kodlama ajanlarının taşıdığı devasa bağlamla yardımcı oluyor. Ama ön doldurma iş yükü önbelleğe alınmış tokenler ile gerçek hesaplama gerektiren yeni tokenler arasında bölünmüş durumda. Araç çalıştırmasından sonraki kısa, artımlı ön doldurmalar ile başlangıçtaki uzun bağlam yüklemesi farklı performans özelliklerine sahip. Servis sistemlerinin her ikisini de verimli bir şekilde işlemesi gerekiyor ve optimal stratejiler bu durumlar arasında farklılık gösterebilir.

Shell Komutları Hâlâ Dünyayı Yönetiyor

Kodlama ajanlarının karmaşık akıl yürütme ve sofistike yeniden düzenleme yapacağını düşündüyseniz yanılmadınız—ama gerçek daha dağınık. İzlerde yakalanan 433.000 araç çağrısının %76'sı shell veya komut çalıştırmasıydı. Derleme, test, git işlemleri, CLI araçları üzerinden dosya manipülasyonu—yazılım geliştirmenin gerçek gündelik iş akışını oluşturan gösterişsiz işler.

Dosya düzenlemeleri %11, dosya okuma ve arama %9, planlama, alt ajan delege etme ve web aramaları ise geri kalanı. Bu shell komutlarına yoğunlaşma birkaç nedenden dolayı önemli. Birincisi, bunlar uzun kuyruklu operasyonlar: basit bir ls hızlıdır ama tam bir test suite'i çalıştırmak veya büyük bir kod tabanını derlemek dakikalar alabilir. Gecikme dağılımı dört dereceye yayılıyor, bu da kapasite planlamasını kabus haline getiriyor.

İkincisi, araç kelime dağarcığı ajanlar arasında önemli ölçüde farklılık gösteriyor. Claude Code 54 farklı araç kullanırken Codex 31 kullandı, ama her ikisi de hacmin büyük çoğunluğunu aynı temel sete—shell, dosya düzenleme, dosya okuma—yoğunlaştırdı. Bu, tüm araç ekosistemini ele almadan yüksek frekanslı bu araçları optimize etmenin orantısız iyileştirmeler sağlayabileceğini düşündürüyor.

Altyapınız İçin Ne Anlama Geliyor

AI destekli geliştirme araçları inşa ediyor veya işletiyorsanız, bu araştırma birkaç somut çıkarım noktası sunuyor.

İstek değil, iş akışı olarak düşünün. Servis altyapınız kodlama ajanlarının özerk, çok adımlı doğasını hesaba katmalı. Bu, daha uzun süreli istek bağlamları, daha sofistike durum yönetimi ve ilgili araç çağrılarını bir araya getiren toplu zamanlama fırsatları anlamına geliyor.

Boşlukları optimize edin. Kullanıcılar istekler arasında ortalama 46,7 dakika harcasa da medyan düşünme süresi yalnızca 1,4 dakika. Dağılım aşırı derecede ağır kuyruklu—bazı geliştiriciler hızla yineliyor, diğerleri bir istek başlatıp saatler sonra geri dönüyor. Bu boşluklar sırasında akıllı ön getirme ve yeniden ön doldurma stratejileri, bilgi işlem maliyetlerini artırmadan algılanan gecikmeyi dramatik biçimde azaltabilir.

Ön doldurma ve kod çözme yollarınızı ayırın. 294:1 girdi-çıktı oranı, ön doldurma hesaplamanızın muhtemelen baskın maliyetiniz olduğu anlamına geliyor. Araç çalıştırmasından sonraki artımlı ön doldurmalar, başlangıç bağlamı yüklemesinden farklı optimizasyon gerektiriyor. Bu farklı iş yükü tipleri için ayrı kaynak havuzları veya zamanlama politikaları düşünün.

Araç çalıştırma altyapısını unutmayın. Ajan aktivitesinin %76'sı shell komutları olduğunda, konteyner orkestrasyonunuz, dosya sistemi erişim kalıplarınız ve derleme aracı önbellekleme stratejileriniz birinci sınıf endişeler haline geliyor. Model çıkarımı boru hattının sadece bir parçası.

Önümüzdeki Yol

TraceLab ekibi iz toplama ve analiz boru hattını açık kaynak olarak paylaştı. Bu, altyapı ekiplerinin sentetik benchmarklar yerine gerçek kullanım kalıplarına göre optimize etmek için kendi izlerini oluşturmasına olanak tanıyor. AI altyapısı alanı "çalışsın"dan "ölçekte çalışsın"a olgunlaşırken, bu tür gerçek dünya verileri tam da ihtiyaç duyulan şey.

NameOcean Vibe Hosting topluluğu için bu içgörüler, basit GPU tahsisinin ötesine geçen altyapıya yatırım yapmamızın nedenini vurguluyor. AI kodlama ajanlarını servis etmek sadece ham hesaplama gücüyle ilgili değil—ajan iş yüklerinin benzersiz özelliklerini anlamak ve geliştiricilerin bu araçları gerçekten nasıl kullandığının özerk, çok adımlı, araç-ağır gerçekliğini ele alabilecek sistemler inşa etmekle ilgili.

Kodlama ajanları çağı henüz başlıyor ve bugün verdiğimiz altyapı kararları, bu araçların yıllar boyunca geliştiricilere ne kadar verimli hizmet edeceğini belirleyecek.