Akıllı Özetlemeler: AI Kod Üretiminde Yeni Bir Dönem

Herkesin Göz Ardı Ettiği Sorun

Medyada sık duyarsınız: bilgisayar gücünü artırın, AI zor problemleri çözsün. Pek çok durumda işe yarıyor da. LLM'ye şiir yazdırmak istersen, üç kez çalıştırıp en iyisini seçmek mantıklı. Bir hatayı düzeltmesi gerekirse? Yine hallolabilir.

Ama karmaşık bir yazılım geliştirme görevini ele alan bir yapay zeka ajanından söz ediyorsak—her karar başka sonuçlar doğuran, hatalar birbirini çeken, kısmi ilerlemelerin önemli olduğu durumlar—o zaman klasik yaklaşım işe yaramıyor.

İşte asıl sıkıntı: bir kod ajanı karmaşık bir görevi üstlendiğinde, basit evet-hayır cevabı vermez. Tüm bir yolculuğu sunar. Denediği yaklaşımları, karşılaştığı hataları, yapıp bozdukları, öğrendiği dersleri kaydeder. Beş farklı çözüm yolu deneyebilir, çıkmaza girebilir, geri adım atabilir. Ama sıfırdan tekrar başlatırsan, tüm bu bilgi kaybolur.

Baştan başlamak, bir geliştiriciye not defteri kapalı halde aynı sorunu iki kez çözmesini söylemek gibi.

Asıl Mesele: Temsil Biçimi Belirleyici

Aslında darboğaz daha fazla deneme yapmak değil. Öğrendikleri hatırlamak gerçek zorluk. İşte burada sihir başlıyor.

Her kod denemesini bir "kara kutu" olarak görmek yerine, strukturlu bir özete dönüştürebilirsen ne olur? Ne tam geçmişi (çok uzun), ne de salt sayılar (çok eksik), ama ikisinin ortası. Ajanın keşfettiği kritik bulguları içeren, ama gereksiz log verilerinden arınmış bir özet.

Ajanın kendi geçmişine bakarak şöyle düşünmesi hayal et: "Geçen seferde mutasyon tabanlı düzeltmeler denemiştim ve şu spesifik hataya çarptım. Bu sefer farklı bir yol denemeliyim." İşte bu, kaba kuvvet ile akıl arasındaki fark.

Temel fikir şudur: uzun soluklu yapay zeka görevleri için test-time ölçeklendirme, özünde bir temsil, seçme ve yeniden kullanma problemidir. Ham işlem gücü değil.

İki Farklı Ölçeklendirme Yolu

Bu yaklaşım iki eşgüdümlü strateji sunuyor:

Paralel Ölçeklendirme: Özyinelemeli Turnuva Oylama

Ajanın birden fazla versiyonunu aynı anda çalıştır. Her biri farklı çözüm yollarını keşfetsin. Sorun: bir düzine karmaşık denemeden en iyisini seçmek gibi geldi—on iki roman okuya okuya en güzelini bulmak gibi.

Özyinelemeli Turnuva Oylama (RTV) bunu zarif bir şekilde çözer. Muasır karşılaştırma yapmak yerine denemeleri küçük gruplara böler, başa çıkan ve başa çıkamayan kodu belirler, sonra elenenler dışarı kalır. Spor müsabakasındaki eleme sistemi gibi. İlk turda kazananlar ikinci turda çatışır. İşlem maliyeti düşerken, seçme kalitesi korunur.

Sırasal Ölçeklendirme: Bilgi Sıkıştırma

İkinci yöntem daha yinelemeli. Her denemeden sonra dersleri çıkarırsın—ne işe yaradı, ne başarısız oldu, hangi yollar umut vaat etti ama tıkanıp kaldı. Sonraki deneme soğuk başlamaz. Daha önceki özetler rehberlik eder.

Bir geliştiricinin, yeni bir kod yazmadan önce kendi pull request yorumlarını okuması gibi düşün. Yeni denemeler, önceki bağlamdan yararlanır ama ona hapsolmaz.

Pratikte Ne Değişiyor?

Rakamlar çok konuşucu. Araştırmacılar bu sistemi en gelişmiş kod ajanlarında denediklerinde:

• Claude SWE-Bench testlerinde başarı oranı yüzde 70,9'dan 77,6'ya çıktı
• Terminal tabanlı görevler yüzde 46,9'dan 59,1'e ulaştı

Bunlar marjinal iyileştirmeler değil. Zaten sınır teknoloji sayılan modellerde anlamlı kazanımlar elde ediyoruz—bunu daha büyük model değil, daha akıllı ölçeklendirme sağladı.

Daha Derin Anlam

İlginç olan şey, bu bulguların yapay zeka ölçeklendirmesine bakışımızı değiştirmesidir. Yıllar boyu tek söylem vardı: daha büyük modeller, daha fazla parametre, daha çok eğitim verisi. Bu hikâyenin ayakları var elbette.

Ama kod üretimi, sistem yönetimi, karmaşık muhakeme gibi açık uçlu, uzun menzilli görevlerde ham model boyutu beklediğimizden çok daha hızlı verim azalmasına uğruyor. Darboğaz başka yere kayıyor: geçmiş denemelerden öğrenme ve onları temel alarak ilerleme becerisi.

Bu noktada sistemin tasarımı önem kazanıyor. Nedeni: iyi bellek ve düşünceli bir geri bildirim mekanizmasına sahip küçük bir model, yalnız başına çalışan büyük bir modeli yenebilir.

Yazılımcı ve Girişimciler İçin Çıkarımlar

İster NameOcean'ın altyapısı üzerinde, ister kendi sunucularında yapay zeka ajanları geliştiriyor olsan, bu araştırma önemli bir kırılma noktasını işaret ediyor:

1. Ajan tasarımı, model boyutundan daha belirleyicidir. Yolculuk özetlemesi yapan iyi tasarlanmış bir ajan, kaba kuvveti kullanan büyük modelü geçebilir.

2. Yapılandırılmış bellek temel gereksinim haline geldi. Ajanın geçmiş denemelerini analiz etmesi, kör kuru ilerlemesi değil.

3. Hâlâ çok erken dönem. RTV, bilgi sıkıştırması gibi yöntemler henüz değer gösteriyorsa da standartlaştırılmış birer çözüm değildir. Erken benimseyen rekabet avantajı elde edebilir.

4. Çıkarım-zamanı optimizasyonu yeni sınır. Model geliştirme durgunlaştıkça, eğitim değil çalıştırma sırasındaki verimlilik gerçek dünya başarısını belirleyecek.

İleri Bakış

"Büyük her zaman iyidir" çağı, daha sofistike bir döneme dönüşüyor: elimizde olan işlem gücünü daha akıllıca kullanmak. Ince ama derin bir kayış bu.

Yapay zeka destekli geliştirme ve otonom kod sistemleri için, başarıyla çıkacak ajanlar en çok parametre ile desteklenenler olmayacak. En hızlı öğrenenler, neyi denediğini hatırlayanlar, kendi denemelerini analiz edebilecek olanlar olacak.

Bu, tamamen farklı bir optimizasyon meselesi. Ve GPT-7 ya da Claude-5'e gitmeden yapılabilecek işlere kapı açıyor.

Yeni nesil kod ajanları, ham güç değil bellek ve yargılama yeteneği ile tanımlanacak. Ve çözmesi çok daha ilginç bir problem.