REAP: AI Kodlama Agent Benchmark Krizine Gerçek Bir Çözüm

Şöyle düşünün: Bir maratoncu, her gün dümdüz bir koşu bandında, klimalı bir salonda antrenman yapıyor. Sonra yarış günü geldiğinde, engebeli bir orman parkurunda koşması gerekiyor. İşte AI coding agent benchmarklarının durumu da tam olarak bu — tatlı su balığı tuzlu suda yüzme bilgisine sahip olduğunu sanıyor.

Meta'nın araştırma ekibi bu soruna ciddi bir el atmiş. Karşınızda REAP (Relevance and Execution-Audited Pipeline) — üretim ortamlarındaki gerçek geliştirici-agent etkileşimlerinden otomatik olarak benchmark oluşturan bir sistem.

Benchmark Değerlendirmesinin Görmezden Gelinen Yüzü

AI coding agent'ları değerlendirme konusunda şirketlerin kullandığı yöntemlerin hepsinin ciddi handikapları var.

Online A/B testleri gerçek veri sağlar evet, ama haftalarca sürer. Üstelik gerçek kullanıcı deneyimiyle kumar oynuyorsunuz demektir. Bozuk bir agent dağıtırsanız, metrikleriniz çakılır ve incident raporuna boğulursunuz.

Shadow deployment kullanıcıları etkilemeden paralel test yapma imkanı sunar, ancak sonuçlar tekrarlanabilir değildir. Ertesi gün tekrar çalıştırın, farklı rakamlar alırsınız — kod tabanınız değişti, test caseleriniz kaydı veya agent'ın o günü iyi değildi.

Public benchmarklar (HumanEval, MBPP gibi) akademik karşılaştırmalar için fena sayılmaz, ama gerçek üretim iş yüklerini yansıtmaz. Farklı diller, farklı prompt stilleri, farklı kod yapıları. HumanEval'de parıldayan bir model, sizin monorepo'nuzda kötü bir performans gösterebilir.

Araştırma ekibinin yakaladığı kritik nokta şu: Asıl ihtiyacımız olan in-distribution evaluation — yani geliştiricilerin bu agent'ları gerçekten nasıl kullanacağını yansıtan benchmarklar. Ama bunları manuel oluşturmak kabus.

REAP: Ölçeklenebilir Otomatik Küratörlük

REAP, gerçek geliştirici-agent oturumlarından üretim tabanlı benchmarklar oluşturarak bu sorunu çözüyor. Elle test case yazmak yerine, sistem gerçek kullanımdan besleniyor ve her görevi otomatik olarak doğruluyor — insanların sürekli takip etmesine gerek kalmıyor.

Pipeline, otomatik benchmark küratörlüğünün güvenilirliğini öldüren üç temel sorunu ele alıyor:

1. Test edilemeyen promtlar — Bazı görevler otomatik olarak doğrulanamaz. REAP bunları eliyor.

2. Yanlış hizalanmış testler — Bir görev için yazılan test, aslında görevin istediğini doğrulamıyor olabilir. REAP test relevance'ını agent tabanlı olarak kontrol ediyor.

3. Test tutarsızlığı — Geçen-geçen arasında gidip gelen sonuçlar, metrikleri anlamsız kılar. REAP çoklu çalıştırmalarda stability check yapıyor.

Temel fikir şu: Büyük monorepolarda build altyapısı durumu geçicidir. Bugün kürate ettiğiniz bir benchmark, yarın kod tabanı değiştiğinde geçersiz kalabilir. Manuel denetim bu tempoya yetişemez, bu yüzden REAP doğrulama katmanını tamamen otomatikleştiriyor.

HARVEST: Gerçek Dünyaya Göre Tasarlanmış Üretim Kalitesinde Benchmark

Ekip, REAP'ı kullanarak HARVEST'i oluşturmuş. Buradaki her görev gerçek bir geliştirici promtundan geliyor ve üretimden alınan fail-to-pass testleriyle doğrulanıyor.

HARVEST birden fazla programlama dilini kapsıyor (görevlerin çoğu Hack'ten), bu da farklı ekosistemlerdeki model yetenekleri hakkında çok daha gerçekçi bir tablo çiziyor.

Sonuçlar mı? Frontier modeller %42.9 ile %58.2 arasında çözüm oranı elde etmiş — bu rakamlar bir şey ifade ediyor, çünkü sentetik test caselerden değil, gerçek üretim senaryolarından geliyorlar.

Neden Önemli?

Kurumunuz için AI coding agent değerlendirmesi yapıyorsanız, REAP tarzı yaklaşımları anlamaya değer:

• Daha hızlı iterasyon döngüleri — Otomatik küratörlük, insan labeler ordusuna gerek kalmadan benchmarklarınızı kod tabanınızla birlikte sürekli güncellemenizi sağlar.

• Güvenilir sinyaller — Benchmark gerçek üretim kullanımından geldiğinde, asıl önemli olan şeyi ölçüyorsunuz demektir.

• Bilgiye dayalı dağıtım kararları — Gerçekçi benchmarkların ortaya koyduğu yetenek farkları, hangi modelin iş akışınıza gerçekten uygun olduğunu seçmenize yardımcı olur.

"Demolarda harika çalışıyor" ile "Üretimde harika çalışıyor" arasındaki uçurum, her zaman AI araçlarının öldüğü yerdir. REAP, değerlendirmeyi gerçekliğe yaklaştırarak bu boşluğu kapatmaya ciddi bir girişim.

Kaynak: arxiv.org/abs/2604.01527