REAP: AI kodlovchi agentlar uchun benchmarking inqirozini hal qilmoqda

Ro'yxatga olish kerak: aksariyat AI coding benchmarklari esa behuda.

Ular odatda ishlab chiqarishda dasturchilar qanday qilib agentlardan foydalanishiga umuman o'xshamaydigan to'plangan ma'lumotlar ustida modellarning qanchalik yaxshi ishlashini o'lchaydi. Bu mashq qilish uchun sport zalida treadmilda yugurishga o'xshaydi — natijada esa loyqa yo'ldagi marafonda kuchingiz yetmay qoladi.

Meta'ning tadqiqotchilari yaqinda ushbu muammoni jiddiy ravishda hal qilishga harakat qilgan. Ular REAP (Relevance and Execution-Audited Pipeline) ni yaratishdi — bu ishlab chiqarish muhitida real dasturchi-agent interaktsiyalaridan to'g'ridan-to'g'ri evaluation benchmarklarini avtomatik tarzda quradigan tizim.

Benchmark muammosi: kimdir bu haqda gapirmaydi

Ko'pchilik bilmaydigan narsa: AI coding agentlarini baholash usullariining barchasi jiddiy kamchiliklarga ega.

Online A/B testing real signal beradi, lekin bir necha hafta vaqt oladi va siz foydalanuvchi tajribasi bilan tavakkal qilolasiz. Buzoq agent chiqarsangiz, metrikalar qulab tushadi — voqea hisobotiga yig'laysiz.

Shadow deployment foydalanuvchilarga ta'sir qilmasdan parallel testlash imkonini beradi, ammo natijalar takrorlanmaydi. Ertaga qayta ishlatsangiz, boshqa raqamlar olasiz — chunki codeniz o'zgargan, test case'lar siljigan yoki agent "orqaga" kun kechirgan.

Public benchmarklar (HumanEval yoki MBPP)? Akademik taqqoslash uchun yaxshi, lekin ular real ishlab chiqarish yuklarini aks ettirmaydi. Turli tillar, turli prompt stillari, turli codebase tuzilmalari. HumanEval'da a'lo darajada ishlaydigan model sizning monorepongizda yomon ishlashi mumkin.

Tadqiqotchilar muhim narsani aniqladilar: bizga aslida in-distribution evaluation kerak — benchmarklar dasturchilar bu agentlardan haqiqatan ham qanday foydalanishiga mos keladigan. Ammo bunday benchmarklarni qo'lda yaratish juda qiyin.

REAP: masshtabda avtomatlashtirilgan curation

REAP bu muammoni real dasturchi-agent sessiyalaridan avtomatik ravishda ishlab chiqarishga asoslangan benchmarklar yaratish orqali hal qiladi. Test caselarni qo'lda yozish o'rniga, tizim haqiqiy foydalanishdan ma'lumot oladi va har bir vazifani avtomatik tarzda tekshiradi — insonlar jarayonni kuzatib turishi shart emas.

Pipeline uchta muhim muammoni hal qiladi:

1. Tekshirib bo'lmaydigan promtlar — Ba'zi vazifalarni avtomatik tarzda tekshirish mumkin emas. REAP ularni filterlash orqali chiqarib tashlaydi.

2. Noto'g'ri moslashtirilgan testlar — Vazifa uchun yozilgan test aslida vazifada so'rangan narsani tekshirishi mumkin. REAP test relevancyni agent tomonidan tekshiradi.

3. Test no-barqarorligi — Natijalar o'tish va muvaffaqiyatsizlik oralig'ida uchib yursa, metrikalar befoyda bo'ladi. REAP bir nechta execution davomida barqarorlik tekshiradi.

Asosiy g'oya shundaki: katta monorepolarda build infrastructure holati o'tuvchi hisoblanadi. Bugun yaratgan benchmarkingiz ertaga codebase o'zgarganda noto'g'ri bo'lishi mumkin. Qo'lda tekshirish bu tezlikka yetib bo'lmaydi, shuning uchun REAP verification qatlamini to'liq avtomatlashtiradi.

HARVEST: Real dunyo uchun yaratilgan benchmark

Tajriba guruhi REAP yordamida HARVEST ni yaratdi — bu yerda har bir vazifa real dasturchi promtid keladi va ishlab chiqarishdan olingan fail-to-pass testlari bilan tekshiriladi.

HARVEST bir nechta dasturlash tillarini qamrab oladi (ko'pchilik vazifalar Hack tilidan), bu esa turli ekosistemalarda model qobiliyatlarini ancha real tasvirini beradi.

Natijalar? Frontier modellar 42.9% va 58.2% oralig'ida muammolarni yechish darajasiga erishdi — bu raqamlar biror narsaga tegishli, chunki ular sintetik test caselardan emas, real ishlab chiqarish stsenariylaridan olingan.

Bu sizning jamoangiz uchun nega muhim

Agar tashkilotingiz uchun AI coding agentlarini baholayotgan bo'lsangiz, REAP usulidagi yondashuvlarni tushunish bir necha sababga ko'ra foydali:

• Tezkor iteratsiya sikllari — Avtomatik curation tufayli benchmarklarni codeniz o'zgargan sari doimiy yangilab turishingiz mumkin — odam labelerlar armiyasi kerak emas.

• Ishonchli signalar — Benchmark haqiqiy ishlab chiqarish foydalanishidan kelganda, siz faqat deployment uchun muhim bo'lgan narsalarni o'lchayapsiz.

• Deployment qarorlarini bilimli qabul qilish — Realistik benchmarklar orqali aniqlangan qobiliyat farqlari qaysi modellar sizning workflow'ga mos kelishini tanlashga yordam beradi.

"Demolarda yaxshi ishlaydi" va "ishlab chiqarishda yaxshi ishlaydi" o'rtasidagi farq — AI toolarining ko'pincha muvaffaqiyatsiz bo'lish joyi. REAP evaluationni real dunyoga yaqinlashtirish orqali ushbu farqni qisqartirishga jiddiy harakat.

Manba: arxiv.org/abs/2604.01527