Cum Rezolvă REAP Criza Benchmark-urilor pentru Agenții AI de Programare

Să fim sinceri: majoritatea benchmark-urilor pentru AI-ul care scrie cod sunt inutile.

Măsoară cât de bine performează modelele pe seturi de date alese special, care nu au absolut nicio legătură cu ce se întâmplă când dezvoltatorii folosesc efectiv aceste unelte în producție. E ca și cum te-ai antrena pentru un maraton alergând pe bandă într-o sală cu aer condiționat, ca apoi să te întrebi de ce nu faci față la trei kilometri pe un traseu plin de noroi.

Echipa de cercetare de la Meta tocmai a publicat un paper care încearcă să rezolve serios problema asta. Au construit REAP (Relevance and Execution-Audited Pipeline), un sistem automatizat care construiește benchmark-uri de evaluare direct din interacțiunile reale dintre dezvoltatori și agenți în medii de producție.

Problema cu Benchmark-urile pe Care Nimeni Nu O Discută

Iată ce nu înțelege majoritatea lumii când vine vorba de evaluarea agenților AI de programare: metodele pe care companiile le folosesc efectiv în producție sunt toate profund defectuoase.

Testarea A/B online îți dă semnale reale, dar durează săptămâni să rulezi și riști să strici experiența utilizatorilor. Trimite în producție un agent defect, vezi cum metrics-urile tale se prăbușesc, și plângi în raportul de incident.

Deploy-ul în shadow te lasă să testezi în paralel fără să afectezi utilizatorii, dar rezultatele nu sunt reproductibile. Rulează-l mâine și vei obține cifre diferite pentru că s-a schimbat codebase-ul, s-au modificat testele, sau agentul a avut o zi proastă.

Benchmark-urile publice gen HumanEval sau MBPP? Sunt ok pentru comparații academice, dar nu reflectă workload-urile reale din producție. Limbaje diferite, stiluri diferite de prompting, structuri diferite de codebase. Un model care zdrobește HumanEval ar putea să se împotmolească rău pe monorepo-ul tău real.

Echipa de cercetare a identificat ceva crucial: ce ne trebuie de fapt este evaluarea in-distribution — benchmark-uri care se potrivesc cu modul în care dezvoltatorii vor folosi efectiv acești agenți. Dar construirea manuală a unor astfel de benchmark-uri este un coșmar.

Intră REAP: Curation Automată la Scară

REAP rezolvă asta construind automat benchmark-uri derivate din producție, din sesiuni reale între dezvoltatori și agenți. În loc să creeze manual test cases, sistemul extrage din utilizarea reală și verifică fiecare task automat, așa că oamenii nu trebuie să supervizeze procesul.

Pipeline-ul abordează trei ucigași ai fiabilității care afectează curationarea automată de benchmark-uri:

1. Prompts netestabile — Unele task-uri pur și simplu nu pot fi verificate automat. REAP le filtrează.

2. Teste nealiniale — Testul scris pentru un task s-ar putea să nu verifice de fapt ce cere task-ul. REAP validează relevanța testelor în mod agentic.

3. Teste instabile — Rezultatele care oscilează între pass și fail fac metrics-urile inutile. REAP rulează verificări de stabilitate pe multiple execuții.

Ideea cheie e că în monorepo-uri mari, starea infrastructurii de build este efemeră. Un benchmark pe care îl creezi azi ar putea fi invalid mâine pe măsură ce codebase-ul evoluează. Auditarea manuală nu poate ține pasul cu ritmul ăsta, așa că REAP automatizează complet layer-ul de verificare.

HARVEST: Benchmark-uri de Calitate Production, Build pentru Lumea Reală

Echipa a folosit REAP pentru a crea HARVEST, un benchmark unde fiecare task vine dintr-un prompt real de dezvoltator și este verificat împotriva testelor fail-to-pass extrase din producție.

HARVEST acoperă multiple limbaje de programare (cu majoritatea task-urilor din Hack), oferind o imagine mult mai realistă a capacităților modelelor în diferite ecosisteme.

Rezultatele? Modelele de frontieră au obținut rate de rezolvare între 42.9% și 58.2% — cifre care chiar înseamnă ceva pentru că vin din scenarii reale de producție, nu din test cases sintetice.

De Ce Contează Asta pentru Echipa Ta

Dacă evaluezi agenți AI de programare pentru organizația ta, abordările de tip REAP merită înțelese din câteva motive:

• Cicluri de iterare mai rapide — Curationarea automatizată înseamnă că poți actualiza benchmark-urile continuu pe măsură ce codebase-ul evoluează, fără armate de labelers umani.

• Semnale demne de încredere — Când benchmark-ul vine din utilizarea reală din producție, măsori ce contează efectiv pentru deployment-ul tău.

• Decizii de deployment informate — Diferențele de capabilități evidențiate de benchmark-uri realiste te ajută să alegi ce modele se potrivesc de fapt cu workflow-ul tău.

Gap-ul dintre "funcționează grozav în demo-uri" și "funcționează grozav în producție" a fost mereu locul unde mor tool-urile AI. REAP reprezintă o încercare serioasă de a închide acest gap, aducând evaluarea mai aproape de realitate.

Sursă: arxiv.org/abs/2604.01527