Slik løser REAP krisen med AI-kodeverktøy-evaluering

La meg være direkte: de fleste AI-kodeverktøy-benchmarks er rett og slett dårlige.

De måler hvor godt modeller presterer på nøye utvalgte datasett som ikke ligner noe som skjer når utviklere faktisk bruker disse verktøyene i produksjon. Det er som å trene til et maraton på tredemølle i et klimastyrt treningssenter, for så å lurer på hvorfor du faller sammen tre kilometer ut i et mudrete terrengløp.

Metas forskerteam har akkurat publisert en artikkel som tar et seriøst grep om dette problemet. De har bygget REAP (Relevance and Execution-Audited Pipeline), et automatisert system som konstruerer evalueringsbenchmarks direkte fra virkelige utvikler-agent-interaksjoner i produksjonsmiljøer.

Benchmark-problemet ingen snakker om

Her er hva de fleste ikke skjønner om evaluering av AI-kodeverktøy: metodene selskaper faktisk bruker i produksjon er alle dypt problematiske.

Online A/B-testing gir deg ekte signaler, men tar uker å kjøre og du gambler med faktisk brukeropplevelse. Send ut en broken agent, se metrikkene dine stupe, og gråt inn i incident-rapporten din.

Skyggeutrulling lar deg teste i parallell uten å påvirke brukere, men resultatene er ikke reprodukerbare. Kjør det igjen i morgen og du får andre tall fordi kodebasen har endret seg, testtilfellene har flyttet seg, eller agenten hadde en dårlig dag.

Offentlige benchmarks som HumanEval eller MBPP? De er greie for akademiske sammenligninger, men de gjenspeiler ikke virkelige produksjonsarbeidsoppgaver. Ulike språk, ulike prompt-stiler, ulike kodebasestrukturer. En modell som knuser HumanEval kan stride kraftig på ditt faktiske monorepo.

Forskerteamet identifiserte noe avgjørende: det vi faktisk trenger er in-distribution evaluering — benchmarks som matcher hvordan utviklere virkelig vil bruke disse agentene. Men å bygge slike benchmarks manuelt er en marerittaktig prosess.

Enter REAP: Automatisert kuratering i stor skala

REAP løser dette ved å automatisk bygge produksjonsbaserte benchmarks fra virkelige utvikler-agent-økter. I stedet for å håndlage testtilfeller, henter systemet fra faktisk bruk og verifiserer hver oppgave automatisk slik at mennesker slipper å overvåke prosessen.

Pipeline-en tar for seg tre pålitelighetsdrepende problemer som plager automatisert benchmark-kuratering:

1. Utestbare prompts — Noen oppgaver lar seg rett og slett ikke verifisere automatisk. REAP filtrerer disse bort.

2. Feiljusterte tester — Testen som er skrevet for en oppgave matcher kanskje ikke det oppgaven faktisk ber om. REAP validerer testrelevans agentisk.

3. Test-flakethet — Resultater som spretter mellom bestått og ikke-bestått gjør metrikker meningsløse. REAP kjører stabilitetssjekker på tvers av flere kjøringer.

Den sentrale innsikten er at i store monorepos er byggeinfrastrukturtilstanden flyktig. En benchmark du kuraterer i dag kan være ugyldig i morgen ettersom kodebasen utvikler seg. Manuell revisjon kan ikke holde følge med den cadencen, så REAP automatiserer verifiseringslaget fullstendig.

HARVEST: Produksjonsklare benchmarks bygget for den virkelige verden

Teamet brukte REAP til å lage HARVEST, en benchmark der hver oppgave kommer fra en virkelig utvikler-prompt og blir verifisert mot fail-to-pass-tester hentet fra produksjon.

HARVEST strekker seg over flere programmeringsspråk (med flertallet av oppgaver fra Hack), og gir et langt mer realistisk bilde av modellkapasiteter på tvers av ulike økosystemer.

Resultatene? Frontier-modeller oppnådde løsningsrater mellom 42,9% og 58,2% — tall som faktisk betyr noe fordi de kommer fra virkelige produksjonsscenarioer, ikke syntetiske testtilfeller.

Hvorfor dette betyr noe for ditt team

Hvis du evaluerer AI-kodeverktøy for organisasjonen din, er REAP-aktige tilnærminger verdt å forstå av noen grunner:

• Raskere iterasyon — Automatisert kuratering betyr at du kan oppdatere benchmarks kontinuerlig ettersom kodebasen din utvikler seg, uten hærer av menneskelige labelere.

• Pålitelige signaler — Når benchmarken kommer fra faktisk produksjonsbruk, måler du det som faktisk betyr noe for din distribusjon.

• Informerte distribusjonsbeslutninger — Kapasitetsforskjellene som avdekkes av realistiske benchmarks hjelper deg å velge hvilke modeller som faktisk passer arbeidsflyten din.

Gapet mellom "fungerer flott i demoer" og "fungerer flott i produksjon" har alltid vært der AI-verktøy dør. REAP representerer et seriøst forsøk på å lukke det gapet ved å bringe evaluering nærmere virkeligheten.

Kilde: arxiv.org/abs/2604.01527