Sådan løser REAP krisen med AI coding agent benchmarks

Lad os være ærlige: de fleste AI coding benchmarks er skraldespand.

De måler, hvor godt modeller klarer sig på kuraterede datasæt, der intet ligner det, der faktisk sker, når udviklere bruger disse værktøjer i produktion. Det er som at træne til et maraton på et løbebånd i et klimastyret motionscenter og derefter undre sig over, at man segner tre kilometer inde i et mudret terrænløb.

Metas forskerteam har lige udgivet et paper, der tager problemet alvorligt. De har bygget REAP (Relevance and Execution-Audited Pipeline) – et automatiseret system, der konstruerer evalueringsbenchmarks direkte fra rigtige developer-agent interaktioner i produktionsmiljøer.

Benchmark-problemet, ingen taler om

Det, de fleste ikke indser ved evaluering af AI coding agents: de metoder, virksomheder faktisk bruger i produktion, er alle dybt fejlbehæftede.

Online A/B testing giver dig ærlige signaler, men det tager uger at køre, og du gambler med den faktiske brugeroplevelse. Send en broken agent afsted, se dine metrics falde, græd i din incident-rapport.

Shadow deployment lader dig teste parallelt uden at påvirke brugere, men resultaterne er ikke reproducerbare. Kør det igen i morgen, og du får andre tal, fordi din kodebase er ændret, dine testcases har skiftet, eller agenten havde en dårlig dag.

Offentlige benchmarks som HumanEval eller MBPP? De er fine til akademiske sammenligninger, men de afspejler ikke rigtige produktionsworkloads. Forskellige sprog, forskellige prompt-stilarter, forskellige kodebasestrukturer. En model, der knuser HumanEval, kan klare sig elendigt i dit faktiske monorepo.

Forskerteamet identificerede noget afgørende: det, vi faktisk har brug for, er in-distribution evaluering – benchmarks der matcher, hvordan udviklere virkelig vil bruge disse agenter. Men at bygge disse benchmarks manuelt er et mareridt.

REAP: Automatiseret kuratering i stor skala

REAP løser dette ved automatisk at bygge produktions-afledte benchmarks fra rigtige developer-agent sessions. I stedet for at håndkurre testcases trækker systemet fra faktisk brug og verificerer hver opgave automatisk, så mennesker ikke behøver at overvåge processen.

Pipelinen adresserer tre pålidelighedsdræbere, der hjemsøger automatiseret benchmark-kuratering:

1. Utestbare prompts — Nogle opgaver kan ganske enkelt ikke verificeres automatisk. REAP filtrerer disse fra.

2. Forkert aligned tests — Den test, der er skrevet til en opgave, verificerer måske ikke det, opgaven faktisk beder om. REAP validerer test-relevans agentisk.

3. Test-flakiness — Resultater der hopper mellem pass og fail gør metrics meningsløse. REAP kører stabilitetstjek på tværs af flere eksekveringinger.

Den centrale indsigt er, at i store monorepos er build-infrastrukturens tilstand flygtig. Et benchmark, du kuraterer i dag, kan være ugyldigt i morgen, når kodebasen udvikler sig. Manuel auditering kan ikke holde trit med den cadence, så REAP automatiserer verifikationslaget fuldt ud.

HARVEST: Produktionsklare benchmarks bygget til den virkelige verden

Teamet brugte REAP til at skabe HARVEST, et benchmark hvor hver opgave kommer fra en rigtig developer-prompt og verificeres mod fail-to-pass tests hentet fra produktion.

HARVEST spænder over flere programmeringssprog (med et flertal af opgaver fra Hack), hvilket giver et langt mere realistisk billede af modelkapabiliteter på tværs af forskellige økosystemer.

Resultaterne? Frontier-modeller opnåede solve rates mellem 42,9% og 58,2% — tal der faktisk betyder noget, fordi de kommer fra rigtige produktionsscenarier, ikke syntetiske testcases.

Hvorfor dette betyder noget for dit team

Hvis du evaluerer AI coding agents til din organisation, er REAP-style tilgange værd at forstå af et par grunde:

• Hurtigere iterationscyklusser — Automatiseret kuratering betyder, at du kan opdatere benchmarks løbende, efterhånden som din kodebase udvikler sig, uden hære af menneskelige labelere.

• Pålidelige signaler — Når benchmarken kommer fra faktisk produktionsbrug, måler du det, der faktisk betyder noget for din deployment.

• Informerede deploymentsbeslutninger — De kapabilitetsforskelle, realistiske benchmarks afdækker, hjælper dig med at vælge, hvilke modeller der faktisk passer til din workflow.

Kløften mellem "virker perfekt i demos" og "virker perfekt i produktion" har altid været der, hvor AI-værktøjer dør. REAP repræsenterer et seriøst forsøg på at lukke den kløft ved at bringe evaluering tættere på virkeligheden.

Kilde: arxiv.org/abs/2604.01527