Zo pakt REAP de AI coding agent benchmark-crisis aan

Laten we eerlijk zijn: de meeste AI coding benchmarks zijn waardeloos.

Ze meten hoe goed modellen presteren op zorgvuldig samengestelde datasets die totaal niet lijken op wat er gebeurt wanneer developers deze tools daadwerkelijk gebruiken in productie. Het is net alsof je traint voor een marathon door op een loopband in een klimaatgecontroleerde sportschool te rennen, en je dan afvraagt waarom je na drie kilometer in een modderige trail race helemaal uitgeput bent.

Meta's onderzoeksteam heeft recent een paper uitgebracht die dit probleem serieus aanpakt. Ze hebben REAP (Relevance and Execution-Audited Pipeline) gebouwd: een geautomatiseerd systeem dat evaluatie-benchmarks construcutieert direct uit echte developer-agent interacties in productieomgevingen.

Het benchmark probleem waar niemand over praat

Hier is wat de meeste mensen niet doorhebben over het evalueren van AI coding agents: de methodes die bedrijven daadwerkelijk gebruiken in productie zijn stuk voor stuk gebrekkig.

Online A/B testing geeft je echte signalen, maar het duurt weken om te draaien en je gokt met de daadwerkelijke gebruikerservaring. Lever een kapotte agent, zie je metrics instorten, huil in je incidentrapport.

Shadow deployment laat je parallel testen zonder gebruikers te beïnvloeden, maar de resultaten zijn niet reproduceerbaar. Draai het morgen opnieuw en je krijgt andere cijfers omdat je codebase veranderd is, je testcases verschoven zijn, of de agent een off-day had.

Publieke benchmarks zoals HumanEval of MBPP? Ze zijn prima voor academische vergelijkingen, maar ze weerspiegelen niet de echte productieworkloads. Verschillende talen, verschillende prompt styles, verschillende codebase structuren. Een model dat HumanEval vernietigt, kan enorm struikelen op jouw daadwerkelijke monorepo.

Het onderzoeksteam identificeerde iets cruciaals: wat we eigenlijk nodig hebben is in-distribution evaluatie — benchmarks die aansluiten bij hoe developers deze agents daadwerkelijk gaan gebruiken. Maar die benchmarks handmatig bouwen is een nachtmerrie.

REAP: Geautomatiseerde curatie op schaal

REAP lost dit op door automatisch productie-afgeleide benchmarks te bouwen uit echte developer-agent sessies. In plaats van testgevallen met de hand te fabriceren, haalt het systeem data uit daadwerkelijk gebruik en verifieert elke taak automatisch — dus mensen hoeven het proces niet te begeleiden.

De pipeline pakt drie betrouwbaarheids-killers aan die geautomatiseerde benchmark-curatie teisteren:

1. Ontestbare prompts — Sommige taken zijn simpelweg niet automatisch te verifiëren. REAP filtert deze eruit.

2. Verkeerd uitgelijnde tests — De test die voor een taak geschreven is, verifieert misschien niet wat de taak eigenlijk vraagt. REAP valideert test-relevantie agentisch.

3. Test-inconsistentie — Resultaten die tussen slagen en falen schommelen maken metrics zinloos. REAP draait stabiliteitschecks over meerdere executies.

De belangrijkste insteek is dat in grote monorepos, de build-infrastructuur status vluchtig is. Een benchmark die je vandaag curate, kan morgen al ongeldig zijn omdat de codebase evolueert. Handmatige auditing kan dat tempo niet bijhouden, dus REAP automatiseert de verificatielaag volledig.

HARVEST: Productie-grade benchmarks gebouwd voor de echte wereld

Het team gebruikte REAP om HARVEST te creëren, een benchmark waar elke taak voortkomt uit een echte developer prompt en geverifieerd wordt tegen fail-to-pass tests uit productie.

HARVEST beslaat meerdere programmeertalen (met een meerderheid van de taken uit Hack), wat een veel realistischer beeld geeft van modelcapaciteiten in verschillende ecosystemen.

De resultaten? Frontier modellen behaalden solve rates tussen 42,9% en 58,2% — cijfers die daadwerkelijk iets betekenen omdat ze uit echte productiescenario's komen, niet uit synthetische testgevallen.

Waarom dit belangrijk is voor jouw team

Als je AI coding agents evalueert voor je organisatie, zijn REAP-style benaderingen om een paar redenen de moeite waard om te begrijpen:

• Snellere iteratiecycli — Geautomatiseerde curatie betekent dat je benchmarks continu kunt updaten naarmate je codebase evolueert, zonder legers van menselijke labelers.

• Betrouwbare signalen — Wanneer de benchmark uit daadwerkelijk productiegebruik komt, meet je wat er echt toe doet voor jouw deployment.

• Informed deployment beslissingen — De capability verschillen die realistische benchmarks blootleggen helpen je kiezen welke modellen echt bij je workflow passen.

De kloof tussen "werkt geweldig in demos" en "werkt geweldig in productie" is altijd waar AI tools doodgaan. REAP vertegenwoordigt een serieuze poging om die kloof te dichten door evaluatie dichter bij de realiteit te brengen.

Bron: arxiv.org/abs/2604.01527