Så Löser REAP Krisen med AI-Kodningsagenternas Benchmarkproblem

Låt mig vara rak: de flesta AI-benchmarks för kodning är usla.

De mäter hur bra modeller presterar på noggrant utvalda datamängder som inte liknar något av det som faktiskt händer när utvecklare använder dessa verktyg i produktion. Det är som att träna för en maraton genom att springa på löpband i ett klimatkontrollerat gym och sedan undra varför man ramlar ihop tre kilometer in i en lerig terrängbana.

Metas forskarlag släppte nyligen en rapport som tar tag i det här problemet på allvar. De har byggt REAP (Relevance and Execution-Audited Pipeline), ett automatiserat system som konstruerar utvärderingsbenchmarks direkt från riktiga utvecklare-agent-interaktioner i produktionsmiljöer.

Benchmarkproblemet Ingen Pratar Om

Här är vad de flesta inte förstår när det gäller att utvärdera AI-kodningsagenter: metoderna företag faktiskt använder i produktion är alla djupt bristfälliga.

Online A/B-testning ger dig verkliga signaler, men det tar veckor att köra och du spelar med riktiga användares upplevelse. Skeppa en trasig agent, se dina mätvärden rasa, gråt i din incidentrapport.

Shadow deployment låter dig testa parallellt utan att påverka användare, men resultaten går inte att reproducera. Kör det igen imorgon och du får andra siffror för att din kodbas har ändrats, dina testfall har skiftat, eller agenten hade en dålig dag.

Offentliga benchmarks som HumanEval eller MBPP? De funkar för akademiska jämförelser, men speglar inte verkliga produktionsarbetsbelastningar. Olika språk, olika promptstilar, olika kodbasstrukturer. En modell som kör över HumanEval kan stappla rejält på din faktiska monorepo.

Forskarlaget identifierade något avgörande: det vi faktiskt behöver är in-distribution-utvärdering — benchmarks som matchar hur utvecklare verkligen kommer att använda dessa agenter. Men att bygga dessa benchmarks manuellt är en mardröm.

REAP: Automatiserad Kurering i Skala

REAP löser detta genom att automatiskt bygga produktionsbaserade benchmarks från riktiga utvecklare-agent-sessioner. Istället för att handkora testfall hämtar systemet från faktisk användning och verifierar varje uppgift automatiskt så att människor slipper övervaka processen.

Pipelinen adressrerar tre tillförlitlighetsproblem som plågar automatiserad benchmark-kuration:

1. Otestbara prompts — Vissa uppgifter går helt enkelt inte att verifiera automatiskt. REAP filtrerar bort dessa.

2. Missriktade tester — Testet som skrevs för en uppgift kanske faktiskt inte verifierar det uppgiften ber om. REAP validerar testrelevans agentiskt.

3. Testinstabilitet — Resultat som studsar mellan godkänt och underkänt gör mätvärden meningslösa. REAP kör stabilitetskontroller över flera körningar.

Den viktiga insikten är att i stora monorepos är bygginfrastrukturens tillstånd efemärt. En benchmark du kurerar idag kan vara invalid imorgon när kodbasen utvecklas. Manuell granskning hinner inte med det tempot, så REAP automatiserar verifieringsskiktet helt och hållet.

HARVEST: Produktionsklara Benchmarks Byggda för Verkligheten

Teamet använde REAP för att skapa HARVEST, en benchmark där varje uppgift kommer från en riktig utvecklarprompt och verifieras mot fail-to-pass-tester hämtade från produktion.

HARVEST sträcker sig över flera programmeringsspråk (med majoriteten av uppgifter från Hack), vilket ger en betydligt mer realistisk bild av modellernas förmågor över olika ekosystem.

Resultaten? Frontier-modeller uppnådde lösningsfrekvenser mellan 42,9% och 58,2% — siffror som faktiskt betyder något för att de kommer från verkliga produktionsscenarion, inte syntetiska testfall.

Varför Det Här Spelar Roll för Ditt Team

Om du utvärderar AI-kodningsagenter för din organisation finns det några skäl att förstå REAP-inspirerade tillvägagångssätt:

• Snabbare iterationscykler — Automatiserad kuration innebär att du kan uppdatera benchmarks kontinuerligt när din kodbas utvecklas, utan armétjänst av mänskliga labelare.

• Pålitliga signaler — När benchmarken kommer från faktisk produktionsanvändning mäter du det som faktiskt spelar roll för din deployment.

• Välgrundade deploymentsbeslut — Kapacitetsskillnaderna som framkommer genom realistiska benchmarks hjälper dig välja vilka modeller som faktiskt passar ditt arbetsflöde.

Klyftan mellan "fungerar bra i demos" och "fungerar bra i produktion" har alltid varit where AI-verktyg dör. REAP representerar ett seriöst försök att minska den klyftan genom att föra utvärderingen närmare verkligheten.

• källa: arxiv.org/abs/2604.01527*