Miten REAP ratkaisee AI-koodausagenttien benchmark-kriisin

Ollaan rehellisiä: suurin osa AI-koodausbenchmarceista on roskaa.

Ne mittaavat, miten hyvin mallit pärjäävät kuratoiduilla dataseteillä, jotka eivät näytä millään tavalla siltä, mitä oikeasti tapahtuu kun kehittäjät käyttävät näitä työkaluja tuotannossa. Se on kuin valmistautuisi maratoniin juoksemalla ju treadmillilla ilmastoidussa kuntosalissa ja sitten ihmettelisit, miksi hengästyt kolmen kilometrin jälkeen mutaisella polulla.

Metan tutkimusryhmä julkaisi juuri paperin, joka ottaa vakavasti ongelman käsittelyyn. He ovat rakentaneet REAP:n (Relevance and Execution-Audited Pipeline), automaattisen järjestelmän, joka luo evaluaatiobenchmarceja suoraan kehittäjä-agentti-interaktioista tuotantoympäristöissä.

Benchmark-ongelma, josta kukaan ei puhu

Tässä on asia, jonka useimmat eivät ymmärrä AI-koodausagenttien arvioinnista: metodit, joita yritykset todella käyttävät tuotannossa, ovat kaikki pahasti viallisia.

Online A/B-testaus antaa todellisia signaaleja, mutta sen ajaminen kestää viikkoja ja olet vaarassa oikean käyttökokemuksen kanssa. Julkaise rikkinäinen agentti, katso metriikkojesi romahtavan ja itke Incident-raporttisi ääressä.

Shadow-käyttöönotto mahdollistaa rinnakkaisen testaamisen ilman käyttäjävaikutuksia, mutta tulokset eivät ole toistettavissa. Aja se uudestaan huomenna ja saat eri numeroita, koska koodipohjasi muuttui, testitapauksesi siirtyivät tai agentilla oli huono päivä.

Julkiset benchmarkit kuten HumanEval tai MBPP? Ne sopivat akateemisiin vertailuihin, mutta eivät heijasta todellisia tuotantokuormia. Eri kielet, eri prompt-tyylit, erilaiset koodipohjarakenteet. Malli, joka murskaa HumanEvalin, voi kompastua pahasti oikeassa monorepossa.

Tutkimusryhmä tunnisti jotain ratkaisevaa: se, mitä todella tarvitsemme, on in-distribution evaluaatio — benchmarkit, jotka vastaavat sitä, miten kehittäjät todella käyttävät näitä agenteja. Mutta tällaisten benchmarkien rakentaminen käsin on painajainen.

REAP astuu kuvaan: Automaattinen kuratointi skaalautuvasti

REAP ratkaisee tämän rakentamalla automaattisesti tuotannosta johdetut benchmarkit aidoista kehittäjä-agentti-sessioista. Sen sijaan että testitapaukset tehtäisiin käsin, järjestelmä hakee ne todellisesta käytöstä ja varmentaa jokaisen tehtävän automaattisesti, jotta ihmisten ei tarvitse valvoa prosessia.

Pipeline käsittelee kolme luotettavuuden tappajaa, jotka vaivaavat automaattista benchmark-kuratointia:

1. Testaamattomat promptit — Jotkut tehtävät eivät yksinkertaisesti ole automaattisesti todennettavissa. REAP suodattaa nämä pois.

2. Väärin kohdistetut testit — Tehtävään kirjoitettu testi ei ehkä todellisuudessa verifioi sitä, mitä tehtävä pyytää. REAP validoi testin relevanssin agenttisesti.

3. Testin epävakaus — Tulokset, jotka pomppaavat läpäisy- ja epäonnistumistulosten välillä, tekevät metriikoista merkityksettömiä. REAP ajaa stabiliteettitarkistuksia useiden suoritusten yli.

Keskeinen oivallus on, että suurissa monorepossa build-infrastruktuurin tila on efemeristä. Benchmarki, jonka kuratoit tänään, voi olla invalidit huomenna kun koodipohja kehittyy. Manuaalinen auditointi ei pysy sen tahdissa mukana, joten REAP automatisoi verifikaatiokerroksen kokonaan.

HARVEST: Tuotantoluokan benchmarkit rakennettu todelliseen maailmaan

Ryhmä käytti REAP:ia luodakseen HARVEST:n, benchmarkin, jossa jokainen tehtävä tulee aidosta kehittäjä-promptista ja verifioidaan tuotannosta haettuja fail-to-pass-testejä vasten.

HARVEST kattaa useita ohjelmointikieliä (suurin osa tehtävistä Hackista), tarjoten paljon realistisemman kuvan mallien kyvykkyyksistä eri ekosysteemeissä.

Tulokset? Frontier-mallit saavuttivat ratkaisuprosentteja 42,9% ja 58,2% välillä — lukuja, joilla on oikeasti merkitystä, koska ne tulevat todellisista tuotantoskenaarioista, eivät synteettisistä testitapauksista.

Miksi tämä merkitsee sinun tiimillesi

Jos arvioit AI-koodausagentteja organisaatiollesi, REAP-tyyppiset lähestymistavat kannattaa ymmärtää muutamasta syystä:

• Nopeammat iteraatiosyklit — Automaattinen kuratointi tarkoittaa, että voit päivittää benchmarkeja jatkuvasti koodipohjasi kehittyessä, ilman armeijoita ihmislabeloijia.

• Luotettavat signaalit — Kun benchmarki tulee todellisesta tuotantokäytöstä, mittaat sitä, mikä todella merkitsee käyttöönotossasi.

• Tietoon perustuvat käyttöönottopäätökset — Kyvykkyyserot, jotka realistiset benchmarkit paljastavat, auttavat sinua valitsemaan mitkä mallit todella sopivat työnkulkuusi.

Kuilu "toimii loistavasti demoissa" ja "toimii loistavasti tuotannossa" on aina ollut se paikka, jossa AI-työkalut kuolevat. REAP edustaa vakavaa yritystä kuromiseksi tuon kuilun tuomalla evaluaatio lähemmäs todellisuutta.

Lähde: arxiv.org/abs/2604.01527