Így oldja meg a REAP az AI kódoló agentek értékelésének válságát

Azt kell mondjam, az AI kódoló benchmarkok nagy része gyakorlatilag használhatatlan.

Azt mérik, mennyire teljesítenek jól a modellek olyan adathalmazokon, amelyek semmihez nem hasonlítanak, ami a valóságban történik, amikor fejlesztők éles környezetben használják ezeket az eszközöket. Ez olyan, mintha egy klíma szabályozott edzőteremben, futópadon készülnél egy maratonra, aztán azon csodálkoznál, hogy három kilométer után a sárban kivagy.

A Meta kutatási csapata most épp egy komoly megoldással állt elő. Megépítették a REAP-et (Relevance and Execution-Audited Pipeline) – ez egy teljesen automatizált rendszer, ami értékelési benchmarkokat állít elő közvetlenül a valós fejlesztő-agent interakciókból éles környezetekben.

A benchmark probléma, amiről senki sem beszél

Az AI kódoló agentek értékelésénél a legtöbben nem értik, hogy a cégek által használt módszerek mindegyike súlyos hibákkal küzd.

Az online A/B tesztelés valódi jelzéseket ad, de hetekig tart és az igazi felhasználói élménnyel játszol. Ha rossz agentet szállítasz, a metrikáid leszakadnak, és az incidens jelentésben nyögsz majd.

A shadow deployment párhuzamosan tesztel anélkül, hogy a felhasználókat érintené, viszont az eredmények nem reprodukálhatók. Másnap újra lefuttatod, és más számokat kapsz, mert a kódbázis megváltozott, a tesztesetek elcsúsztak, vagy az agent épp rossz napot fogott ki.

A nyilvános benchmarkok, mint a HumanEval vagy az MBPP? Tudományos összehasonlításra jók, de nem tükrözik a valós éles munkaterhelést. Más nyelvek, más prompt stílusok, más kódbázis struktúrák. Egy modell, ami a HumanEval-en brillírozik, simán elbukhat a saját monorepódon.

A kutatók felismerték a lényeget: amit valójában kell, az az in-distribution értékelés – olyan benchmarkok, amelyek illeszkednek ahhoz, ahogy a fejlesztők ténylegesen használni fogják ezeket az agenteket. De ezeket a benchmarkokat manuálisan építeni rémálom.

Itt jön a REAP: Automatizált kurálás nagyban

A REAP úgy oldja meg ezt, hogy automatikusan épít éles környezetből származó benchmarkokat a valós fejlesztő-agent munkamenetekből. Ahelyett, hogy kézzel fabrikálnák a teszteseteket, a rendszer a tényleges használatból merít, és automatikusan ellenőriz minden feladatot, így az embereknek nem kell felügyelni a folyamatot.

A pipeline három megbízhatósági gyilkost kezel, ami az automatizált benchmark kurálást sújtja:

1. Nem tesztelhető promtpok — Vannak feladatok, amiket egyszerűen nem lehet automatikusan ellenőrizni. A REAP kiszűri ezeket.

2. Nem megfelelő tesztek — A feladathoz írt teszt lehet, hogy nem azt ellenőrzi, amit a feladat kér. A REAP agent módon validálja a teszt relevanciát.

3. Teszt instabilitás — Ha az eredmények pass és fail között ugrálnak, a metrikák értelmetlenné válnak. A REAP stabilitási ellenőrzéseket futtat több végrehajtáson keresztül.

A kulcs az, hogy nagy monorepókban a build infrastruktúra állapota múló. Egy benchmark, amit ma kurálsz, holnap már érvénytelen lehet, ahogy a kódbázis fejlődik. A manuális auditálás nem bírja ezt a tempót, ezért a REAP teljesen automatizálja a verifikációs réteget.

HARVEST: Éles környezetű benchmarkok a valós világhoz

A csapat a REAP-et használta a HARVEST létrehozásához, ahol minden feladat valós fejlesztői promptból származik, és fail-to-pass tesztek ellen van ellenőrizve éles környezetből.

A HARVEST több programozási nyelven átível (a feladatok többsége Hackből származik), ami sokkal realisztikusabb képet ad a modell képességeiről különböző ökoszisztémákban.

Az eredmények? A legjobb modellek 42,9% és 58,2% közötti megoldási rátát értek el – olyan számok, amik tényleg jelentenek valamit, mert valós éles szcenáriókból jönnek, nem szintetikus tesztesetekből.

Miért fontos ez a csapatodnak?

Ha AI kódoló agenteket értékelsz a szervezetednél, a REAP-stílusú megközelítések több okból is megértések:

• Gyorsabb iterációs ciklusok — Az automatizált kurálás azt jelenti, hogy folyamatosan frissítheted a benchmarkokat, ahogy a kódbázisod fejlődik, emberi labelerek hadserege nélkül.

• Megbízható jelzések — Amikor a benchmark a tényleges éles használatból származik, azt méred, ami tényleg számít az üzemelésed szempontjából.

• Tájékozott telepítési döntések — A realisztikus benchmarkok által feltárt képességkülönbségek segítenek kiválasztani, melyik modellek illeszkednek ténylegesen a munkafolyamatodba.

A szakadék a "demosban remekül működik" és az "élesben remekül működik" között mindig is ott volt, ahol az AI eszközök elhaláloztak. A REAP komoly kísérlet arra, hogy bezárja ezt a rést azzal, hogy az értékelést közelebb viszi a valósághoz.

Forrás: arxiv.org/abs/2604.01527