Jak REAP řeší krizi benchmarků AI coding agentů

Upřímně řečeno: většina AI coding benchmarků je k ničemu.

Měří, jak dobře modely obstojí na ručně připravených datasetech, které nemají nic společného s tím, co se děje, když vývojáři tyto nástroje používají v produkci. Je to jako trénovat na maraton na běžícím pásu v klimatizované posilovně a pak se divit, že vypadnete tři míle do prašného terénu.

Výzkumný tým Meta právě publikoval paper, který se tomuto problému snaží vážně přijít na kloub. Vytvořili REAP (Relevance and Execution-Audited Pipeline) – automatizovaný systém, který staví evaluační benchmarky přímo z reálných interakcí mezi vývojáři a agenty v produkčním prostředí.

Problém s benchmarky, o kterém nikdo nemluví

Tady je to, co většina lidí nechápe ohledně hodnocení AI coding agentů: metody, které firmy skutečně používají v produkci, jsou všechny hluboce problematické.

Online A/B testování sice dává reálné signály, ale trvá týdny a riskujete přitom skutečnou uživatelskou zkušenost. Vydáte broken agenta, sledujete, jak vám padají metriky, a brečíte nad incident reportem.

Shadow deployment vám umožní testovat paralelně bez dopadu na uživatele, ale výsledky nejsou reprodukovatelné. Spustíte to znovu zítra a dostanete úplně jiné čísla, protože se změnil váš codebase, posunuly se test cases, nebo měl agent slabší den.

Veřejné benchmarky jako HumanEval nebo MBPP? Pro akademické srovnání jsou v pohodě, ale neodrážejí reálné produkční workloady. Jiné jazyky, jiné prompt styly, jiná struktura codebase. Model, který drtí HumanEval, může pohořet na vašem skutečném monorepu.

Výzkumný tým identifikoval klíčovou věc: to, co skutečně potřebujeme, je in-distribution evaluation – benchmarky, které odpovídají tomu, jak vývojáři tyto agenty doopravdy budou používat. Ale manuálně takové benchmarky stavět je noční můra.

REAP: Automatizovaná kuration ve velkém měřítku

REAP to řeší tak, že automaticky staví benchmarky odvozené z produkce z reálných sessions mezi vývojáři a agenty. Místo ručního vytváření test cases systém čerpá z ostrého nasazení a automaticky ověřuje každý task, takže lidi nemusí celý proces hlídat.

Pipeline řeší tři zabijáky reliability, které trápí automatizovanou kurationi benchmarků:

1. Netestovatelné prompty — Některé tasky prostě nemůžete automaticky ověřit. REAP je odfiltrovává.

2. Špatně zarovnané testy — Test napsaný pro daný task možná ve skutečnosti neověřuje to, co task žádá. REAP validuje relevanci testů agenticky.

3. Nestabilní testy — Výsledky, které se převalují mezi pass a fail, dělají metriky bezcennými. REAP provádí stability checks napříč více spuštěními.

Klíčový insight je, že ve velkých monorepos je stav build infrastruktury ephemerální. Benchmark, který dnes vykurátujete, může být zítra neplatný, protože codebase se vyvinul. Manulání auditing neudrží tempo s takovým cadence, takže REAP automatizuje celou verification vrstvu.

HARVEST: Produkční benchmarky postavené pro reálný svět

Tým použil REAP k vytvoření HARVEST – benchmarku, kde každý task pochází z reálného developer promptu a je ověřen proti fail-to-pass testům staženým z produkce.

HARVEST pokrývá více programovacích jazyků (s většinou tasků z Hack), což dává mnohem realističtější obrázek schopností modelů napříč různými ekosystémy.

Výsledky? Frontier modely dosáhly solve rates mezi 42,9 % a 58,2 % – čísla, která něco znamenají, protože pocházejí z reálných produkčních scénářů, ne ze syntetických test cases.

Proč je to důležité pro váš tým

Pokud pro vaši organizaci hodnotíte AI coding agenty, REAP-style přístupy stojí za pochopení z několika důvodů:

• Rychlejší iteration cykly — Automatizovaná kuration znamená, že můžete benchmarky průběžně aktualizovat, jak se váš codebase vyvíjí, bez armád lidských labelerů.

• Věrohodné signály — Když benchmark pochází ze skutečného produkčního nasazení, měříte to, co pro vaši deployment skutečně záleží.

• Informed deployment rozhodnutí — Rozdíly ve schopnostech odhalené realistickými benchmarky vám pomůžou vybrat, které modely doopravdy sedí k vašemu workflow.

Propast mezi "funguje skvěle v demos" a "funguje skvěle v produkci" vždycky byla místo, kde AI nástroje umírají. REAP představuje seriózní pokus tuto propast zavřít tím, že přiblíží evaluaci realitě.

Zdroj: arxiv.org/abs/2604.01527