REAP – jak Meta chce rozwiązać kryzys w ocenie AI do kodowania

Przyznajmy to sobie: większość benchmarków dla agentów AI to zwykłe śmieci.

Mierzą, jak dobrze model radzi sobie na wyselekcjonowanych zbiorach danych, które nie mają nic wspólnego z tym, co się dzieje, gdy programiści faktycznie używają tych narzędzi w produkcji. To trochę jak przygotowania do maratonu na bieżni w klimatyzowanej siłowni – a potem dziwienie się, że padasz po trzech kilometrach na błotnistym trailu.

Zespół badawczy Meta właśnie opublikował pracę, która poważnie podchodzi do tego problemu. Stworzyli REAP (Relevance and Execution-Audited Pipeline) – zautomatyzowany system, który buduje benchmarki wprost z rzeczywistych interakcji developerów z agentami w środowisku produkcyjnym.

Problem z benchmarkami, o którym nikt nie mówi

Oto co większość ludzi sobie uświadamia za późno przy ocenianiu agentów AI do kodowania: metody, których firmy używają w produkcji, wszystkie mają poważne wady.

Testy A/B online dają prawdziwe sygnały, ale trwają tygodniami i stawiasz na szali rzeczywiste doświadczenia użytkowników. Wypuść zepsutego agenta, patrz jak spadają ci metryki, a potem pisz raport z incydentu.

Shadow deployment pozwala testować równolegle bez wpływu na użytkowników, ale wyniki nie są odtwarzalne. Uruchom to jutro i dostaniesz inne liczby, bo codebase się zmienił, przypadki testowe przesunęły się, albo agent po prostu miał gorszy dzień.

Publiczne benchmarki jak HumanEval czy MBPP? Nadają się do akademickich porównań, ale nie odzwierciedlają prawdziwych obciążeń produkcyjnych. Inne języki programowania, inne style promptów, inne struktury codebase'u. Model, który miażdży HumanEval, może się boleśnie potknąć na twoim rzeczywistym monorepo.

Zespół badawczy zidentyfikował coś kluczowego: tak naprawdę potrzebujemy ewaluacji in-distribution – benchmarków, które odpowiadają temu, jak deweloperzy będą faktycznie tych agentów używać. Ale ręczne budowanie takich benchmarków to koszmar.

REAP: automatyczna kategoryzacja na skalę

REAP rozwiązuje ten problem, automatycznie budując benchmarki wyprowadzone z produkcji – z prawdziwych sesji developer-agent. Zamiast ręcznie tworzyć przypadki testowe, system czerpie z realnego użycia i automatycznie weryfikuje każde zadanie, więc ludzie nie muszą tego pilnować.

Pipeline zajmuje się trzema zabójcami wiarygodności, które nękają automatyczną kategoryzację benchmarków:

1. Niemożliwe do przetestowania prompty — niektóre zadania po prostu nie dają się zweryfikować automatycznie. REAP je filtruje.

2. Niezgodne testy — test napisany dla danego zadania może wcale nie weryfikować tego, o co w zadaniu chodzi. REAP sprawdza trafność testów w sposób agentowy.

3. Flakiness testów — wyniki, które skaczą między passed a failed, czynią metryki bezwartościowymi. REAP przeprowadza testy stabilności przy wielokrotnych wykonaniach.

Kluczowy wgląd jest taki: w dużych monorepo stan infrastruktury buildowej jest ulotny. Benchmark, który dziś starannie przygotowałeś, może być nieaktualny jutro, gdy codebase ewoluuje. Ręczne audyty nie nadążą za takim tempem, więc REAP automatyzuje całą warstwę weryfikacji.

HARVEST: benchmarki klasy produkcyjnej, zbudowane dla prawdziwego świata

Zespół wykorzystał REAP do stworzenia HARVEST – benchmarku, gdzie każde zadanie pochodzi z prawdziwego promptu developera i jest weryfikowane wobec testów fail-to-pass pobranych z produkcji.

HARVEST obejmuje wiele języków programowania (z większością zadań z HACK-a), co daje znacznie bardziej realistyczny obraz możliwości modeli w różnych ekosystemach.

Rezultaty? Najlepsze modele osiągnęły wskaźniki rozwiązań między 42,9% a 58,2% — liczby, które coś znaczą, bo pochodzą z prawdziwych scenariuszy produkcyjnych, nie syntetycznych przypadków testowych.

Dlaczego to ma znaczenie dla twojego zespołu

Jeśli oceniasz agentów AI do kodowania w swojej organizacji, warto zrozumieć podejścia w stylu REAP z kilku powodów:

• Szybsze cykle iteracji — automatyczna kategoryzacja oznacza, że możesz aktualizować benchmarki na bieżąco w miarę ewolucji codebase'u, bez armii ludzkich labelerów.

• Wiarygodne sygnały — gdy benchmark pochodzi z faktycznego użycia produkcyjnego, mierzysz to, co naprawdę ma znaczenie dla twojego wdrożenia.

• Świadome decyzje wdrożeniowe — różnice w możliwościach ujawnione przez realistyczne benchmarki pomagają wybrać, który model faktycznie pasuje do twojego workflow.

Przepaść między „świetnie działa w demach" a „świetnie działa w produkcji" zawsze była miejscem, gdzie giną narzędzia AI. REAP to poważna próba zamknięcia tej luki przez przybliżenie ewaluacji do rzeczywistości.

Źródło: arxiv.org/abs/2604.01527