Как REAP решава кризата с бенчмарците за AI агенти за програмиране

Нека бъдем честни: повечето бенчмарци за AI кодене са пълна безполезност.

Те мерят колко добре се справят моделите върху подбрани данни, които нямат нищо общо с това, което се случва когато разработчиците наистина използват тези инструменти в реална среда. Е като да тренираш за маратон на бягаща пътека в климатизирана зала и после да се чудиш защо не издържаш три километра в кална горска писта.

Екипът на Meta току-що публикуваха изследване, което сериозно се опитва да оправи този проблем. Те създадоха REAP (Relevance and Execution-Audited Pipeline) — автоматизирана система, която създава бенчмарци директно от реални сесии на разработчици и AI агенти в production среди.

Проблемът с бенчмарците, за който никой не говори

Ето какво повечето хора не осъзнават за оценяването на AI агенти за програмиране: методите, които компаниите реално използват в практиката, са изцяло сгрешени.

Онлайн A/B тестване дава истински сигнали, но отнема седмици и рискуваш с реално потребителско изживяване. Пуснеш счупен агент, метриките падат, пишеш incident report и плачеш.

Shadow deployment ти позволява да тестваш паралелно без да засягаш потребители, но резултатите не се възпроизвеждат. Пусни го утре и ще получиш различни числа, защото кодът се е променил, тестовите случаи са се изместили, или агентът просто е имал лош ден.

Публични бенчмарци като HumanEval или MBPP? За академични сравнения са ок, но не отразяват реални production натоварвания. Различни езици, различни стилове на промптове, различни структури от код. Модел, който мачка HumanEval, може да се затрудни сериозно с твоята реална кодова база.

Изследователският екип идентифицира нещо ключово: всъщност ни трябва in-distribution evaluation — бенчмарци, които съответстват на начина, по който разработчиците наистина ще ползват тези агенти. Но ръчното им създаване е кошмар.

REAP: Автоматизирана поддръжка в мащаб

REAP решава този проблем като автоматично строи бенчмарци от реални сесии на разработчици с AI агенти. Вместо да се пишат на ръка тестови случаи, системата черпи от реална употреба и автоматично проверява всяка задача, така че хората да не трябва да я надзирават.

Пайплайнът се справя с три неща, които убиват надеждността на автоматизираното създаване на бенчмарци:

1. Непроверими промптове — Някои задачи просто не могат да се проверят автоматично. REAP ги отсява.

2. Разминаване между тест и задача — Тестът, написан за дадена задача, може въобще да не проверява това, което задачата изисква. REAP валидира релевантността на тестовете агентски.

3. Нестабилност на тестовете — Резултати, които ту минават, ту не минават, правят метриките безсмислени. REAP прави проверки за стабилност при многократни изпълнения.

Ключовото прозрение е, че в големи monorepos състоянието на build инфраструктурата е ефимерно. Бенчмарк, който си направил днес, може да е невалиден утре, докато кодовата база се развива. Ръчното одитиране не може да се мери с това темпо, така че REAP автоматизира изцяло слоя за верификация.

HARVEST: Production-качествени бенчмарци за реалния свят

Екипът използва REAP, за да създаде HARVEST — бенчмарк, където всяка задача идва от реален prompt на разработчик и се верифицира срещу fail-to-pass тестове от production среди.

HARVEST покрива множество програмни езици (с преобладаващо присъствие на Hack), което дава много по-реалистична картина на възможностите на различните модели в различни екосистеми.

Резултатите? Модели от най-високо ниво постигнаха процент на решаване между 42.9% и 58.2% — числа, които всъщност значат нещо, защото идват от реални production сценарии, а не от синтетични тестови случаи.

Защо е важно за твоя екип

Ако оценяваш AI агенти за програмиране за твоята организация, подходите в стил REAP си струва да ги разбереш по няколко причини:

• По-бързи цикли на итерация — Автоматизираната поддръжка означава, че можеш да обновяваш бенчмарци непрекъснато, докато кодовата база се развива, без армия от човешки оценители.

• Доверени сигнали — Когато бенчмаркът идва от реална production употреба, мериш това, което наистина има значение за твоето внедряване.

• Информирани решения за внедряване — Разликите в способностите, разкрити от реалистични бенчмарци, помагат да избереш кой модел наистина пасва на твоя работен процес.

Пропастта между "работи страхотно на демонстрации" и "работи страхотно в production" винаги е била мястото, където AI инструментите умират. REAP представлява сериозен опит да се преодолее тази пропаст като се доближи оценяването до реалността.

Източник: arxiv.org/abs/2604.01527