Как REAP решает кризис бенчмарков для AI-ассистентов кода

Будем честны: большинство бенчмарков для AI-кодинга — это мусор.

Они замеряют производительность моделей на искусственно подобранных датасетах, которые не имеют ничего общего с реальным использованием этих инструментов. Это всё равно что готовиться к марафону, бегая на беговой дорожке в кондиционируемом зале, а потом удивляться, почему не можешь добежать до финиша на реальной грязной трассе.

Команда исследователей Meta выпустила работу, которая серьёзно подходит к решению этой проблемы. Они создали REAP (Relevance and Execution-Audited Pipeline) — автоматизированную систему, которая строит бенчмарки прямо из реальных сессий разработчиков с AI-ассистентами в продакшене.

Проблема бенчмарков, о которой все молчат

Вот что большинство не осознаёт про оценку AI-кодинг агентов: методы, которые компании используют на практике, все поголовно кривые.

A/B-тестирование даёт реальные сигналы, но занимает недели и вы рискуете реальным пользовательским опытом. Запустите сломанного агента, смотрите на провальные метрики, пишите постмортем.

Shadow-деплой позволяет тестировать параллельно без влияния на пользователей, но результаты не воспроизводятся. Запустите завтра — получите другие цифры, потому что код изменился, тесты сдвинулись или ассистент просто был не в форме.

Публичные бенчмарки вроде HumanEval или MBPP? Для академических сравнений сойдут, но они не отражают реальные продакшен-задачи. Другие языки, другие стили промптов, другая структура кодовой базы. Модель, которая рвёт HumanEval, может сильно спотыкаться на вашем реальном монорепозитории.

Исследователи поняли ключевую вещь: нам нужна in-distribution оценка — бенчмарки, которые соответствуют тому, как разработчики будут реально использовать эти инструменты. Но строить такие бенчмарки вручную — это кошмар.

REAP: автоматическая курация в масштабе

REAP решает эту задачу, автоматически собирая бенчмарки из реальных сессий разработчиков. Вместо ручного создания тестов система берёт данные из реального использования и автоматически верифицирует каждую задачу, чтобы людям не приходилось следить за процессом.

Пайплайн решает три убийцы надёжности, которые терзают автоматическую курацию бенчмарков:

1. Непроверяемые промпты — Некоторые задачи невозможно верифицировать автоматически. REAP фильтрует их.

2. Несовпадающие тесты — Тест, написанный для задачи, может на самом деле проверять совсем не то, что задача требует. REAP валидирует релевантность тестов автоматически.

3. Нестабильность тестов — Результаты, которые прыгают между успехом и провалом, делают метрики бессмысленными. REAP прогоняет проверки стабильности при множественных запусках.

Главная идея: в больших монорепозиториях состояние билд-инфраструктуры эфемерно. Бенчмарк, который вы собрали сегодня, может стать невалидным завтра из-за эволюции кодовой базы. Ручная проверка не поспевает за таким темпом, поэтому REAP автоматизирует слой верификации полностью.

HARVEST: продакшен-бенчмарки для реального мира

Команда использовала REAP для создания HARVEST — бенчмарка, где каждая задача взята из реального промпта разработчика и верифицирована через fail-to-pass тесты из продакшена.

HARVEST охватывает несколько языков программирования (с большинством задач на Hack), что даёт гораздо более реалистичную картину возможностей моделей в разных экосистемах.

Результаты? Фронтирные модели показали solve rate от 42.9% до 58.2% — цифры, которые действительно что-то значат, потому что они получены из реальных продакшен-сценариев, а не синтетических тестов.

Почему это важно для вашей команды

Если вы оцениваете AI-кодинг агентов для своей организации, подходы в стиле REAP стоит понять по нескольким причинам:

• Быстрые циклы итераций — Автоматическая курация позволяет обновлять бенчмарки непрерывно по мере развития кодовой базы, без армии аннотаторов.

• Достоверные сигналы — Когда бенчмарк собран из реального использования, вы замеряете то, что действительно важно для вашего деплоя.

• Обоснованные решения о внедрении — Различия в возможностях, выявленные реалистичными бенчмарками, помогают выбрать модель, которая реально подходит вашему рабочему процессу.

Разрыв между «работает отлично на демо» и «работает отлично в продакшене» всегда был местом, где AI-инструменты умирают. REAP — это серьёзная попытка сократить этот разрыв, приблизив оценку к реальности.

Источник: arxiv.org/abs/2604.01527