REAP: A Solução para a Crise de Avaliação de Agentes de Código AI
Como o REAP Está Resolvendo a Crise dos Benchmarks de Agentes de IA
Vamos ser sinceros: a maioria dos benchmarks de IA para programação não vale nada.
Eles medem o desempenho dos modelos em conjuntos de dados cuidadosamente selecionados que não têm nada a ver com o que acontece quando desenvolvedores usam essas ferramentas no dia a dia. É como treinar para uma maratona correndo numa esteira com ar-condicionado e depois se perguntar por que desiste três quilômetros adentro de uma corrida de lama.
O time de pesquisa da Meta acabou de publicar um paper que tenta resolver esse problema de vez. Eles criaram o REAP (Relevance and Execution-Audited Pipeline), um sistema automatizado que constrói benchmarks de avaliação diretamente a partir de interações reais entre desenvolvedores e agentes em ambientes de produção.
O Problema dos Benchmarks que Ninguém Fala
Aqui vai o que pouca gente percebe sobre avaliar agentes de IA para código: todos os métodos que as empresas usam na prática são problemáticos.
Testes A/B online fornecem sinais reais, mas demoram semanas para rodar e você está arriscando a experiência do usuário de verdade. Lança um agente quebrado, vê seus métricas despencarem, chora no relatório de incidente.
Deploy em modo sombra permite testar em paralelo sem afetar usuários, mas os resultados não são reproduzíveis. Roda de novo amanhã e terá números diferentes porque o código mudou, os casos de teste shifted, ou o agente estava num dia ruim.
Benchmarks públicos como HumanEval ou MBPP? São decentes para comparações acadêmicas, mas não refletem workloads reais de produção. Linguagens diferentes, estilos de prompt diferentes, estruturas de código diferentes. Um modelo que esmaga o HumanEval pode tropeçar feio no seu monorepo verdadeiro.
O time de pesquisa identificou algo crucial: o que realmente precisamos é de avaliação in-distribution — benchmarks que correspondam ao modo como desenvolvedores vão realmente usar esses agentes. Mas construir esses benchmarks manualmente é um pesadelo.
REAP: Curadoria Automatizada em Escala
O REAP resolve isso automatizando a construção de benchmarks derivados de produção, extraídos de sessões reais entre desenvolvedores e agentes. Em vez de criar casos de teste na mão, o sistema puxa do uso real, verificando cada tarefa automaticamente para não precisar de supervisão humana.
O pipeline ataca três vilões da confiabilidade que atormentam a curadoria automatizada de benchmarks:
Prompts não testáveis — Algumas tarefas simplesmente não podem ser verificadas de forma automática. O REAP filtra essas.
Testes desalinhados — O teste escrito para uma tarefa pode não verificar realmente o que a tarefa pede. O REAP valida a relevância do teste de forma agentic.
Testes instáveis — Resultados que oscilam entre passar e falhar tornam métricas inúteis. O REAP roda verificações de estabilidade em múltiplas execuções.
A sacada principal é que em monorepos grandes, o estado da infraestrutura de build é efêmero. Um benchmark que você curou hoje pode ser inválido amanhã conforme o código evolui. Auditoria manual não consegue acompanhar esse ritmo, então o REAP automatiza toda a camada de verificação.
HARVEST: Benchmarks de Grau de Produção para o Mundo Real
O time usou o REAP para criar o HARVEST, um benchmark onde cada tarefa vem de um prompt real de desenvolvedor e é verificada contra testes fail-to-pass extraídos de produção.
O HARVEST abrange múltiplas linguagens de programação (com maioria das tarefas em Hack), dando um panorama muito mais realista das capacidades dos modelos em diferentes ecossistemas.
Os resultados? Modelos de fronteira alcançaram taxas de solução entre 42,9% e 58,2% — números que realmente significam algo porque vêm de cenários reais de produção, não de casos de teste sintéticos.
Por Que Isso Importa Para Sua Equipe
Se você está avaliando agentes de IA para código na sua organização, abordagens no estilo do REAP merecem atenção por algumas razões:
Ciclos de iteração mais rápidos — Curadoria automatizada significa que você pode atualizar benchmarks continuamente conforme seu código evolui, sem exércitos de labelers humanos.
Sinais confiáveis — Quando o benchmark vem de uso real de produção, você está medindo o que realmente importa para seu deployment.
Decisões de deployment mais informadas — As diferenças de capacidade reveladas por benchmarks realistas ajudam você a escolher quais modelos realmente se encaixam no seu fluxo de trabalho.
A lacuna entre "funciona bem em demos" e "funciona bem em produção" sempre foi onde ferramentas de IA morrem. O REAP representa uma tentativa séria de fechar essa lacuna trazendo a avaliação para mais perto da realidade.
Fonte: arxiv.org/abs/2604.01527