Cómo REAP está resolviendo la crisis de los benchmarks de agentes de código AI

Vamos a ser directos: la mayoría de los benchmarks para agentes de código AI son un desastre.

Miden qué tan bien rinden los modelos en conjuntos de datos cuidadosamente curados que no tienen nada que ver con lo que pasa cuando los desarrolladores usan estas herramientas en producción. Es como entrenar para un maratón corriendo en una caminadora con aire acondicionado y luego preguntarte por qué te agotaste a mitad del camino en una carrera real por el bosque.

El equipo de investigación de Meta acaba de publicar un paper que busca resolver este problema de raíz. Construyeron REAP (Relevance and Execution-Audited Pipeline), un sistema automatizado que genera benchmarks directamente desde interacciones reales entre desarrolladores y agentes en entornos de producción.

El problema con los benchmarks que nadie menciona

Esto es lo que muchos no saben sobre evaluar agentes de código AI: los métodos que las empresas usan en producción están todos defectuosos.

Las pruebas A/B online te dan señales reales, pero tardan semanas en ejecutarse y estás jugando con la experiencia del usuario real. Lanza un agente con problemas, observa cómo caen tus métricas, y escribe tu reporte de incidente entre lágrimas.

El shadow deployment te permite probar en paralelo sin afectar a los usuarios, pero los resultados no son reproducibles. Ejecútalo de nuevo mañana y obtendrás números diferentes porque tu codebase cambió, tus casos de prueba se movieron, o el agente tuvo un mal día.

Los benchmarks públicos como HumanEval o MBPP están bien para comparaciones académicas, pero no reflejan cargas de trabajo reales de producción. Diferentes lenguajes, diferentes estilos de prompts, diferentes estructuras de código. Un modelo que destruye HumanEval podría tropezar bastante en tu monorepo real.

El equipo de investigación identificó algo crucial: lo que realmente necesitamos es evaluación in-distribution — benchmarks que coincidan con cómo los desarrolladores van a realmente usar estos agentes. Pero construir esos benchmarks manualmente es una pesadilla.

Entra REAP: Curación automatizada a escala

REAP resuelve esto automatizando la construcción de benchmarks derivados de producción desde sesiones reales de desarrollador-agente. En lugar de crear casos de prueba a mano, el sistema extrae del uso real, verificando cada tarea automáticamente para que los humanos no tengan que supervisar todo el proceso.

El pipeline aborda tres asesinos de confiabilidad que plagan la curación automatizada de benchmarks:

1. Prompts no verificables — Algunas tareas simplemente no se pueden verificar de forma automática. REAP los filtra.

2. Tests desalineados — El test escrito para una tarea podría no verificar realmente lo que la tarea pide. REAP valida la relevancia del test de forma agentica.

3. Inestabilidad en tests — Resultados que oscilan entre pasar y fallar hacen que las métricas pierdan sentido. REAP ejecuta verificaciones de estabilidad a través de múltiples ejecuciones.

La idea clave es que en monorepos grandes, el estado de la infraestructura de build es efímero. Un benchmark que curas hoy podría ser inválido mañana conforme el codebase evoluciona. La auditoría manual no puede mantener ese ritmo, así que REAP automatiza completamente la capa de verificación.

HARVEST: Benchmarks de grado productivo construidos para el mundo real

El equipo usó REAP para crear HARVEST, un benchmark donde cada tarea viene de un prompt real de desarrollador y se verifica contra tests fail-to-pass extraídos de producción.

HARVEST abarca múltiples lenguajes de programación (con la mayoría de tareas de Hack), dando una imagen mucho más realista de las capacidades del modelo a través de diferentes ecosistemas.

¿Y los resultados? Los modelos frontier lograron tasas de resolución entre 42.9% y 58.2% — números que realmente significan algo porque vienen de escenarios reales de producción, no de casos de prueba sintéticos.

Por qué esto importa para tu equipo

Si estás evaluando agentes de código AI para tu organización, los enfoques estilo REAP valen la pena entenderlos por varias razones:

• Ciclos de iteración más rápidos — La curación automatizada significa que puedes actualizar benchmarks continuamente conforme tu codebase evoluciona, sin ejércitos de etiquetadores humanos.

• Señales confiables — Cuando el benchmark viene del uso real de producción, estás midiendo lo que realmente importa para tu despliegue.

• Decisiones de despliegue informadas — Las diferencias de capacidad que surfacen benchmarks realistas te ayudan a elegir qué modelos realmente encajan en tu flujo de trabajo.

La brecha entre "funciona genial en demos" y "funciona genial en producción" siempre ha sido donde mueren las herramientas de AI. REAP representa un intento serio de cerrar esa brecha trayendo la evaluación más cerca de la realidad.

Fuente: arxiv.org/abs/2604.01527