Comment REAP résout la crise des benchmarks pour les agents de coding IA

Soyons directs : la plupart des benchmarks pour agents de coding IA sont de la daube.

Ils mesurent les performances sur des datasets nettoyés qui n'ont rien à voir avec ce qui se passe quand les développeurs utilisent vraiment ces outils en production. C'est comme s'entraîner pour un marathon en courant sur un tapis roulant climatisé, puis se demander pourquoi on s'écroule après trois kilomètres dans la boue.

L'équipe de recherche de Meta vient de publier un papier qui s'attaque sérieusement à ce problème. Ils ont développé REAP (Relevance and Execution-Audited Pipeline), un système automatisé qui construit des benchmarks directement à partir d'interactions réelles entre développeurs et agents en environnement de production.

Le problème des benchmarks dont personne ne parle

Voici ce que peu de gens réalisent sur l'évaluation des agents de coding IA : toutes les méthodes utilisées en production sont fondamentalement bancales.

Les tests A/B en production donnent de vrais signaux, mais il faut des semaines pour les mener et vous jouez avec l'expérience utilisateur réelle. Déployez un agent défaillant, regardez vos métriques chuter, pleurez dans votre rapport d'incident.

Le shadow deployment permet de tester en parallèle sans impacter les utilisateurs, mais les résultats ne sont pas reproductibles. Relancez demain et vous aurez des chiffres différents parce que votre codebase a évolué, vos cas de test ont bougé, ou l'agent a eu un jour de faiblesse.

Les benchmarks publics comme HumanEval ou MBPP ? Ils sont corrects pour des comparaisons académiques, mais ils ne reflètent pas les workloads réels de production. Langages différents, styles de prompt différents, structures de codebase différentes. Un modèle qui déchire HumanEval peut se planter lamentablement sur votre monorepo.

L'équipe de recherche a identifié quelque chose de crucial : ce dont on a vraiment besoin, c'est une évaluation in-distribution — des benchmarks qui correspondent à la façon dont les développeurs vont réellement utiliser ces agents. Mais construire ces benchmarks manuellement est un cauchemar.

Entre REAP : curation automatisée à grande échelle

REAP résout ça en construisant automatiquement des benchmarks dérivés de la production à partir de sessions réelles développeur-agent. Au lieu de créer des cas de test à la main, le système puise dans l'usage réel et vérifie chaque tâche automatiquement pour que les humains n'aient pas à surveiller le processus.

Le pipeline s'attaque à trois tueurs de fiabilité qui rongent la curation automatisée des benchmarks :

1. Les prompts non testables — Certaines tâches ne peuvent simplement pas être vérifiées automatiquement. REAP les filtre.

2. Les tests mal alignés — Le test écrit pour une tâche pourrait ne pas vérifier ce que la tâche demande vraiment. REAP valide la pertinence des tests de façon agentique.

3. L'instabilité des tests — Des résultats qui oscillent entre succès et échec rendent les métriques complètement inutiles. REAP effectue des vérifications de stabilité sur plusieurs exécutions.

L'idée clé, c'est que dans les grands monorepos, l'état de l'infrastructure de build est éphémère. Un benchmark que vous curerez aujourd'hui pourrait être invalide demain à cause de l'évolution du codebase. L'audit manuel ne peut pas suivre ce rythme, donc REAP automatise entièrement la couche de vérification.

HARVEST : des benchmarks de qualité production pensés pour le monde réel

L'équipe a utilisé REAP pour créer HARVEST, un benchmark où chaque tâche vient d'un vrai prompt développeur et est vérifiée contre des tests fail-to-pass tirés de la production.

HARVEST couvre plusieurs langages de programmation (avec une majorité de tâches en Hack), offrant une image bien plus réaliste des capacités des modèles à travers différents écosystèmes.

Les résultats ? Les modèles frontier ont atteint des taux de résolution entre 42,9% et 58,2% — des chiffres qui veulent dire quelque chose parce qu'ils viennent de scénarios réels de production, pas de cas de test synthétiques.

Pourquoi c'est important pour votre équipe

Si vous évaluez des agents de coding IA pour votre organisation, les approches de type REAP méritent votre attention pour plusieurs raisons :

• Des cycles d'itération plus rapides — La curation automatisée permet de mettre à jour les benchmarks en continu au fil de l'évolution de votre codebase, sans armée d'annotateurs humains.

• Des signaux fiables — Quand le benchmark vient de l'usage réel en production, vous mesurez ce qui compte vraiment pour votre déploiement.

• Des décisions de déploiement éclairées — Les différences de capacités mises en lumière par des benchmarks réalistes vous aident à choisir quels modèles correspondent vraiment à votre workflow.

L'écart entre "fonctionne super en démo" et "fonctionne super en production" a toujours été là où les outils IA meurent. REAP représente une tentative sérieuse de combler ce fossé en rapprochant l'évaluation de la réalité.

Source : arxiv.org/abs/2604.01527