Quand l’IA rencontre Pokémon : l’essor des benchmarks de jeu pour les agents de codage

Soyons honnêtes : nous avons tous observé des modèles d’IA conquérir un nouveau benchmark avec ce mélange d’émerveillement et de légère déception qui accompagne la révélation d’un tour de magie. Oui, le modèle a résolu 95 % des problèmes d’ingénierie logicielle. Mais est-il réellement capable de penser ?

C’est la question qui anime certaines recherches fascinantes au sein de la communauté de l’IA, et la réponse pourrait bien vous surprendre. Les chercheurs ont commencé à utiliser les combats Pokémon comme des benchmarks étonnamment efficaces pour évaluer les agents de codage, et les résultats révèlent quelque chose d’important sur la direction que prennent les capacités de l’IA.

Le problème de la saturation des benchmarks

Chaque chercheur en IA connaît ce sentiment : vous passez des mois à élaborer le benchmark parfait, pour voir les modèles le résoudre aisément dans les mois suivant sa sortie. TerminalBench, FrontierSWE, HumanEval – choisissez votre poison. Les benchmarks que nous pensions autrefois résister à l’épreuve du temps sont cassés plus vite que vous ne pouvez dire « état de l’art ».

C’est ce qui s’est passé avec Pokémon Rouge Feu. Lorsque Anthropic a annoncé que Claude Fable 5 pouvait battre le jeu classique en utilisant uniquement la vision, c’était impressionnant. Mais voici le problème : le modèle a essentiellement utilisé une stratégie de force brute. Il a sur-nivelé son Pokémon de départ (Dracaufeu au niveau 76 tandis que le reste de l’équipe stagnait au niveau 25 ou moins) et a écrasé des combats qui ne l’ont jamais vraiment mis au défi.

Soyons réalistes, les jeux Pokémon principaux ne sont pas exactement Dark Souls. Ils sont conçus pour être accessibles et finissables. C’est excellent pour les joueurs occasionnels, mais cela en fait de mauvais tests pour les capacités de l’IA. Si vous pouvez gagner en faisant du grinding, vous ne testez pas réellement la pensée stratégique.

Radical Red : le Dark Souls de Pokémon

Voici Pokémon Radical Red, un hack de ROM devenu une véritable légende dans les communautés Pokémon. Ce n’est pas l’expérience Pokémon de votre enfance. Radical Red retire les petites roues et les remplace par :

• Le mode Set par défaut — pas de coup d’œil sur le prochain Pokémon adverse
• Des plafonds de niveau qui s’adaptent pour vous empêcher de sur-grinder
• Des combats de boss avec une véritable stratégie — répartition complète des EV, objets appropriés et movesets conçus pour contrer les stratégies génériques
• Pas d’objets pendant les combats — ce que vous apportez est ce que vous avez

Les chercheurs ont construit un benchmark autour de 21 combats de boss soigneusement sélectionnés dans Radical Red, allant des dresseurs de route aux champions d’arène, et même au commandant de la Team Rocket. Chaque combat est soumis à des contraintes spécifiques : plafonds de niveau, pools de Pokémon limités et restrictions de taille d’équipe qui forcent une véritable réflexion stratégique.

Ce qui rend ce benchmark intéressant

C’est ici que cela devient technique (et honnêtement, plus intéressant). Les agents ne se contentent pas de jouer au jeu – ils programment leur chemin à travers celui-ci.

Un agent est placé dans un bac à sable contenant toutes les données du jeu sous forme de fichiers JSON. Il peut inspecter ces fichiers, fouiller les statistiques des Pokémon, les données des attaques et les propriétés des objets. Ensuite, il construit une équipe en soumettant des configurations via un serveur MCP qui gère l’état du combat.

Les actions disponibles pour l’agent sont rafraîchissantes de simplicité mais stratégiquement profondes :

• apply_team — Configurer toute votre équipe (sélection de Pokémon, EV, objets, attaques, talents, natures)
• lead — Choisir votre Pokémon d’ouverture
• action — Pendant le combat : utiliser une attaque, changer de Pokémon ou envoyer un remplaçant
• observe — Vérifier l’état actuel du combat
• reset — Recommencer

Cela reflète la façon dont nous évaluons réellement les agents de codage dans des scénarios du monde réel. Ils doivent recueillir des informations, formuler des hypothèses, exécuter des plans, apprendre de leurs échecs et s’adapter. Le champ de bataille Pokémon devient une microcosme de la stratégie de développement logiciel.

Ce que nous disent les résultats

Lors des évaluations