Cuando la IA se encuentra con Pokémon: El auge de los benchmarks de videojuegos para agentes de programación

Seamos honestos: todos hemos visto a los modelos de IA conquistar otro benchmark con la misma mezcla de asombro y leve decepción que produce ver a un mago revelar su truco. Sí, el modelo resolvió el 95% de los problemas de ingeniería de software. Pero, ¿puede realmente pensar?

Esa es la pregunta que impulsa una fascinante nueva investigación en la comunidad de IA, y la respuesta podría sorprenderte. Los investigadores han comenzado a utilizar batallas de Pokémon como benchmarks sorprendentemente efectivos para evaluar agentes de programación, y los resultados están revelando algo importante sobre hacia dónde se dirigen las capacidades de la IA.

El problema de la saturación de los benchmarks

Cada investigador de IA conoce esa sensación: pasas meses elaborando el benchmark perfecto, solo para ver cómo los modelos lo superan sin esfuerzo en cuestión de meses tras su lanzamiento. TerminalBench, FrontierSWE, HumanEval: elige tu veneno. Los benchmarks que alguna vez creímos que resistirían la prueba del tiempo se rompen más rápido de lo que puedes decir "estado del arte".

Esto ocurrió con Pokémon FireRed. Cuando Anthropic anunció que Claude Fable 5 podía vencer al juego clásico utilizando únicamente visión, fue impresionante. Pero aquí está el detalle: el modelo utilizó esencialmente una estrategia de fuerza bruta. Subió de nivel excesivamente a su Pokémon inicial (Charizard al nivel 76 mientras el resto del equipo languidecía en el nivel 25 o inferior) y arrasó en batallas que nunca lo desafiaron realmente.

Los juegos principales de Pokémon, seamos realistas, no son exactamente Dark Souls. Están diseñados para ser accesibles y superables. Eso es genial para los jugadores casuales, pero los convierte en malas pruebas para las capacidades de la IA. Si puedes ganar simplemente subiendo de nivel repetidamente, no estás probando realmente el pensamiento estratégico.

Radical Red: El Dark Souls de Pokémon

Entra Pokémon Radical Red, una modificación ROM que se ha convertido en una leyenda en las comunidades de Pokémon. Esta no es tu experiencia infantil con Pokémon. Radical Red quita las ruedas de entrenamiento y las reemplaza con:

• Modo set por defecto — sin poder ver qué Pokémon viene a continuación
• Límites de nivel que se adaptan para evitar que subas de nivel excesivamente
• Batallas contra jefes con estrategia real — distribuciones completas de EVs, objetos adecuados y conjuntos de movimientos diseñados para contrarrestar estrategias genéricas
• Sin objetos durante las batallas — lo que llevas es lo que tienes

Los investigadores construyeron un benchmark alrededor de 21 batallas contra jefes seleccionadas cuidadosamente de Radical Red, que van desde entrenadores de ruta hasta líderes de gimnasio e incluso el comandante del Equipo Rocket. Cada batalla viene con restricciones específicas: límites de nivel, pools limitados de Pokémon y restricciones de tamaño de equipo que obligan a un pensamiento estratégico genuino.

Lo que hace interesante a este benchmark

Aquí es donde se pone técnico (y honestamente, más interesante). Los agentes no solo están jugando el juego: están programando su camino a través de él.

Un agente es colocado en un sandbox que contiene todos los datos del juego como archivos JSON. Puede inspeccionar estos archivos, buscar en las estadísticas de los Pokémon, datos de movimientos y propiedades de objetos. Luego construye un equipo enviando configuraciones a través de un servidor MCP que gestiona el estado de la batalla.

Las acciones disponibles para el agente son refrescantemente simples pero estratégicamente profundas:

• apply_team — Configura todo tu equipo (selección de Pokémon, EVs, objetos, movimientos, habilidades, naturalezas)
• lead — Elige tu Pokémon inicial
• action — Durante la batalla: usa un movimiento, cambia de Pokémon o envía un reemplazo
• observe — Verifica el estado actual de la batalla
• reset — Comienza de nuevo

Esto refleja cómo evaluamos realmente a los agentes de programación en escenarios del mundo real. Necesitan recopilar información, formar hipótesis, ejecutar planes, aprender de los fracasos y adaptarse. El campo de batalla de Pokémon se convierte en un microcosmos de la estrategia de desarrollo de software.

Lo que nos dicen los resultados

En las evaluaciones iniciales, la configuración con mejor rendimiento logró una tasa de victorias de aproximadamente el 83% en 10 episodios por batalla. Eso es impresionante, pero también revela algo importante: todavía existe una tasa de fracaso del 17% en tareas diseñadas para