Quando l’IA incontra Pokémon: l’ascesa dei benchmark di gaming per gli agenti di coding

Siamone sinceri: abbiamo tutti assistito a modelli di IA che conquistavano un altro benchmark con quella stessa miscela di stupore e lieve delusione che proviamo quando un mago rivela il suo trucco. Sì, il modello ha risolto il 95% dei problemi di ingegneria del software. Ma è davvero in grado di pensare?

È questa la domanda che guida alcune affascinanti nuove ricerche nella comunità dell’IA, e la risposta potrebbe sorprendervi. I ricercatori hanno iniziato a utilizzare le battaglie Pokémon come benchmark sorprendentemente efficaci per valutare gli agenti di coding, e i risultati stanno rivelando qualcosa di importante sulla direzione verso cui si stanno muovendo le capacità dell’IA.

Il problema della saturazione dei benchmark

Ogni ricercatore di IA conosce quella sensazione: passi mesi a creare il benchmark perfetto, solo per vedere i modelli superarlo a mani basse entro pochi mesi dal rilascio. TerminalBench, FrontierSWE, HumanEval: scegliete voi. I benchmark che una volta pensavamo avrebbero resistito alla prova del tempo vengono infranti più velocemente di quanto si possa dire "stato dell’arte".

Questo è successo con Pokémon Rosso Fuoco. Quando Anthropic ha annunciato che Claude Fable 5 poteva battere il classico gioco utilizzando solo la visione, è stato impressionante. Ma ecco il punto: il modello ha essenzialmente utilizzato una strategia di forza bruta. Ha fatto salire di livello in modo eccessivo il Pokémon iniziale (Charizard al livello 76 mentre il resto della squadra languiva al livello 25 o inferiore) e ha travolto battaglie che non lo hanno mai realmente messo alla prova.

I giochi Pokémon principali, diciamocelo, non sono esattamente Dark Souls. Sono progettati per essere accessibili e completabili. Questo è ottimo per i giocatori occasionali, ma li rende test poveri per le capacità dell’IA. Se puoi vincere grindando, non stai davvero testando il pensiero strategico.

Radical Red: il Dark Souls di Pokémon

Entra in scena Pokémon Radical Red, una ROM hack che è diventata una vera e propria leggenda nelle comunità di Pokémon. Non è la vostra esperienza Pokémon dell’infanzia. Radical Red toglie le rotelle e le sostituisce con:

• Modalità set attiva di default — niente sbirciate su quale Pokémon arriverà dopo
• Limiti di livello che si adattano per impedire il grinding eccessivo
• Battaglie contro boss con vera strategia — distribuzioni complete di EV, oggetti appropriati e mosse progettate per contrastare le strategie generiche
• Nessun oggetto durante le battaglie — quello che porti è quello che hai

I ricercatori hanno costruito un benchmark attorno a 21 battaglie contro boss selezionate con cura da Radical Red, che vanno dai trainer delle route ai capipalestra fino al comandante del Team Rocket. Ogni battaglia presenta vincoli specifici: limiti di livello, pool di Pokémon limitati e restrizioni sulla dimensione della squadra che impongono un pensiero strategico genuino.

Cosa rende interessante questo benchmark

Qui la questione si fa tecnica (e onestamente, più interessante). Gli agenti non stanno semplicemente giocando al gioco: stanno programmando il loro percorso attraverso di esso.

Un agente viene inserito in una sandbox contenente tutti i dati del gioco come file JSON. Può ispezionare questi file, cercare tra le statistiche dei Pokémon, i dati delle mosse e le proprietà degli oggetti. Poi costruisce una squadra inviando configurazioni tramite un server MCP che gestisce lo stato della battaglia.

Le azioni disponibili per l’agente sono rinfrescanti nella loro semplicità ma profondamente strategiche:

• apply_team — Configura l’intera squadra (selezione dei Pokémon, EV, oggetti, mosse, abilità, nature)
• lead — Scegli il Pokémon iniziale
• action — Durante la battaglia: usa una mossa, cambia Pokémon o invia un sostituto
• observe — Controlla lo stato attuale della battaglia
• reset — Ricomincia da capo

Questo rispecchia come valutiamo effettivamente gli agenti di coding in scenari reali. Devono raccogliere informazioni, formulare ipotesi, eseguire piani, imparare dai fallimenti e adattarsi. Il campo di battaglia di Pokémon diventa un microcosmo della strategia di sviluppo software.

Cosa ci dicono i risultati

Nelle valutazioni iniziali, la configurazione con le migliori prestazioni ha raggiunto un tasso di vittoria di circa l’83% su 10 episodi per battaglia. È impressionante, ma rivela anche qualcosa di importante: c’è ancora un tasso di fallimento del 17% su