Când AI întâlnește Pokémon: Ascensiunea benchmark-urilor de gaming pentru agenții de programare

Să fim sinceri: cu toții am urmărit modelele AI cucerind încă un benchmark cu același amestec de uimire și ușoară dezamăgire care însoțește dezvăluirea trucului de către un magician. Da, modelul a rezolvat 95% dintre problemele de inginerie software. Dar poate el chiar să gândească?

Aceasta este întrebarea care stă la baza unor cercetări noi și fascinante în comunitatea AI – iar răspunsul vă poate surprinde. Cercetătorii au început să folosească bătăliile Pokémon ca benchmark-uri surprinzător de eficiente pentru evaluarea agenților de programare, iar rezultatele dezvăluie ceva important despre direcția în care se îndreaptă capacitățile AI.

Problema saturării benchmark-urilor

Orice cercetător în AI cunoaște senzația: petreci luni de zile creând benchmark-ul perfect, doar pentru a vedea cum modelele îl parcurg cu ușurință în câteva luni de la lansare. TerminalBench, FrontierSWE, HumanEval – alegeți-vă otrava. Benchmark-urile pe care le consideram odinioară rezistente la testul timpului sunt sparte mai repede decât poți spune „state of the art”.

Acest lucru s-a întâmplat și cu Pokémon FireRed. Când Anthropic a anunțat că Claude Fable 5 poate învinge jocul clasic folosind doar viziunea, a fost impresionant. Dar iată problema: modelul a folosit esențial o strategie de forță brută. A supra-nivelat Pokémon-ul său inițial (Charizard la nivelul 76, în timp ce restul echipei stagna la nivelul 25 sau mai puțin) și a trecut peste bătălii care nu l-au provocat cu adevărat.

Jocurile Pokémon din linia principală, să fim realiști, nu sunt exact Dark Souls. Sunt concepute să fie accesibile și câștigabile. Acest lucru este excelent pentru jucătorii ocazionali, dar le face teste slabe pentru capacitățile AI. Dacă poți câștiga prin grind (repetarea acțiunilor pentru a acumula experiență), nu testezi cu adevărat gândirea strategică.

Radical Red: Dark Souls-ul Pokémon

Aici intră în scenă Pokémon Radical Red, un ROM hack care a devenit un fel de legendă în comunitățile Pokémon. Aceasta nu este experiența ta din copilărie cu Pokémon. Radical Red aruncă roțile ajutătoare și le înlocuiește cu:

• Modul set implicit — fără a arunca o privire asupra Pokémon-ului care urmează
• Plafonuri de nivel care se adaptează pentru a te împiedica să faci grind excesiv
• Bătălii cu șefi care implică strategie reală — distribuții complete de EV (Effort Values), obiecte adecvate și seturi de mișcări concepute pentru a contracara strategiile generice
• Fără obiecte în timpul bătăliilor — ceea ce aduci cu tine este tot ce ai

Cercetătorii au construit un benchmark în jurul a 21 de bătălii cu șefi selectate cu atenție din Radical Red, variind de la antrenorii de rută până la liderii de gimnaziu și chiar comandantul echipei Rocket. Fiecare bătălie vine cu constrângeri specifice: plafonuri de nivel, pool-uri limitate de Pokémon și restricții privind dimensiunea echipei, care impun gândire strategică autentică.

Ce face acest benchmark interesant

Aici devine tehnic (și, sincer, mai interesant). Agenții nu doar joacă jocul – ei programează drumul lor prin el.

Un agent este plasat într-un sandbox care conține toate datele jocului sub formă de fișiere JSON. Acesta poate inspecta aceste fișiere, poate căuta prin statisticile Pokémon, datele mișcărilor și proprietățile obiectelor. Apoi, construiește o echipă trimițând configurații printr-un server MCP care gestionează starea bătăliei.

Acțiunile disponibile pentru agent sunt răcoritor de simple, dar strategic profunde:

• apply_team — Configurează întreaga ta echipă (selecția Pokémon, EV-uri, obiecte, miș