Když se AI setká s Pokémony: Vzestup herních benchmarků pro kódovací agenty

Buďme upřímní: všichni jsme sledovali, jak AI modely dobývají další benchmarky se stejnou směsí úžasu a mírného zklamání, která přichází, když kouzelník odhalí svůj trik. Ano, model vyřešil 95 % problémů v softwarovém inženýrství. Ale dokáže skutečně přemýšlet?

To je otázka, která pohání fascinující nový výzkum v komunitě AI – a odpověď vás může překvapit. Výzkumníci začali používat Pokémonské bitvy jako překvapivě efektivní benchmarky pro hodnocení kódovacích agentů a výsledky odhalují něco důležitého o tom, kam směřují schopnosti AI.

Problém saturace benchmarků

Každý výzkumník AI zná ten pocit: strávíte měsíce vytvářením dokonalého benchmarku, jen abyste sledovali, jak modely projdou skrz něj během několika měsíců od jeho vydání. TerminalBench, FrontierSWE, HumanEval – vyberte si, co vám vyhovuje. Benchmarky, o kterých jsme si mysleli, že obstojí ve zkoušce času, jsou prolomeny rychleji, než stihnete říct „nejmodernější technologie“.

Stalo se to i s Pokémon FireRed. Když Anthropic oznámil, že Claude Fable 5 může porazit klasickou hru pouze pomocí vizuálního vstupu, bylo to impozantní. Ale tady je háček: model v podstatě použil brutální sílu. Nadměrně natrénoval svého startovního Pokémona (Charizard na úrovni 76, zatímco zbytek týmu se ploužil na úrovni 25 nebo nižší) a přejel přes bitvy, které ho nikdy skutečně nevyzvaly.

Hlavní řada her Pokémon, buďme realističtí, není zrovna Dark Souls. Jsou navrženy tak, aby byly přístupné a hratelné. To je skvělé pro příležitostné hráče, ale dělá z nich špatné testy schopností AI. Pokud můžete vyhrát pouze „grindováním“, ve skutečnosti netestujete strategické myšlení.

Radical Red: Dark Souls mezi Pokémony

Na scénu vstupuje Pokémon Radical Red, ROM hack, který se stal jakousi legendou v komunitách kolem Pokémonů. Tohle není vaše dětská zkušenost s Pokémony. Radical Red vyhazuje podpůrná kolečka a nahrazuje je:

• Výchozím nastavením režimu „set“ – žádné nahlížení na to, který Pokémon přijde další
• Omezeními úrovní, která se přizpůsobují, aby zabránila nadměrnému grindování
• Boss bitvami se skutečnou strategií – plné rozložení EV, správné předměty a pohyby navržené k protistrategii generických taktik
• Žádnými předměty během bitvy – co si vezmete, to máte

Výzkumníci vytvořili benchmark kolem 21 pečlivě vybraných boss bitvy z Radical Red, od trenérů na cestách po vůdce posiloven a dokonce i velitele Team Rocket. Každá bitva přichází se specifickými omezeními: limity úrovní, omezené bazény Pokémonů a omezení velikosti týmu, která nutí skutečné strategické myšlení.

Co dělá tento benchmark zajímavým

Tady to začíná být technické (a upřímně řečeno, zajímavější). Agenti hru pouze nehrají – programují si cestu skrz ni.

Agent je umístěn do sandboxu obsahujícího všechna herní data jako soubory JSON. Může tyto soubory prozkoumávat, prohledávat statistiky Pokémonů, data o pohybech a vlastnosti předmětů. Poté sestaví tým odesláním konfigurací přes MCP server, který spravuje stav bitvy.

Dostupné akce agenta jsou osvěžující jednoduché, ale strategicky hluboké:

• apply_team – Konfigurace celého týmu (výběr Pokémonů, EV, předměty, pohyby