Gdy AI spotyka Pokémony: Narodziny benchmarków gamingowych dla agentów kodujących

Bądźmy szczerzy: wszyscy obserwowaliśmy, jak modele AI podbijają kolejne benchmarki z mieszaniną podziwu i lekkiego rozczarowania, towarzyszącą odkrywaniu sztuczki przez iluzjonistę. Tak, model rozwiązał 95% problemów inżynierii oprogramowania. Ale czy potrafi naprawdę myśleć?

To pytanie napędza fascynujące nowe badania w społeczności AI – a odpowiedź może was zaskoczyć. Badacze zaczęli wykorzystywać bitwy Pokémonów jako zaskakująco skuteczne benchmarki do oceny agentów kodujących, a wyniki ujawniają coś ważnego na temat kierunku, w jakim zmierzają możliwości AI.

Problem nasycenia benchmarków

Każdy badacz AI zna to uczucie: spędzasz miesiące na tworzeniu idealnego benchmarku, tylko po to, by obserwować, jak modele przechodzą go z łatwością w ciągu kilku miesięcy od premiery. TerminalBench, FrontierSWE, HumanEval – wybierzcie sobie. Benchmarki, które kiedyś miały przetrwać próbę czasu, są łamane szybciej, niż zdążycie powiedzieć „stan sztuki”.

Tak było z Pokémon FireRed. Gdy Anthropic ogłosił, że Claude Fable 5 może ukończyć klasyczną grę, polegając wyłącznie na analizie wizualnej, było to imponujące. Ale rzecz w tym, że model zastosował w zasadzie strategię siłową. Nadmiernie wzmocnił swojego startowego Pokémona (Charizard na poziomie 76, podczas gdy reszta drużyny ledwo przekraczała poziom 25) i zmiotła bitwy, które nigdy naprawdę go nie sprawdziły.

Główne gry z serii Pokémon, bądźmy szczerzy, to nie Dark Souls. Są zaprojektowane tak, by były przystępne i możliwe do ukończenia. To świetne dla casualowych graczy, ale czyni je słabymi testami możliwości AI. Jeśli można wygrać dzięki grindowi, nie testuje się naprawdę myślenia strategicznego.

Radical Red: Dark Souls wśród Pokémonów

Wchodzi Pokémon Radical Red, ROM hack, który stał się legendą w społecznościach Pokémon. To nie jest wasze dziecięce doświadczenie z Pokémonami. Radical Red odrzuca kółka treningowe i zastępuje je:

• Trybem ustawień domyślnych – brak podglądu, jaki Pokémon pojawi się jako następny
• Limitami poziomów, które dostosowują się, by uniemożliwić nadmierny grind
• Bitwami z bossami wymagającymi prawdziwej strategii – pełne rozkłady EV, odpowiednie przedmioty i zestawy ruchów zaprojektowane do kontrowania generycznych strategii
• Brakiem przedmiotów podczas bitew – to, co przyniesiesz, to wszystko, co masz

Badacze zbudowali benchmark wokół 21 starannie wybranych bitew z bossami z Radical Red, obejmujących trenerów na trasach, liderów sal, a nawet dowódcę Zespołu Rocket. Każda bitwa ma konkretne ograniczenia: limity poziomów, ograniczone pule Pokémonów i restrykcje dotyczące wielkości drużyny, które wymuszają prawdziwe myślenie strategiczne.

Co czyni ten benchmark interesującym

Tu robi się technicznie (i szczerze mówiąc, ciekawiej). Agenci nie tylko grają w grę – programują swoją drogę przez nią.

Agent trafia do piaskownicy zawierającej wszystkie dane gry w plikach JSON. Może inspekcjonować te pliki, przeszukiwać statystyki Pokémonów, dane o ruchach i właściwości przedmiotów. Następnie konstruuje drużynę, przesyłając konfiguracje przez serwer MCP zarządzający stanem bitwy.

Dostępne akcje agenta są odświeżająco proste, ale strategicznie głębokie:

• apply_team – Konfiguruj całą swoją drużynę (wybór Pokémonów, EV, przedmioty, ruchy, zdolności, natury)
• lead – Wybierz swojego otwierającego Pokémona
• action – Podczas bitwy: użyj ruchu, zmień Pokémona lub wyślij zastępstwo
• observe – Sprawdź aktualny stan bitwy
• reset – Zacznij od nowa

To