Gdy AI spotyka Pokémony: Rozwój benchmarków gamingowych dla agentów kodujących
Bądźmy szczerzy: wszyscy obserwowaliśmy, jak modele AI podbijają kolejne benchmarki z mieszaniną podziwu i lekkiego rozczarowania, towarzyszącą odkrywaniu sztuczki przez iluzjonistę. Tak, model rozwiązał 95% problemów inżynierii oprogramowania. Ale czy potrafi naprawdę myśleć?
To pytanie napędza fascynujące nowe badania w społeczności AI – a odpowiedź może was zaskoczyć. Badacze zaczęli wykorzystywać bitwy Pokémonów jako zaskakująco skuteczne benchmarki do oceny agentów kodujących, a wyniki ujawniają coś ważnego na temat kierunku, w jakim zmierzają możliwości AI.
Problem nasycenia benchmarków
Każdy badacz AI zna to uczucie: spędzasz miesiące na tworzeniu idealnego benchmarku, tylko po to, by obserwować, jak modele przechodzą go z łatwością w ciągu kilku miesięcy od premiery. TerminalBench, FrontierSWE, HumanEval – wybierzcie sobie. Benchmarki, które kiedyś miały przetrwać próbę czasu, są łamane szybciej, niż zdążycie powiedzieć „stan sztuki”.
Tak było z Pokémon FireRed. Gdy Anthropic ogłosił, że Claude Fable 5 może ukończyć klasyczną grę, polegając wyłącznie na analizie wizualnej, było to imponujące. Ale rzecz w tym, że model zastosował w zasadzie strategię siłową. Nadmiernie wzmocnił swojego startowego Pokémona (Charizard na poziomie 76, podczas gdy reszta drużyny ledwo przekraczała poziom 25) i zmiotła bitwy, które nigdy naprawdę go nie sprawdziły.
Główne gry z serii Pokémon, bądźmy szczerzy, to nie Dark Souls. Są zaprojektowane tak, by były przystępne i możliwe do ukończenia. To świetne dla casualowych graczy, ale czyni je słabymi testami możliwości AI. Jeśli można wygrać dzięki grindowi, nie testuje się naprawdę myślenia strategicznego.
Masz pomysł? Znajdź do niego idealną domenę
Nasz generator nazw domen z AI podpowiada dostępne nazwy w setkach rozszerzeń. Bezpłatny SSL, DNS i ochrona danych Whois w cenie.
Radical Red: Dark Souls wśród Pokémonów
Wchodzi Pokémon Radical Red, ROM hack, który stał się legendą w społecznościach Pokémon. To nie jest wasze dziecięce doświadczenie z Pokémonami. Radical Red odrzuca kółka treningowe i zastępuje je:
- Trybem ustawień domyślnych – brak podglądu, jaki Pokémon pojawi się jako następny
- Limitami poziomów, które dostosowują się, by uniemożliwić nadmierny grind
- Bitwami z bossami wymagającymi prawdziwej strategii – pełne rozkłady EV, odpowiednie przedmioty i zestawy ruchów zaprojektowane do kontrowania generycznych strategii
- Brakiem przedmiotów podczas bitew – to, co przyniesiesz, to wszystko, co masz
Badacze zbudowali benchmark wokół 21 starannie wybranych bitew z bossami z Radical Red, obejmujących trenerów na trasach, liderów sal, a nawet dowódcę Zespołu Rocket. Każda bitwa ma konkretne ograniczenia: limity poziomów, ograniczone pule Pokémonów i restrykcje dotyczące wielkości drużyny, które wymuszają prawdziwe myślenie strategiczne.
Co czyni ten benchmark interesującym
Tu robi się technicznie (i szczerze mówiąc, ciekawiej). Agenci nie tylko grają w grę – programują swoją drogę przez nią.
Agent trafia do piaskownicy zawierającej wszystkie dane gry w plikach JSON. Może inspekcjonować te pliki, przeszukiwać statystyki Pokémonów, dane o ruchach i właściwości przedmiotów. Następnie konstruuje drużynę, przesyłając konfiguracje przez serwer MCP zarządzający stanem bitwy.
Dostępne akcje agenta są odświeżająco proste, ale strategicznie głębokie:
- apply_team – Konfiguruj całą swoją drużynę (wybór Pokémonów, EV, przedmioty, ruchy, zdolności, natury)
- lead – Wybierz swojego otwierającego Pokémona
- action – Podczas bitwy: użyj ruchu, zmień Pokémona lub wyślij zastępstwo
- observe – Sprawdź aktualny stan bitwy
- reset – Zacznij od nowa
To
Masz pomysł? Znajdź do niego idealną domenę
Nasz generator nazw domen z AI podpowiada dostępne nazwy w setkach rozszerzeń. Bezpłatny SSL, DNS i ochrona danych Whois w cenie.