Wanneer AI op Pokémon stuit: De opkomst van gaming-benchmarks voor codeer-agents

Laten we eerlijk zijn: we hebben allemaal met een mengeling van verbazing en milde teleurstelling toegekeken hoe AI-modellen weer een benchmark veroverden, vergelijkbaar met het moment waarop een goochelaar zijn truc onthult. Ja, het model loste 95% van de software-engineeringproblemen op. Maar kan het daadwerkelijk denken?

Dat is de vraag die een aantal fascinerende nieuwe onderzoeken binnen de AI-gemeenschap aandrijft—en het antwoord zou je wel eens kunnen verbazen. Onderzoekers zijn begonnen Pokémon-gevechten te gebruiken als verrassend effectieve benchmarks voor het evalueren van codeer-agents, en de resultaten onthullen iets belangrijks over de richting waarin AI-mogelijkheden zich ontwikkelen.

Het verzadigingsprobleem van benchmarks

Elke AI-onderzoeker kent het gevoel: je besteedt maanden aan het creëren van de perfecte benchmark, alleen om te zien hoe modellen er binnen enkele maanden na de release moeiteloos doorheen komen. TerminalBench, FrontierSWE, HumanEval—kies maar wat. De benchmarks waarvan we dachten dat ze de tand des tijds zouden doorstaan, worden sneller gekraakt dan je "state of the art" kunt zeggen.

Dit gebeurde ook met Pokémon FireRed. Toen Anthropic aankondigde dat Claude Fable 5 het klassieke spel kon verslaan op basis van alleen visuele input, was dat indrukwekkend. Maar hier is het punt: het model gebruikte in feite een brute-krachtstrategie. Het trainde zijn start-Pokémon overmatig (Charizard op niveau 76, terwijl de rest van het team op niveau 25 of lager bleef hangen) en walste door gevechten heen die het nooit echt uitdaagden.

Laten we eerlijk zijn: de hoofdspellen van Pokémon zijn niet bepaald Dark Souls. Ze zijn ontworpen om toegankelijk en winbaar te zijn. Dat is geweldig voor casual gamers, maar maakt ze tot slechte tests voor AI-mogelijkheden. Als je kunt winnen door eindeloos te grinden, test je niet echt strategisch denken.

Radical Red: De Dark Souls van Pokémon

Hier komt Pokémon Radical Red om de hoek kijken, een ROM-hack die in Pokémon-gemeenschappen een legendarische status heeft verworven. Dit is niet jouw kindertijd-Pokémon-ervaring. Radical Red gooit de steunwielen weg en vervangt ze door:

• Standaard set-modus — geen vooruitkijken op welke Pokémon er als volgende komt
• Niveaulimieten die zich aanpassen om overmatig grinden te voorkomen
• Baasgevechten met echte strategie — volledige EV-verdelingen, passende items en bewegingssets die zijn ontworpen om generieke strategieën te counteren
• Geen items tijdens gevechten — wat je meeneemt, heb je

De onderzoekers bouwden een benchmark rond 21 zorgvuldig geselecteerde baasgevechten uit Radical Red, variërend van route-trainers tot gymleiders en zelfs de commandant van Team Rocket. Elk gevecht gaat gepaard met specifieke beperkingen: niveaulimieten, beperkte Pokémon-pools en teamgroottebeperkingen die echt strategisch denken afdwingen.

Wat deze benchmark interessant maakt

Hier wordt het technisch (en eerlijk gezegd, interessanter). De agents spelen niet alleen het spel—ze programmeren hun weg erdoorheen.

Een agent wordt gedropt in een sandbox die alle spelgegevens bevat als JSON-bestanden. Het kan deze bestanden inspecteren, door Pokémon-statistieken, bewegingsgegevens en item-eigenschappen heen zoeken (grep). Vervolgens stelt het een team samen door configuraties in te dienen via een MCP-server die de gevechtsstatus beheert.

De beschikbare acties van de agent zijn verfrissend eenvoudig maar strategisch diep:

• apply_team — Configureer je hele team (Pokémon-selectie, EV's, items, bewegingen, vermogens, naturen)
• lead — Kies je openings-Pokémon
• action — Tijdens het gevecht: gebruik een beweging, wissel van Pokémon of stuur een vervanger naar het veld
• observe — Controleer de huidige gevechtsstatus
• reset — Begin opnieuw

Dit weerspiegelt hoe we codeer-agents in de praktijk evalueren. Ze moeten informatie