Når AI møter Pokémon: Fremveksten av gaming-benchmarks for kodingagenter

La oss være ærlige: Vi har alle sett AI-modeller erobre en ny benchmark med den samme blandingen av ærefrykt og mild skuffelse som følger med å se en tryllekunstner avsløre triksene sine. Ja, modellen løste 95 % av programvareutviklingsproblemene. Men kan den faktisk tenke?

Det er spørsmålet som driver noen fascinerende nye forskningsprosjekter i AI-miljøet – og svaret kan overraske deg. Forskere har begynt å bruke Pokémon-kamper som overraskende effektive benchmarks for å evaluere kodingagenter, og resultatene avslører noe viktig om hvor AI-kapasitetene er på vei hen.

Benchmark-mettethetsproblemet

Hver AI-forsker kjenner følelsen: Du bruker måneder på å utforme den perfekte benchmarken, bare for å se modellene feie gjennom den innen få måneder etter lansering. TerminalBench, FrontierSWE, HumanEval – velg din gift. Benchmarkene vi en gang trodde ville tåle tidens tann, knekkes raskere enn du rekker å si «state of the art».

Dette skjedde med Pokémon FireRed. Da Anthropic annonserte at Claude Fable 5 kunne slå det klassiske spillet ved hjelp av syn alene, var det imponerende. Men her er saken: Modellen brukte i hovedsak en brutalkraftstrategi. Den overlevelset sin start-Pokémon (Charizard på nivå 76 mens resten av teamet hang etter på nivå 25 eller lavere) og feide gjennom kamper som aldri virkelig utfordret den.

Hovedlinje-Pokémonspill, la oss være realistiske, er ikke akkurat Dark Souls. De er designet for å være tilgjengelige og gjennomførbare. Det er flott for casual-spillere, men gjør dem til dårlige tester for AI-kapasiteter. Hvis du kan vinne ved å «grinde», tester du ikke egentlig strategisk tenkning.

Radical Red: Pokémon-versjonen av Dark Souls

Her kommer Pokémon Radical Red inn i bildet, en ROM-hack som har blitt noe av en legende i Pokémon-miljøene. Dette er ikke din barndoms Pokémon-opplevelse. Radical Red kaster ut støttehjulene og erstatter dem med:

• Set-modus som standard – ingen sniking på hvilken Pokémon som kommer neste
• Nivåbegrensninger som tilpasser seg for å hindre overdreven grinding
• Bosskamper med faktisk strategi – fullstendige EV-fordelinger, riktige gjenstander og angrepssett designet for å motvirke generiske strategier
• Ingen gjenstander under kamper – det du tar med, er det du får

Forskerne bygde en benchmark rundt 21 nøye utvalgte bosskamper fra Radical Red, fra trenere på ruter til gymledere og til og med Team Rockets kommandant. Hver kamp kommer med spesifikke begrensninger: nivåbegrensninger, begrensete Pokémon-pools og begrensninger på teamstørrelse som tvinger frem genuin strategisk tenkning.

Hva som gjør denne benchmarken interessant

Her blir det teknisk (og ærlig talt, mer interessant). Agentene spiller ikke bare spillet – de programmerer seg gjennom det.

En agent slippes ned i et sandbox-miljø som inneholder all spilldata som JSON-filer. Den kan inspisere disse filene, søke gjennom Pokémon-statistikk, angrepsdata og gjenstandsegenskaper. Deretter konstruerer den et team ved å sende inn konfigurasjoner gjennom en MCP-server som håndterer kampstatus.

Agentens tilgjengelige handlinger er forfriskende enkle, men strategisk dype:

• apply_team – Konfigurer hele teamet ditt (Pokémon-valg, EVs, gjenstander, angrep, evner, naturer)
• lead – Velg din åpning-Pokémon
• action – Under kamp: bruk et angrep, bytt Pokémon, eller send inn en erstatning
• observe – Sjekk gjeldende kampstatus
• reset – Start på nytt

Dette speiler hvordan vi faktisk evaluerer kodingagenter i virkelige scenarioer. De må samle inn informasjon, danne hypoteser, utføre planer