Когато изкуственият интелект срещне Pokémon: Възходът на гейминг бенчмарковете за кодови агенти

Нека бъдем честни: всички сме наблюдавали как AI моделите покоряват поредния бенчмарк със същата смесица от възхищение и леко разочарование, която изпитваме, когато магьосник разкрие трика си. Да, моделът реши 95% от проблемите в софтуерното инженерство. Но може ли той наистина да мисли?

Това е въпросът, който движи някои fascиниращи нови изследвания в AI общността – и отговорът може да ви изненада. Изследователите започнаха да използват битките в Pokémon като изненадващо ефективни бенчмаркове за оценяване на кодови агенти, а резултатите разкриват нещо важно за посоката, в която се развиват възможностите на AI.

Проблемът с насищането на бенчмарковете

Всеки AI изследовател познава това усещане: прекарвате месеци в създаването на перфектния бенчмарк, само за да видите как моделите го преминават с лекота в рамките на месеци след пускането му. TerminalBench, FrontierSWE, HumanEval – изберете си отровата. Бенчмарковете, за които някога смятахме, че ще издържат изпитанието на времето, се „чупят“ по-бързо, отколкото можете да кажете „най-съвременно ниво“.

Това се случи и с Pokémon FireRed. Когато Anthropic обяви, че Claude Fable 5 може да победи класическата игра, използвайки само визуални данни, това беше впечатляващо. Но ето го нюанса: моделът всъщност използва стратегия на груба сила. Той прекалено много „гриндира“ (повишава нивото на) началния си Pokémon (Charizard достигна ниво 76, докато останалата част от отбора остана на ниво 25 или по-ниско) и прегазваше битки, които никога не го предизвикваха истински.

Основните игри от поредицата Pokémon, нека бъдем реалисти, не са точно Dark Souls. Те са проектирани да бъдат достъпни и преодолими. Това е чудесно за казуалните геймъри, но ги прави лоши тестове за възможностите на AI. Ако можете да спечелите чрез просто „гриндиране“, не тествате наистина стратегическото мислене.

Radical Red: Dark Souls на Pokémon

На сцената излиза Pokémon Radical Red, ROM хак, който се превърна в нещо като легенда в Pokémon общностите. Това не е вашето детско преживяване с Pokémon. Radical Red хвърля тренировъчните колелца и ги заменя с:

• Режим Set по подразбиране – без надничане кой Pokémon идва следващ
• Лимити на нивата, които се адаптират, за да ви попречат на прекомерното „гриндиране“
• Битки с босове с истинска стратегия – пълни EV разпределения, правилни предмети и набори от атаки, проектирани да неутрализират генеричните стратегии
• Без предмети по време на битки – това, което носите, е това, което получавате

Изследователите създадоха бенчмарк около 21 внимателно подбрани битки с босове от Radical Red, вариращи от треньори по маршрутите до лидери на зали и дори командирът на Team Rocket. Всяка битка идва със специфични ограничения: лимити на нивата, ограничени пулове от Pokémon и ограничения за размера на отбора, които налагат истинско стратегическо мислене.

Какво прави този бенчмарк интересен

Тук нещата стават технически (и честно казано, по-интересни). Агентите не просто играят играта – те я програмират, за да я преминат.

Агентът се поставя в