Sun’iy intellekt va Pokemon uchrashganda: Kodlash agentlari uchun o‘yin benchmarklarining yuksalishi

Keling, ochig‘ini aytaylik: biz barchamiz sun’iy intellekt modellari navbatdagi benchmarkni zabt etganini, sehrgar o‘z hiylasini ochib bergandagi kabi hayrat va yengil roziliksizlik aralash his bilan kuzatganmiz. Ha, model dasturiy ta’minot muammolarining 95%ini yechdi. Lekin u haqiqatan ham fikr yurita oladimi?

Aynan shu savol sun’iy intellekt hamjamiyatidagi ba’zi qiziqarli yangi tadqiqotlarni harakatga keltirmoqda va javob sizni hayratda qoldirishi mumkin. Tadqiqotchilar kodlash agentlarini baholash uchun Pokemon janglarini g‘ayritabiiy samarali benchmark sifatida ishlatishni boshladilar va natijalar sun’iy intellekt imkoniyatlari qayerga ketayotgani haqida muhim narsalarni ochib berdi.

Benchmark to‘yinish muammosi

Har bir AI tadqiqotchisi bu hissiyotni biladi: siz mukammal benchmark yaratishga oylar davomida sarflaysiz, ammo modellar chiqqanidan bir necha oy o‘tgach, uni osongina yechib tashlaydi. TerminalBench, FrontierSWE, HumanEval—o‘zingizga yoqqanini tanlang. Bir paytlar vaqt sinovidan o‘tadi deb o‘ylagan benchmarklarimiz “eng zamonaviy” deb atalishga ulgurmasdan buziladi.

Bu Pokemon FireRed bilan ham sodir bo‘ldi. Anthropic Claude Fable 5 klassik o‘yinni faqat ko‘rish qobiliyati yordamida yutishini e’lon qilganda, bu ta’sirchan edi. Lekin muammo shundaki, model asosan “brute-force” (kuch ishlatish) strategiyasidan foydalangan. U boshlang‘ich Pokemonini (Charizard) 76-darajaga ko‘targan, qolgan jamoa esa 25-daraja yoki undan pastda qolib ketgan va janglarda hech qanday qiyinchilikka duch kelmasdan yengib o‘tgan.

Asosiy Pokemon o‘yinlari, ochig‘ini aytganda, Dark Souls emas. Ular oddiy va yengish oson bo‘lishi uchun yaratilgan. Bu oddiy o‘yinchilar uchun yaxshi, lekin AI imkoniyatlarini sinash uchun yomon test hisoblanadi. Agar siz faqat ko‘p vaqt sarflab yutib chiqsangiz, strategik fikrlashni sinamayapsiz.

Radical Red: Pokemonning Dark Soulsi

Bu yerda Pokemon Radical Red—Pokemon hamjamiyatlarida afsonaga aylangan ROM hack—maydonga chiqadi. Bu sizning bolalikdagi Pokemon tajribangiz emas. Radical Red mashq g‘ildiraklarini olib tashlaydi va ularning o‘rniga quyidagilarni qo‘yadi:

• Standart rejimda “set mode” — keyingi Pokemonni oldindan ko‘rish imkoniyati yo‘q
• Daraja cheklovlari — haddan tashqari ko‘p vaqt sarflashning oldini olish uchun moslashuvchan
• Haqiqiy strategiyaga ega boss janglari — to‘liq EV taqsimoti, mos buyumlar va umumiy strategiyalarga qarshi ishlab chiqilgan harakatlar to‘plami
• Jang paytida buyumlardan foydalanish taqiqlangan — nima olib kelsangiz, shu bilan cheklanib qolasiz

Tadqiqotchilar Radical Red’dan tanlab olingan 21 ta boss jangiga asoslangan benchmark yaratdilar; bu janglar oddiy yo‘l o‘yinchilaridan tortib, zal rahbarlari va hatto Team Rocket komandirigacha bo‘lgan janglarni o‘z ichiga