Yapay Zeka Pokémon ile Buluştuğunda: Kodlama Ajanları İçin Oyun Benchmark’larının Yükselişi

Dürüst olalım: Bir yapay zeka modelinin başka bir benchmark’ı daha fethettiğini izlerken, bir sihirbazın hilesini açıklaması karşısında hissedilen o karışık hayranlık ve hafif hayal kırıklığını hepimiz yaşadık. Evet, model yazılım mühendisliği problemlerinin %95’ini çözdü. Ama gerçekten düşünebiliyor mu?

Yapay zeka topluluğundaki bazı büyüleyici yeni araştırmaları yönlendiren soru tam da bu—ve cevap sizi şaşırtabilir. Araştırmacılar, kodlama ajanlarını değerlendirmek için Pokémon savaşlarını şaşırtıcı derecede etkili benchmark’lar olarak kullanmaya başladılar ve sonuçlar, yapay zeka yeteneklerinin nereye doğru gittiğine dair önemli şeyler ortaya koyuyor.

Benchmark Doygunluğu Sorunu

Her yapay zeka araştırmacısı bu duyguyu bilir: Mükemmel bir benchmark oluşturmak için aylar harcarsınız, ancak modellerin piyasaya sürüldükten sadece birkaç ay sonra onu rahatça geçtiğini izlersiniz. TerminalBench, FrontierSWE, HumanEval—istediğinizi seçin. Bir zamanlar zamanın sınavından geçeceğine inandığımız benchmark’lar, “state of the art” (en son teknoloji) demeden daha hızlı kırılıyor.

Bu durum Pokémon FireRed’de de yaşandı. Anthropic, Claude Fable 5’in yalnızca görme yetisiyle klasik oyunu yenebileceğini duyurduğunda bu etkileyiciydi. Ancak işin aslı şu: Model esasen bir kaba kuvvet (brute-force) stratejisi kullandı. Başlangıç Pokémon’unu aşırı seviye atlatarak (Charizard seviye 76’dayken, takımın geri kalanı seviye 25 veya altında sürünüyordu) ve kendisini hiç zorlamayan savaşları ezerek geçti.

Ana akım Pokémon oyunları, dürüst olalım, tam olarak Dark Souls değil. Erişilebilir ve bitirilebilir olacak şekilde tasarlandılar. Bu, sıradan oyuncular için harika, ancak yapay zeka yetenekleri için kötü testler olmalarına neden oluyor. Eğer grind yaparak (tekrarlayarak) kazanabiliyorsanız, stratejik düşünmeyi gerçekten test etmiyorsunuz demektir.

Radical Red: Pokémon’un Dark Souls’u

Sahneye Pokémon Radical Red çıkıyor; Pokémon topluluklarında bir efsane haline gelmiş bir ROM hack. Bu, çocukluğunuzdaki Pokémon deneyimi değil. Radical Red, eğitim tekerleklerini atıp yerine şunları koyuyor:

• Varsayılan olarak Set modu — Sıradaki Pokémon’un ne olduğunu önceden göremezsiniz
• Aşırı grind’i engelleyen uyarlanabilir seviye sınırları
• Gerçek strateji içeren boss savaşları — Tam EV dağılımları, uygun eşyalar ve genel stratejileri karşılamak üzere tasarlanmış hareket setleri
• Savaş sırasında eşya kullanılamaması — Ne getirirseniz onu alırsınız

Araştırmacılar, Radical Red’den özenle seçilmiş 21 boss savaşına dayanan bir benchmark oluşturdular; bu savaşlar yol eğitmenlerinden salon liderlerine ve hatta Team Rocket komutanına kadar uzanıyor. Her savaş, gerçek stratejik düşünmeyi zorlayan belirli kısıtlamalarla geliyor: seviye sınırları, sınırlı Pokémon havuzları ve parti boyutu kısıtlamaları.

Bu Benchmark’ı İlginç Kılan Ne?

İşin teknik (ve dürüst olmak gerekirse, daha ilginç) kısmı burada başlıyor. Ajanlar sadece oyunu oynamıyor—oyunun içinden programlayarak geçiyorlar.

Bir ajan, tüm oyun verilerinin JSON dosyaları olarak bulunduğu bir sandbox’a bırakılıyor. Bu dosyaları inceleyebilir, Pokémon istatistikleri, hareket verileri ve eşya özellikleri arasında grep yapabilir. Ardından, savaş durumunu yöneten bir MCP sunucusu üzerinden yapılandırmalar göndererek bir takım oluşturur.

Ajanın kullanabileceği eylemler sade ama stratejik olarak derin:

• apply_team — Tüm partinizi yapılandırın (Pokémon seçimi, EV’ler, eşyalar, hareketler, yetenekler, doğalar)