Bitta urinishdan oshib: Aqlli xulosalar AI kod generatsiyasini qanday o'zgartirmoqda

Hech kim gapirmaydigan muammo

Hamma AI haqida shov-shuvni eshitgan: hisoblash quvvatini ko'paytiring, qiyin masalalar o'z-o'zidan hal bo'ladi. Ko'p holatlarda ishlaydi. She'r yozing desangiz, uch marta ishga tushirib eng yaxshisini tanlang. Xatoni tuzating desangiz, hali ham mumkin.

Lekin murakkab dasturiy muhandislik vazifasini mustaqil hal qiling desangiz – har bir qaror yangi yo'llar ochadi, xatolar zanjir bo'lib keladi, qisman natijalar muhim – bu yerda oddiy usul ishlamaydi.

Muammo shunda: kod agenti murakkab topshiriqda shunchaki javob bermaydi. U qarorlar, kuzatishlar, kod urinishlari, xatolar va yutuqlar yo'lini yaratadi. Besh xil yo'l sinab, to'siqlarga urilib, orqaga qaytib, xatodan saboq oladi. Yangidan boshlasangiz, bu tajriba yo'qoladi.

Bu dasturchiga muammoni ikki marta hal qilishni buyurish, lekin eslatmalarini o'qitmaslikdek.

Asosiy fikr: Aks ettirish hamma narsa

Haqiqiy to'siq – ko'proq urinish emas, o'rganganingizni eslab qolish. Mana shu yerda sehr.

Har bir kod urinishini qora quti sifatida ko'rmang. Uni tuzilgan xulosaga siqib chiqaring? Transkript emas (juda uzun), faqat ko'rsatkichlar emas (juda qisqa), o'rtacha: agent topgan muhim fikrlarni saqlaydi, loglarga cho'kmaydi.

Agent o'tgan urinishlarga qarab o'ylay: "O'tgan safar mutatsiya usulini sinadim, shu xato chiqdi. Endi boshqa sinf yechimlar qo'llay." Bu kuchli kuchi va aql farqi.

Asosiy tushuncha: uzoq muddatli agent vazifalarida sinov vaqti o'lchamini kengaytirish – aks ettirish, tanlash va qayta ishlatish masalasi. Hisoblash oqimi emas.

Ikki usul: Parallel va ketma-ket

Bu yondashuv ikki to'ldiruvchi strategiya keltiradi:

Parallel o'lcham: Rekursiv turnir ovoz berish

Agentning bir nechta nusxasini parallel ishga tushiring, har biri turli yo'llarni sinaydi. Muammo: o'nlab murakkab yo'llarni solishtirish – o'nlab roman o'qib eng yaxshisini tanlashdek.

Rekursiv Turnir Ovoz berish (RTV) buni yengil hal qiladi. Katta solishtirish o'rniga, kichik guruhlarga bo'ling, juft-juft solishtiring, g'oliblar keyingi bosqichga o'ting. Turnir shaklida, kod yechimlari uchun. Tanlashdagi hisoblashni kamaytiradi, sifatni saqlaydi.

Ketma-ket o'lcham: Bilim distillatsiyasi

Ikkinchisi takroriy. Har urinishdan keyin saboqlarni chiqaring – nima ishlagan, nima muvaffaqiyatsiz, qaysi yo'llar va'da bergan lekin to'siqqa urilgan. Keyingi urinish sovuq boshlanmaydi, bu xulosalarga bog'langan.

Dasturchi o'z pull request izohlarini o'qib yangi urinish qilgandek. Yangi urinishlar o'tgan kontekstdan foydalanadi, cheklanmaydi.

Amaliyotda nima beradi

Raqamlar aniq gapiradi. Tadqiqotchilar bu usulni eng yaxshi kod agentlariga qo'llaganlar:

• Claude SWE-Bench Verifiedda 70.9% dan 77.6% ga ko'tarildi
• Terminal vazifalarida 46.9% dan 59.1% ga yaxshilandi

Bu kichik o'sish emas. Chegara modellarida haqiqiy yutuq – kattaroq modellar emas, aqlli o'lcham tufayli.

Chuqurroq ma'no

Qiziq narsa – AI o'lchamini o'zgartirish. Yillar davomida bitta hikoya: katta modellar, ko'p parametrlar, ko'p ma'lumot. Bu ishlaydi.

Lekin ochiq, uzoq muddatli sohalarda – kod generatsiyasi, tizim boshqaruvi, murakkab fikrlash – model hajmi tez pasayadi. To'siq boshqa: tajribadan o'rganish va oldingi urinishlarga tayanib ishlash.

Bu infers arxitekturasiga bog'liq. Yaxshi xotira va mulohaza bilan kichik model yolg'iz katta modelni yengadi.

Dasturchilar va startaplar uchun

AI agentlar bilan ishlayotgan bo'lsangiz – NameOcean Vibe Hosting orqali yoki o'z deploymentlaringizda – bu tadqiqot muhim nuqta:

1. Agent dizayni model hajmidan muhimroq. Yo'l xulosasi bilan yaxshi agent katta modelning kuchli kuchini yengadi.

2. Tuzilgan xotira majburiy. Agent o'tgan urinishlari haqida fikrlashi kerak, ko'r-ko'rona yurmasligi lozim.

3. Bu hali boshlanish. RTV va distillatsiya qiymatini ko'rsatmoqda, lekin oddiy emas. Erta qo'llash ustunlik beradi.

4. Infers optimizatsiyasi yangi chegara. Model yangiliklari sekinlaganda, infersdagi samaradorlik g'alaba qozonadi.

Oldinga

"Katta doim yaxshi" davri tugamoqda, o'rniga mavjud hisoblashni aqlli ishlatish kelmoqda. Nozik, lekin chuqur o'zgarish.

AI yordamida dasturlash va avtonom kod tizimlarida muvaffaqiyatli agentlar eng ko'p parametrli emas. Ular xatodan tez o'rganadi, sinaganlarini eslaydi, o'z urinishlari haqida fikrlaydi.

Bu boshqa optimizatsiya masalasi. GPT-7 yoki Claude-5 ga chiqmasdan yangi imkoniyatlar ochilmoqda.

Keyingi kod agentlari xom kuch emas, xotira va mulohazasi bilan ajraladi. Bu ancha qiziq muammo.