AI o'zini tushunmaydi – bu sir hech kim gapirmaydi

Yangi LLM modelini sinab ko'rasiz, "Vau, ajoyib!" deb o'ylaysiz. Keyin loyihaga joylashtirasiz – va u mantiq masalasida yolg'on gapiradi yoki matematikada xato javob beradi, lekin ishonchli ko'rinadi.

Haqiqat shuki: AI modeli o'z bilmasligini bilmaydi.

Doim emas, albatta. Bu haqda yangi tadqiqotlar bor, ularni ishlab chiqaruvchilar bilishi kerak.

Atlas tadqiqoti: 33 model, 47 ming test, katta sir

Olillar 33 ta eng yaxshi modelni MMLU testida sinab ko'rdilar. Faqat to'g'riligini emas, metakognitsiyani o'lchadilar – ya'ni modelning o'z ishonchiga baho berish qobiliyati.

Masalan, organik kimyo haqida so'raysiz. Javob beradi. "Qanchalik ishonching komil?" deb so'rasangiz, 95% desa, lekin xato bo'lsa – muammo. 30% desa, lekin to'g'ri bo'lsa – yana muammo. Ideal – ishonch va to'g'rilik mos kelishi.

1500 savol 6 guruhga bo'lindi: Amaliy/Professional bilimlar, Rasmiy mantiq, Tabiiy fanlar va uchta o'rta guruh. Anthropic, Google, OpenAI, DeepSeek kabi oilalardan modellarni sinadilar.

Natija? Guruhlar bo'yicha farq juda katta.

Kim yutdi, kim yutqazdi: Guruhlar bo'yicha farqlar

Dasturchilar uchun muhim:

Amaliy/Professional bilimlar – eng yaxshisi. O'rtacha .742 AUROC ko'rsatkichi – modelllar bu yerda o'z kuchini yaxshi biladi. 33 tadan 21 tasida bu guruh birinchi yoki ikkinchi o'rinda. Mijozlarga xizmat, hujjat tahlil, biznes mantiqi uchun ishlatavering.

Rasmiy mantiq va Tabiiy fanlar – eng zaif. 33 tadan 27 tasida oxirgi ikki o'rinda. Claude yoki GPT differensial tenglamani ishonch bilan tushuntiradi, lekin xato qiladi – 85% ishonch bilan.

O'rta guruhlar (gumanitar, ijtimoiy fanlar, tarix) deyarli bir xil – farqni ajrata olmaydi, shuning uchun ularga ishonmang.

Sizning loyihangizga ta'siri

Mijozlar chatboti qurayotgan bo'lsangiz? Amaliy bilimlar guruhida ishonchli ishlaydi. Siyosat, jarayonlar, amaliy masalalar – bu yerda model kuchli.

STEM ta'lim vositasi? Himoya qo'ying. Rasmiy mantiq va tabiiy fanlarda xato yo'naltiradi. Noaniq javoblarni odamga yuboring yoki tasdiqlangan bazalarga ulang.

Biznes analitikasi? O'zingizning sohangizda sinab ko'ring. Umumiy ko'rsatkichlar xavfli nuqtalarni yashirishi mumkin.

Umumiy ko'rsatkichlar aldashi

"Model X MMLUda 87% oldi" deyishsa, bu barcha guruhlar o'rtacha. Birida 95%, boshqasida 65% bo'lishi mumkin. 65% sohasida ishlatayotgan bo'lsangiz, 87% emas – zaif model olasiz.

Yetkazuvchilarning raqamlari haqiqatni yashiradi.

Model oilalari farqi

Ba'zi oilalar (Anthropic, Google-Gemini, Qwen) o'xshash zaifliklarga ega. OpenAI, DeepSeek, Google-Gemma – unchalik emas. Arxitektura va o'qitish usullari sabab.

Maslahat: O'zingizning sohangizda sinab ko'ring. Oilaga qaramang.

Foydali ishonch signali

Modellarga raqamli ishonch (0-100) so'rasangiz, yaxshiroq ishlaydi. Ikki tomonlama "saqlash/chiqarish"dan farqli.

Loyihada: Javob bilan birga ishonch so'rang, shunga qarab qaror qiling. 42% desa – foydali, 95% xato desa – yaxshi.

Kelajak uchun

Ishga tushirishdan oldin guruhlarni sinang. Umumiy raqamlarga qaramang. O'z sohangizda ishonch va to'g'rilikni tekshiring, himoyalarni qo'ying.

Modellar kuchaygani sayin, zaifliklarini bilish muhimroq bo'ladi. Amaliy bilimlarda kuchli, mantiqda zaif model – maxsuslashgan, lekin bilish shart.

Xulosa

Keyingi safar LLM tanlayotganda umumiy raqamlarni unut. O'z vazifalaringizda sinang. Ishonchi to'g'rilikka mos keladimi, tekshiring. Amaliy sohalarda ishonchliroq, mantiqda ehtiyot bo'ling.

O'z chegarasini biladigan AI – bilmasligini bilmaydiganidan qimmatroq.