Problém se sebeuvědoměním u AI, o kterém se nemluví

Vyzkoušeli jste si pokročilý LLM a řekli si: "Tohle je pecka!" Pak jste ho nasadili do praxe a ukázal vám halucinace v logické hádance nebo si vynikal v chybných výpočtech z kalkulu.

Tvrdá realita: váš AI model neví, kdy neví.

Ne vždycky. A přesně to prozkoumali nedávné studie, které by měly zajímat každého, kdo staví aplikace s LLM v produkci.

Atlas: 33 modelů, 47 151 testů, obrovské odhalení

Vědci otestovali 33 špičkových modelů na benchmarku MMLU – ale s háčkem. Neměřili jen správnost odpovědí, ale hlavně metakognici. To znamená, jak dobře model odhadne svou vlastní jistotu.

Představte si: Ptáte se GPT-5 na organickou chemii. Odpoví. Pak se zeptáte: "Jak jsi si jistý?" Řekne 95 % a má chybu? Problém. Řekne 30 % a má pravdu? Taky problém. Ideál je, když jistota sedí se správností.

Rozdělili 1500 otázek MMLU do šesti oblastí: aplikované/profesionální znalosti, formální uvažování, přírodní vědy a tři střední kategorie. Testovali modely od Anthropic, Google, OpenAI, DeepSeek a dalších.

Výsledek? Rozdíly mezi oblastmi jsou obrovské.

vítězové a poražení: dramatické rozdíly podle domén

Pro developery to má klíčový význam:

Aplikované a profesionální znalosti zvítězily suverénně. Průměrný model dosáhl .742 AUROC (míra kalibrace jistoty) – modely opravdu vědí, kdy jsou na pevné půdě. V 21 z 33 modelů byla tato oblast v top 2. Sem nasazujte AI na zákaznickou podporu, analýzu dokumentů nebo obchodní logiku.

Formální uvažování a přírodní vědy? Katastrofa. Tyto oblasti byly v bottom 2 u 27 z 33 modelů. Váš nový Claude nebo GPT vám sebevědomě vysvětlí diferenciální rovnici – a bude se mýlit. Navíc řekne, že je si jistý na 85 %.

Tři střední domény (humanitní vědy, sociální vědy, historie) se statisticky neliší – modely je nerozlišují a vy na to nespoléhejte.

Proč to ovlivní váš tech stack

Pojďme k praxi. Stavíte:

Chatbota pro podporu zákazníků? Nasazujte bez obav do aplikovaných oblastí. Zákazníci chtějí odpovědi na postupy, pravidla a praktické řešení – přesně tam modely jistotu kalibrují nejlépe.

Vzdělávací nástroj pro STEM? Potřebujete zábrany. Formální uvažování a přírodní vědy jsou rizikové – model dovede studenty špatně. Směrujte nejisté odpovědi k lidem nebo spojte s ověřenými databázemi místo čisté generace.

Nástroj pro business intelligence? Testujte na své doméně. Celkový průměr může skrývat slabiny v tom, co váš byznys opravdu potřebuje.

Iluze průměrných metrik

Problém na vyšší úrovni: Vidíte v tiskovce "Model X dosáhl 87 % na MMLU". To je průměr všech oblastí. Může to znamenat 95 % v jedné a 65 % v druhé. Nasazujete do té slabší? Nedostanete 87% model.

Vědci to nazývají "průměrné metriky maskují variace uvnitř modelu". Přeloženo: benchmarky dodavatelů skrývají realitu.

Rodiny modelů hrají roli (někdy)

Zajímavé je, že některé rodiny mají konzistentní profily silných a slabých stránek. Anthropic, Google-Gemini a Qwen ukazují "profile-shape clustering" – modely z rodiny selhávají na podobných úkolech. OpenAI, DeepSeek a Google-Gemma to nemají tak výrazné.

Znamená to: testujte konkrétní modely pro vaše oblasti. Nerušte se podobností v rodině.

Signál jistoty, který funguje

Dobrá zpráva: Když modely vyjadřují jistotu čísly (0–100), jsou spolehlivější než binární volba "ponechat/odmítnout". Tři slabé modely najednou ukázaly normální profily.

Pro nasazení: Žádejte jistotu k odpovědím a používejte ji v logice. "42 % jistoty" je lepší než falešných 95 %.

Co to znamená dál

Studie navrhuje framework: testujte domény před produkcí. Ignorujte průměry. Měřte kalibraci jistoty v relevatních oblastech a stavte bezpečnost.

S rostoucí složitostí LLM je klíčové znát jejich specializace. Model skvělý v aplikovaném, ale slabý v logice není vadný – je specializovaný. Pokud to víte předem, je to v pořádku.

Závěr

Při výběru LLM si ušetřete čas: Zapomeňte na průměrné benchmarky. Testujte na svých úkolech. Kontrolujte, jestli jistota sedí se správností. V aplikovaných oblastech mu věřte víc než v logice.

AI, který zná své limity, je tisíckrát cennější než ten, co o nich nemá tušení.