Проблемът с самосъзнанието на AI, който никой не обсъжда

Сигурно си тествал някой нов LLM и си се учудил колко е гениален. После го пускаш в действие и той започва да измисля отчаяно отговори на проста задача или да те убеждава в грешка по математика.

Ето истината: твоят AI модел не разбира кога точно не знае нещо.

Не винаги, поне. Това е центърът на едно ново проучване, което трябва да заинтересува всеки, който работи с LLMs на живо.

Атласът: 33 модела, 47 000 теста, една голяма изненада

Изследователите са проверили 33 топ модела с MMLU тест – но не само за точност. Те са измерили метакогницията – способността на AI да прецени сам уверенията си.

Представи си: питаш GPT-5 за химия. Той отговаря. После го питаш: "Колко си сигурен?" Ако каже 95% и греши – проблем. Ако каже 30% и е прав – пак проблем. Идеалът е увереността да съответства на успеха.

Те са взели 1500 въпроса от MMLU и ги са разделили на шест области: професионални знания, формално разсъждение, естествени науки и три средни категории. Тестът е минал през модели от Anthropic, Google, OpenAI, DeepSeek и други.

Резултатът? Разлики по области, които шокират.

Кои печелят и губят: резултатите варират силно

Това е ключово за разработчиците.

Професионалните знания са абсолютен лидер. Средният модел постига .742 AUROC за калибриране на увереността – значи разбира кога е на сигурна почва. При 21 от 33 модела тази област е в топ 2. Идеално за чатботи в поддръжка, анализ на документи или бизнес логика.

Формално разсъждение и естествени науки? Пълен провал. Те са в дъното за 27 от 33 модела. Твоят Claude или GPT ще ти разясни диференциално уравнение с 85% увереност – и ще сбърка напълно.

Средните области (хуманитарни, социални науки, история) са почти еднакви – моделите не ги разграничават добре, така че и ти не разчитай на тънки разлики.

Защо това засяга твоя проект

Да станем прaktiчни. Ако строиш:

Чатбот за клиенти? Пускай го в професионални области. Потребителите искат отговори за правила, процеси и реални проблеми – тъкмо там моделите са най-точни в увереността си.

Инструмент за STEM образование? Добави защити. Формалното разсъждение и науките са зона на риск. Пращай несигурни отговори на човек или комбинирай с проверени бази данни.

Бизнес анализ? Тествай конкретно за твоята ниша. Общият резултат може да крие слаби места в ключовите ти данни.

Илюзията от средните числа

Ето капана: когато четеш "Модел X има 87% на MMLU", това е средно от всички области. Може да е 95% на едно и 65% на друго. Ако работиш в слабата – имаш 65% модел, не 87%.

Изследователите го наричат "агрегатните метрики крият вариациите". Превод: бенчмарковете на доставчика те заблуждават.

Семействата на модели имат стил (понякога)

Някои семейства показват ясни модели по слабости. Anthropic, Google-Gemini и Qwen имат "профилно кластериране" – подобни модели грешат на едни и същи места. OpenAI, DeepSeek и Google-Gemma са по-разнородни.

Това значи: архитектурата и обучението създават специфики. Тествай точно тези модели за твоите области. Не се доверявай на семейството.

Полезният сигнал от увереността

Една добра новина: когато моделите дават увереност на скала 0-100, вместо да или не, резултатите са по-добри. Три слаби модела с бинарни въпроси изведнъж се калибрират нормално с числа.

За твоя проект: искай увереност с всеки отговор и я използвай в логиката. "42% сигурен" е по-полезно от "95% и греша".

Какво следва

Проучването предлага рамка: проверявай областите преди пускане. Забрави общия резултат. Тествай твоята ниша, меряй увереността и добавяй охранители.

С развитието на LLMs разбирането на техните специфики става още по-важно. Модел, който е топ в професионални задачи, но слаб в математика, не е дефектен – той е специализиран. Докато го знаеш предварително.

Заключение

При следваща оценка на LLM – пропусни общите бенчмаркове. Тествай за твоите задачи. Провери дали увереността му съответства на точността. В професионални области можеш да му се довериш повече, отколкото в формални сметки.

AI, който познава границите си, струва много повече от такъв, който не подозира за тях.