Проблема самосознания ИИ, о которой все молчат

Тестируете новую LLM — восторг: "Вау, это гений!" Запускаете в продакшен — и она с уверенностью несёт чушь в логической задаче или путает интегралы.

Грустная правда: модель не понимает, когда ошибается.
Не всегда, конечно. Но это ключевой момент свежих исследований. Важно для всех, кто строит на LLM в реальных проектах.

Atlas: 33 модели, 47 тысяч тестов, шокирующий вывод

Учёные взяли MMLU-бенчмарк, но не просто проверили точность. Главное — метакогниция. Это когда ИИ честно оценивает свою уверенность.

Пример: спрашиваете о химии органики. Модель отвечает. Затем: "Насколько уверен?" Если говорит 95%, а ответ неверный — беда. Если 30% при верном — тоже минус. Идеал: уверенность = точность.

Разбили 1500 вопросов MMLU на шесть зон: Applied/Professional Knowledge, Formal Reasoning, Natural Science и три средних (гуманитарка, социалка, история). Тестировали модели от Anthropic, Google, OpenAI, DeepSeek и других — всего 33 штуки.

Результат: разница по доменам огромная.

Кто в плюсе, кто в минусе: домены ведут себя по-разному

Для разработчиков это золото:

Applied/Professional Knowledge — лидер. Средний AUROC 0.742 — модели реально знают, где сильны. В 21 из 33 моделей этот домен в топ-2 по метакогниции. Идеально для чат-ботов поддержки, анализа документов или бизнес-логики.

Formal Reasoning и Natural Science — провал. В 27 из 33 моделей — внизу. Ваш Claude или GPT с улыбкой разъяснит диффуры и ошибётся. При этом уверенность — 85%.

Средние домены (гуманитарные) не отличить статистически. Не надейтесь на нюансы там.

Почему это важно для вашего стека

Практика на деле:

Чат-бот для поддержки? Смело используйте Applied/Professional Knowledge. Пользователи спросят о правилах, процессах — модели там на высоте с калибровкой.

Образовалка по STEM? Добавьте барьеры. В Formal Reasoning и Natural Science ИИ заведёт в дебри. Перенаправляйте сомнительные ответы человеку или цепляйте проверенные базы знаний.

BI-инструмент? Тестируйте на своих данных. Общий счёт может скрывать дыры в нужной теме.

Иллюзия общих метрик

Вот подвох: релиз хвалит "87% на MMLU". Это среднее. Может быть 95% в одном домене и 65% в другом. Если ваш кейс — тот 65%, модель слабее в разы.

Исследователи зовут это "маскировкой вариаций общими цифрами". Бенчмарки вендоров врут.

Семейства моделей: не все одинаковы

Забавно: у Anthropic, Google-Gemini и Qwen виден "профиль сил" — слабости похожи внутри семьи. У OpenAI, DeepSeek и Google-Gemma — меньше.

Архитектура и тренировка дают профили. Вывод: тестите именно ваши модели на ваших доменах. Не верьте на слово семье.

Полезный сигнал уверенности

Хорошая новость: вербальная уверенность (шкала 0-100) работает лучше бинарных флагов. Три слабые модели с числами вдруг показали норм.

В проде: просите счёт уверенности к ответу. Используйте в логике. "42% уверен" полезнее "95% и фигня".

Что дальше

Предлагают фреймворк: фильтруйте домены перед запуском. Не верьте общим метрикам. Проверьте калибровку в вашем домене, добавьте защиты.

С ростом LLM понимание их специализации — must-have. Модель крута в applied knowledge, слаба в формалке? Нормально, если знаете заранее.

Итог

При оценке LLM забудьте общие бенчмарки. Тестируйте на реальных задачах. Сверяйте уверенность с точностью. В applied-доменах доверяйте больше, чем в формалке.

ИИ, который знает свои слабости, — золото. А невежественный наглец — риск.