AI-ens manglende selvinnsikt – det ingen snakker om

Du tester en ny LLM og tenker: "Dette er jo genialt!" Så setter du den i produksjon. Plutselig bommer den på en enkel logikkoppgave eller gir feil svar om matte med selvsikkerhet.

Sannheten er brutal: Modellen din skjønner ikke alltid når den tar feil.

Det er ikke stabilt. Ny forskning viser hvorfor dette treffer alle som bygger med LLMs i praksis.

Atlas-studien: 33 modeller, over 47 000 tester, én klar konklusjon

Forskerne testet 33 toppmodeller på MMLU-benchmarks. Men de målte ikke bare riktighet. De sjekket metakognisjon – evnen til å vurdere egen sikkerhet.

Tenk deg dette: Du spør om kjemi. Modellen svarer. Så spør du: "Hvor sikker er du?" Svarer den 95 % og tar feil? Problemer. Svarer den 30 % og har rett? Også problemer. Idealet er når sikkerhet matcher treff.

De delte 1500 spørsmål inn i seks områder: anvendt kunnskap, formell logikk, naturvitenskap – pluss tre middels kategorier. Testet på modeller fra Anthropic, Google, OpenAI, DeepSeek og flere.

Resultatene? Stort sprik mellom domenene.

Vinnere og tapere: Ytelse varierer vilt etter område

For utviklere er dette gull:

Anvendt og profesjonell kunnskap dominerer. Gjennomsnittlig .742 AUROC for kalibrering – modellene vet når de sitter trygt. I 21 av 33 modeller toppet dette feltet. Perfekt for kundeservice, dokumenthåndtering eller forretningslogikk.

Formell logikk og naturvitenskap? Svakheter overalt. Nederst i 27 av 33 modeller. Din Claude eller GPT kan forklare derivasjon med 85 % sikkerhet – og bomme totalt.

De tre mellomkategoriene (humaniora, samfunnsvitenskap, historie) ligger tett. Modellene skiller ikke, så stol ikke på fine nyanser der.

Hvorfor dette påvirker din tech-stack

La oss være konkrete. Bygger du:

Kundesupport-bot? Kjør på anvendt kunnskap. Brukere vil ha svar om regler, prosedyrer og praktiske løsninger – der modellene kalibrerer best.

STEM-verktøy for læring? Bygg inn sikringer. Logikk og naturvitenskap er risikabelt. Send usikre svar til menneskelig kontroll eller koble til verifiserte databaser.

Business intelligence? Test ditt eget felt grundig. Generelle tall skjuler hull i akkurat det du trenger.

Fellfellen med gjennomsnittstall

Pressemeldinger skryter: "Model X scorer 87 % på MMLU!" Det er gjennomsnitt over alt. Kanskje 95 % et sted, 65 % et annet. Bruker du det svake? Da får du ingen 87 %-modell.

Forskerne kaller det "gjennomsnitt maskerer variasjon". Leverandørens benchmarks lyver med tall.

Modellfamilier har personlighet (noen ganger)

Noen familier har klare mønstre. Anthropic, Google-Gemini og Qwen klumper seg med svakheter på samme oppgaver. OpenAI, DeepSeek og Google-Gemma er mer spredt.

Arkitektur og trening skaper unike profiler. Test modellene dine på dine domener. Ikke anta arv.

Bruk sikkerhetssignaler smart

God nyhet: Numerisk sikkerhet (0-100) gir bedre selvinnsikt enn ja/nei-flagg. Tre svake modeller våknet til liv med tall.

I produksjon: Be om sikkerhetsscore ved siden av svaret. Bruk det i logikken din. 42 % er ærligere enn falsk 95 %.

Veien videre

Forskningen gir en plan: Test domenene dine før lansering. Dropp gjennomsnitt. Mål kalibrering i ditt felt. Bygg sikringer.

LLM-er blir bedre, men du må kjenne styrker og svakheter. En spesialisert modell er ikke defekt – hvis du vet det på forhånd.

Konklusjonen

Neste gang du vurderer LLM: Glem hype-tallene. Test på dine oppgaver. Sjekk om sikkerhet stemmer med treff. Anvendt kunnskap? Mer tillit. Logikk? Vær skeptisk.

En AI som kjenner grensene sine, slår alltid en som ikke aner.