Hvorfor AI-endrer alt om hvordan vi vurderer utviklere

Ta-med-hjem-oppgaver har mistet sin verdi

Før kunne man se på en pull request og få et inntrykk av hvordan en utvikler tenker. Man så hvordan de løste problemer, hvilke valg de tok og hvordan de strukturerte koden. I dag kan samme PR være resultatet av grundig arbeid eller bare en enkelt prompt i ChatGPT. Man vet ikke hvilken av delene man har foran seg før kandidaten har jobbet tre måneder i jobben.

Når output ser for perfekt ut, forteller det ofte mindre enn før.

Whiteboard-intervjuer passer ikke lenger

Whiteboard-oppgaver har alltid vært en begrenset måte å teste på. De måler stresshåndtering og evne til å huske ting under tidspress. Men nå er jobben annerledes. Utviklere bruker AI daglig, og det som teller er ikke å invertere binære trær fra minnet, men å styre AI-verktøy og vurdere resultatet kritisk.

Metoden måler altså noe annet enn det som faktisk skjer i arbeidet.

Hva man egentlig bør se etter

Det viktigste i dag er å forstå hvordan en kandidat samarbeider med AI.

• Planlegger de før de skriver en prompt, eller bare kaster innholdet mot modellen?
• Ser de når AI-en produserer kode som er korrekt, men dårlig strukturert?
• Prøver de å justere strategien når første forsøk ikke fungerer, eller bare repeterer de samme spørsmålet?
• Leser de gjennom det AI-en genererer, eller tar de det ukritisk imot?

Disse tingene ser man ikke i en ferdig PR eller på en whiteboard. De viser seg bare i selve prosessen.

Observer prosessen, ikke bare resultatet

En bedre måte er å følge hele arbeidsflyten. Man kan se hvilke prompts som førte til hvilke beslutninger, hvor kandidaten har gått gjennom og vurdert output, og hvor de har tatt feilaktive valg uten å kontrollere.

Dette handler ikke om å identifisere om en linje kode er skrevet av menneske eller AI. Det handler om å måle hvordan kandidaten bruker AI som et tool og hvor godt de kritisk vurderer det som comes back.

Hva dette betyr for rekruttering

De beste utviklerne i dag er ikke nødvendigvis de, som kan kode alt fra scratch. De er de som kan:

• Klart definere hva de vil at AI skal gjøre
• Vurdere om resultatet er av god kvalitet
• Vite når de skal ta imot og når de skal avvise
• Justere seg intelligent når første forsøk feiler

Dette er nye ferdigheter. Hvis rekrutteringsprosessen din ikke teste for dem, så måler du ikke det som er relevant for jobben.

Teamintervjuer og kultur passer fortsatt. Men delen hvor man prøver å gispe om en kandidat virkelig forstår hva de har produsert – den delen bør endres.

Nå måler de fleste prosesser noe annet enn det som nå teller.