Tekoäly ja tuottavuus: Miksi benchmarkit eivät kerro koko totuutta

Joka toinen viikko julkaistaan uusi tekoälymalli, jonka tulokset saavat leuan loksahtamaan. SWE-bench osoittaa 50 prosentin parannusta. HumanEval-kokeissa päästään 95 prosentin läpipääsyyn. Kaaviot nousevat jyrkästi, Twitter täyttyy julkaisuista, ja meitä vakuutetaan, että ohjelmistokehityksen tulevaisuus on jälleen täällä.

Olen kuitenkin ollut tämän alan todistajana tarpeeksi kauan ymmärtääkseni: benchmarkit ja tuottavuus puhuvat kahta eri kieltä.

"Parempi" ei ole sama kuin "parempi minulle"

Älä ymmärrä väärin – nämä mallit ovat aidosti vaikuttavia. Käytän niitä päivittäin, ja ne ovat muuttaneet tapaani lähestyä virheenkorjausta, dokumentointia ja protoilua. Mutta on laadullinen ero sen välillä, että "tämä malli saa korkeammat pisteet" ja "tämä malli muutti perustavanlaatuisesti työnkulkuani."

Se muutos tapahtui minulle kerran. Yhden tietyn mallijulkaisun myötä lakkasin kohtelemasta tekoälyä hienostuneena automaattitäydennyksenä ja aloin kohdella sitä yhteistyökumppanina. Pystyin delegoimaan rajattuja tehtäviä, antamaan sen tutkia koodikantaa, vastaamaan tarkentaviin kysymyksiin ja luottamaan sen tuottavan tuloksia. Vuorovaikutusmalli muuttui muodosta "kysy ja vastaanota" muotoon "kysy, tee yhteistyötä ja toista."

Mielenkiintoista? Kun katsoin todellista tuotostani seuraavien kuukausien aikana, tuottavuuskäyrä seurasi tuota laadullista muutosta – ei niitä jatkuvia benchmark-parannuksia, joita tuli kuukausi kuukaudelta lisää.

Miksi benchmarkit eivät tavoita todellista työtäsi

Tässä on asia, jonka koodausbenchmarkit tyypillisesti mittaavat: eristettyjä, hyvin määriteltyjä tehtäviä, joilla on selkeät ratkaisut. Korjaa tämä buugi. Kirjoita tämä funktio. Viimeistele tämä pull request.

Mutta sinun todellinen insinöörityö ei näytä lainkaan samalta. Se on epäselviä vaatimuksia, tiimien välisiä riippuvuuksia, perintökoodia ilman dokumentaatiota, ja päätöksiä, jotka vaativat liiketoimintakontekstin ymmärtämistä – sellaista tietoa, jota mallilla yksinkertaisesti ei ole.

Jotkut benchmarkit ovat alkaneet huomioida tätä kuilua. Muutamat tutkimushankkeet piilottavat nyt tarkoituksella tietoa ja pakottavat mallit esittämään tarkentavia kysymyksiä – testaavat, osaako tekoäly tunnistaa, kun siltä puuttuu jotain, sen sijaan että se varmuudella keksisi vastauksen. Se on askel oikeaan suuntaan, mutta olemme vielä alkuvaiheessa.

Mitä tämä tarkoittaa työkalujen valinnalle

Jos arvioit tekoälytyökaluja tiimillesi, kysymys ei ole "mitä tämä malli saa pisteitä X-benchmarkissa?" Vaan "muuttaako tämä työkalu sitä, miten tiimini todella toimii?"

NameOceanilla olemme pohtineet tätä Vibe Hostingin linssin läpi – miten rakennamme työkaluja, jotka eivät vain esittele tekoälykykyjä vaan todella vahvistavat sitä, mitä kehittäjät voivat saavuttaa? Ero on merkittävä. Työkalu, joka on marginaalisesti parempi koodinpätkien generoinnissa, ei ole mullistava. Työkalu, joka muuttaa iteraationopeutta, virheenkorjauksen työnkulkua tai kykyäsi tutkia arkkitehtuurivaihtoehtoja? Se on eri asia.

Paradigman kysymys

En ehdota, että ohittaisimme edistyksen. Mallit ovat parempia – ne ratkaisevat vaikeampia ongelmia, käsittelevät monimutkaisempaa kontekstia ja tekevät vähemmän kiusallisia virheitä. Nämä ovat todellisia parannuksia.

Mutta jos odotamme seuraavaa benchmark-hyppyä avaavan tuottavuuden askeleen, saatamme katsoa väärään suuntaan. Viimeksi kun työ todella tuntui erilaiselta, vuorovaikutusmalli oli se, joka muuttui – eivät pistemäärät.

Kunnes näemme seuraavan paradigman muutoksen siinä, miten teemme yhteistyötä näiden järjestelmien kanssa – parempia konteksti-ikkunoita, parantunutta pitkän aikavälin päättelyä, älykkäämpää agenttikoordinointia – marginaaliset parannukset jatkuvat, mutta mullistavat sellaiset saattavat olla jo takana.

Tai ehkä kyse on vain perustason uudelleenkalibroinnista. Kummin tahansa, kannattaa olla rehellinen siitä, mitä oikeastaan mittaamme.

Lopuksi

Kun näet seuraavan benchmark-otsikon, kysy itseltäsi: edustaako tämä uutta tapaa työskennellä, vai vain parempaa suorituskykyä tehtävissä, jotka olivat jo saavutettavissa? Ero saattaa merkitä enemmän kuin itse luku.

Infrastruktuurisi ansaitsee työkalut, jotka vastaavat sitä, miten todella rakennat. Ei sitä, miten benchmarkit sanovat sinun pitäisi rakentaa.