De ce contează fiecare token când AI-ul scrie codul

Cursa pentru eficiență în AI-ul de programare

Acum un an, discuția despre asistenții AI pentru cod era simplă: pot scrie cod? Astăzi, după ce multe companii au început să folosească aceste instrumente la scară largă, liderii de inginerie se întreabă altceva: ne permitem să le folosim?

Tokenii consumați de aceste instrumente au devenit o preocupare la nivel de consiliu de administrație. Ei afectează direct bugetul cloud. OpenAI și Anthropic, cei doi lideri pe piața modelelor de vârf, nu au motive să optimizeze pentru cost. Ei sunt construiți să fie cât mai capabili.

Problema contextului în cod

Majoritatea agenților de codare folosesc căutări simple – fie prin cuvinte cheie, fie prin potriviri vagi – pentru a înțelege codul. Această abordare pare logică la prima vedere. În realitate, ea generează multe erori și necesită multiple runde de interacțiune.

Când contextul este greșit, agentul trebuie să încerce din nou. Fiecare încercare consumă tokeni. Dacă nu găsește fișierul corect, se întoarce și reîncepe. Dacă aduce cod inutil, pierzi și mai mulți tokeni. Rezultatul: mii de tokeni risipiți doar pentru a găsi câteva linii de cod care de facto au nevoie.

Într-un monorepo cu mii de fișiere, această ineficiență nu este lineară.