AI benchmarky versus skutečná produktivita: Kdy čísla klamej

Pokaždé pár týdnů se objeví nový AI model s benchmarkingovým skóre, které bere dech. SWE-bench ukazuje padesátiprocentní zlepšení. HumanEval míří k devadesáti pěti procentům. Grafy rostou do nebe, Twitter se plní nadšenými příspěvky a všichni vyhlašují, že budoucnost softwarového inženýrství právě dorazila.

Mám ale dost zkušeností na to, abych věděl: benchmarky a produktivita spolu mluví úplně jinou řečí.

Tenká hranice mezi „lepší" a „lepší pro mě"

Neberte to špatně – ty modely jsou fakt působivé. Používám je každý den a změnily můj přístup k debugování, dokumentaci i prototypování. Jenže je tu zásadní rozdíl mezi tím, „že model dosáhl vyššího skóre", a tím, „že model zásadně změnil můj workflow".

Ten posun jsem zažil jen jednou. Při jednom konkrétním vydání modelu jsem přestal vnímat AI jako chytrý autocomplete a začal ji brát jako parťáka. Mohl jsem jí předat ohraničený úkol, nechat ji prozkoumat kódovou bázi, zodpovědět pár upřesňujících otázek a důvěřovat, že dodá výsledek. Interakce se změnila z „optám se a dostanu odpověď" na „optám se, spolupracuju a iteruju".

A tady to zajímavé: když jsem se podíval na svou reálnou produkci v následujících měsících, křivka produktivity kopírovala ten kvalitativní posun – ne další benchmarková zlepšení, která přicházela měsíc co měsíc.

Proč benchmarky nepostihnou tvou skutečnou práci

Co vlastně coding benchmarky typicky měří? Izolované, dobře specifikované úkoly s jasným řešením. Oprav ten bug. Napiš tu funkci. Dokonči ten PR.

Ale tvoje skutečná inženýrská práce vypadá úplně jinak. Nejasné požadavky, závislosti napříč týmy, legacy kód s nedokumentovaným chováním, rozhodnutí vyžadující pochopení business kontextu, které model prostě nemá.

Některé benchmarky už na tuto mezeru reagují. Vznikají výzkumné projekty, které záměrně zadržují informace a nutí modely klást upřesňující otázky – testují, jestli AI dokáže poznat, že jí něco chybí, místo aby sebevědomě vymýšlela odpovědi. Je to krok správným směrem, ale pořád jsme na začátku.

Co to znamená pro tvůj stack

Když vyhodnocuješ AI nástroje pro svůj tým, otázka není „jaké skóre dosáhl ten model v benchmarku X?" Otázka je: „Změnil ten nástroj způsob, jakým můj tým skutečně pracuje?"

U nás v NameOcean nad tím přemýšlíme přes koncept Vibe Hostingu – jak stavět nástroje, které nepředvádějí schopnosti AI, ale skutečně zesilují to, čeho mohou vývojáři dosáhnout? Ten rozdíl je důležitý. Nástroj, který je o trochu lepší v generování kódových snippetů, není transformační. Nástroj, který změní rychlost tvé iterace, tvůj debugging workflow nebo schopnost zkoumat architektonické možnosti? To je něco úplně jiného.

Otázka paradigmatu

Nenavrhuju, abychom ignorovali pokrok. Modely jsou lepší – řeší těžší problémy, zvládají komplexnější kontext, dělají míň trapných chyb. To jsou reálná vylepšení.

Ale pokud čekáme na další benchmarkový skok, který odemkne zásadní posun v produktivitě, možná se diváme špatným směrem. Naposledy práce skutečně působila jinak, když se změnil interakční model – ne když stouply čísla.

Dokud neuvidíme další Paradigma shift v tom, jak s těmito systémy spolupracujeme – lepší context windows, vylepšené dlouhodobé uvažování, chytřejší agent orchestration – marginální zisky budou přicházet dál, ale ty transformační možná zůstávají za námi.

Nebo možná jen recalibrujem baseline. Ať tak či tak, stojí za to být upřímní ohledně toho, co vlastně měříme.

Závěr

Až příště uvidíš benchmarkové nadpisy, zeptej se sám sebe: Reprezentuje to nový způsob práce, nebo jen lepší výkon na úkolech, které už byly v dosahu? Ten rozdíl možná záleží víc než samotné číslo.

Tvoje infrastruktura si zaslouží nástroje, které odpovídají tomu, jak skutečně stavíš. Ne tomu, jak říkají benchmarky, že bys měl.