Tokeny nejsou zadarmo aneb Konec nekonečného AI

Pojďme si promluvit o penězích. Konkrétně o tom okamžiku, kdy CFO začali koukat na faktury za AI coding nástroje a nemohli uvěřit vlastním očím.

Ještě nedávno se AI asistenti zdáli jako snadné peníze. Tým rychleji dodává, chyb ubývá, a měsíční faktura je prakticky neviditelná vedle nákladů na servery a platy. Pak ale někdo spočítal čísla a zjistil, že ta fráze "prakticky neviditelná" tahala velmi těžké břemeno. Ve velkém měřítku se ty přátelské předplatné za seat rychle nasčítají – a když power uživatelé projedí 500 až 2000 dolarů měsíčně jen na tokenech, rozpočty se vypaří rychleji, než stihnete říct "sprint planning".

Ten okamžik pravdy přišel. Uber řekl engineerům, že mají k dispozici 1500 dolarů měsíčně. Microsoft stáhl Claude Code licence z některých divizí. TechCrunch napsal příběhy o "účtu za tokeny, který se splácí". Éra neomezených AI coding apetitů je oficiálně u konce. Nahradil ji pocit nepříjemně podobný běžnému softwarovému rozpočtování.

Ta nepříjemná matematika

Tady je ta čísla: když provozujete tým deseti engineerů s průměrným využitím AI nástrojů, pravděpodobně se dostanete na 5000 až 15000 dolarů měsíčně. To není málo. A když ten rozpočet dojde 22. den třicetidenního sprintu, vaše možnosti jsou žalostné. Všichni přestanou dodávat, engineeři se vrátí k řemeslnému kódování (zkuste to vysvětlit junior devovi), nebo... máte záložní plán.

A tady to začíná být zajímavé.

Proč zkusit local

Tento kvartál jsem strávil čas zkoumáním, jak by vypadalo provozovat coding agenta zcela na lokálním hardware. Ne proto, že si myslím, že laptop nahradí frontier model – buďme realističtí, to by bylo hloupé – ale proto, že "dostatečně dobrý na rutinní práci" má skutečnou hodnotu, když vám dojde cloud rozpočet.

Premisa je prostá: co kdyby každý tým měl lokálního coding agenta, který převezme nudnou, opakující se práci, když se cloud účet začne nebezpečně blížit limitu? Úpravy souborů, generování boilerplate kódu, psaní testů, aktualizace dokumentace. Věci, které nepotřebují 20dolarový API call.

Pro týmy s moderním hardwarem – hlavně Mac uživatele na M-sérii čipech s rozumným RAM – je toto více realistické než kdy dřív. Hardware už vlastníte. Modely jsou zdarma. Jediné náklady jsou elektřina a čas na správné nastavení.

Co opravdu funguje

Po testování několika přístupů jsem skončil u setupu, který je překvapivě funkční: lokálně běžící coding agent zálohovaný modelem Qwen3-Coder-30B na Apple MLX framework. Není tak schopný jako Claude nebo GPT-4? Ne. Ale je zdarma, rychlý a běží na hardware, který už mám.

Setup zahrnuje tři komponenty, které spolu mluví: samotného agenta (něco lightweight, co umí číst soubory, dělat úpravy a spouštět bash příkazy), model server, který obstarává inference, a vlastní váhy modelu. Qwen3-Coder-30B je "mixture-of-experts" model – má 30 miliard parametrů celkem, ale aktivuje jen asi 3 miliardy na token. Výsledek je slušný výkon za zlomek výpočetních nákladů – představte si to jako kvalitu sportovního auta za cenu kola.

Na MacBooku Pro s M4 Pro a 48 GB RAM zvládá tenhle setup rutinní úkoly bez zadýchání. Úpravy souborů, malé refaktory, generování testů, code reviews jednoduchých změn. Agent není ten, kdo vám navrhne microservisy nebo vyřeší nové algoritmické výzvy, ale to je v pořádku. Neměl by. Měl by zvládat těch 80 % práce, která je nudná, ne těžká.

Skutečná hodnota

Tady je to, co změnilo můj pohled: lokální agent není o nahrazení cloud AI. Je to pojistka.

Když vám dojde rozpočet uprostřed sprintu, nechcete, aby vaši engineeři kroutili palce a čekali na první v měsíci. Lokální záloha znamená, že nudné věci se pořád hýbou. Seniorní engineeři můžou triážovat, co stojí za jejich cloud tokeny. Juniori můžou zůstat produktivní na straightforward úkolech. Tým se nezasekne.

Tohle taky mění kalkulaci nad tím, které úkoly si zaslouží cloud AI pozornost. Místo "použij Claudu na všechno" dostanete "používej cloud AI na těžké problémy, lokální AI na rutinní věci". Přes celý tým to posouvá spotřebu rozpočtu významnými způsoby.

Jak začít

Když umíte SSH na server, zvládnete nastavit lokálního coding agenta. Nástroje výrazně dospěly. Projekty jako Ollama, LM Studio a MLX server samotný dělají překvapivě přímočaré dostat schopný model běžící lokálně pod hodinu.

Skutečná investice není technická – je to změna mentálního modelu vašeho týmu. Místo treating cloud AI jako neomezeného, plánujete pro něj. Rozpočtujete ho. A máte lokální variantu, když rozpočet vyschne.

Pro startupy hlídající každý dolar a enterprise týmy, kde náklady na AI tooling jsou najednou položky, které je třeba obhájit, dává tenhle přístup smysl. Vaše cloud AI faktura může být dnes 10000 dolarů měsíčně. S lokální zálohou obstarávající rutinní práci byste se mohli dostat na 4000 – a mít backup plán, až poskytovatelé změní ceník.

Účet za tokeny se splácí. Lepší mít plán, než být překvapen.