Era tanich tokenów się skończyła. Czas na lokalne alternatywy

Rozmawiajmy o pieniądzach

Chodzi mi o moment, w którym CFO zaczynają patrzeć na faktury za AI i nie wierzą własnym oczom.

Jeszcze niedawno asystenci kodowania wyglądali jak dar od losu. Zespół dostarcza szybciej, błędów mniej, a rachunki znikają w cieniu kosztów serwerów i pensji. Potem ktoś w końcu policzył i wyszło... niezbyt optymistycznie. Przy skali, te przyjazne subskrypcje per-siedzenie rosną błyskawicznie. Gdy power userzy pochłaniają 500 do 2000 dolarów miesięcznie tylko na tokenach, budżety znikają szybciej niż zdążysz powiedzieć "sprint planning".

Nadszedł dzień rozliczenia. Uber ogłosił limit 1500 dolarów miesięcznie na inżyniera. Microsoft wycofał licencje Claude Code z niektórych działów. TechCrunch pisał o "przychodzącym rachunku za tokeny". Era nieograniczonego apetytu na AI w kodowaniu definitywnie się skończyła. Czas na zwykłe, przyziemne planowanie budżetu.

Matematyka, której nikt nie lubi

Przejdźmy do liczb. Zespół dziesięciu inżynierów ze średnim wykorzystaniem AI? Przygotuj się na 5000 do 15000 dolarów miesięcznie. To sporo. A gdy budżet kończy się 22. dnia 30-dniowego sprintu, opcje są blade. Wszyscy stoją, inżynierowie wracają do ręcznego kodowania (spróbuj to powiedzieć juniorowi), albo... mają plan B.

I tutaj robi się ciekawie.

Dlaczego warto iść lokalnie

Spędziłem ostatni kwartał testując, jak wyglądałoby uruchomienie agenta kodującego całkowicie na sprzęcie lokalnym. Nie dlatego, że laptop może zastąpić front-end model – bądźmy szczerzy, to nonsens – ale dlatego, że "wystarczająco dobry do rutynowych zadań" jest warty fortunę, gdy chmura zaczyna drożeć.

Koncepcja jest prosta: co jeśli każdy zespół miałby lokalnego agenta, który bierze na siebie nudną, powtarzalną robotę, gdy rachunek za chmurę robi się bolesny? Modyfikacje plików, generowanie boilerplate'u, pisanie testów, aktualizacja dokumentacji. Rzeczy, które nie potrzebują 20 dolarów miesięcznie za API.

Dla zespołów z nowoczesnym sprzętem – szczególnie użytkowników Maców z chipami M-series i porządną ilością RAM – to jest bardziej realne niż kiedykolwiek. Sprzęt już masz. Modele są darmowe. Jedyny koszt to prąd i czas na porządne skonfigurowanie.

Co faktycznie działa

Po przetestowaniu kilku podejść, trafiłem na setup, który działa zaskakująco dobrze: lokalny agent kodujący z Qwen3-Coder-30B na frameworku MLX od Apple. Czy jest tak zdolny jak Claude czy GPT-4? Nie. Ale jest darmowy, szybki i działa na sprzęcie, który już miałem.

Całość składa się z trzech elementów współpracujących ze sobą: samego agenta (czegoś lekkiego, co umie czytać pliki, wprowadzać zmiany i wykonywać polecenia bash), serwera modelu odpowiedzialnego za wnioskowanie, oraz wag modelu. Qwen3-Coder-30B to "mixture-of-experts" – ma 30 miliardów parametrów, ale aktywuje tylko około 3 miliardów na token. Efekt? Przyzwoita wydajność za ułamek kosztów obliczeniowych. Myśl o tym jak o sportsowym aucie w cenie roweru.

Na MacBooku Pro z M4 Pro i 48 GB RAM ten setup radzi sobie z rutynowymi zadaniami bez zająknięcia. Edycje plików, małe refaktoryzacje, generowanie testów, code review prostych zmian. Agent nie zaprojektuje Twoich mikroserwisów ani nie rozwiąże nowych wyzwań algorytmicznych, ale to w porządku. Nie do tego jest stworzony. Ma ogarnąć te 80% pracy, która jest nudna, nie trudna.

Prawdziwa wartość

oto co zmieniło moje myślenie: lokalny agent nie jest o zastępowaniu chmurowego AI. Chodzi o ubezpieczenie.

Gdy budżet kończy się w połowie sprintu, nie chcesz, żeby Twoi inżynierowie obracali kciuki czekając na pierwszy. Lokalna alternatywa oznacza, że nuda nadal się toczy. Seniorzy mogą selekcjonować, co warte ich tokenów w chmurze. Juniorzy produktywnie działają na prostych zadaniach. Zespół nie staje w miejscu.

To również zmienia kalkulację, które zadania zasługują na chmurowe AI. Zamiast "Claude do wszystkiego" masz "chmurowe AI do trudnych problemów, lokalne AI do rutyny". Na poziomie zespołu to przesuwa zużycie budżetu w istotny sposób.

Od czego zacząć

Jeśli potrafisz SSH-ować na serwer, dasz radę ustawić lokalnego agenta kodującego. Narzędzia dojrzały znacząco. Projekty takie jak Ollama, LM Studio czy sam serwer MLX sprawiają, że uruchomienie zdolnego modelu lokalnie zajmuje poniżej godziny.

Prawdziwa inwestycja nie jest techniczna – to zmiana mentalna zespołu. Zamiast traktować chmurowe AI jako nielimitowane, planujesz. Budżetujesz. I masz lokalną opcję, gdy budżet się wyczerpie.

Dla startupów liczących każdy grosz i zespołów enterprise, gdzie koszty narzędzi AI nagle stały się pozycjami wymagającymi uzasadnienia, to podejście ma sens. Twój rachunek za chmurę może wynosić dziś 10000 dolarów miesięcznie. Z lokalną alternatywą ogarniającą rutynową pracę możesz zejść do 4000 – i masz plan awaryjny, gdy dostawcy modeli zmienią cennik.

Rachunek za tokeny nadchodzi. Lepiej mieć plan niż dać się zaskoczyć.