Vlastní lokální AI asistent pro kódování: Jak na to s MacBookem Pro

Chcete spustit pokročilý jazykový model přímo na svém počítači? Není v tom nic neobvyklého. Výhody jsou jasné: rychlejší odpovědi, plná soukromí a žádné poplatky za API. Problém nastává, když se pustíte do praxe. Většina vývojářů tu narazí.

Probereme, co potřebujete k fungujícímu lokálnímu AI pro kódování. Jaké jsou pasti a jak je obejít.

Proč zvolit lokální řešení?

Cloudové AI nástroje jsou pohodlné. Ale mají nevýhody. Váš kód putuje sítí. Trčíte v limitech. Platíte za každý token. Každý návrh přidává zpoždění.

Lokální varianta je ideál pro citlivé projekty nebo týmy dbající na bezpečnost. MacBook Pro se stane vaší soukromou AI farmou. Žádné vnější služby, žádné úniky dat, žádné faktury.

Podmínka? Silný hardware a správný výběr modelů.

Hardware požadavky

Ne každé MacBook to zvládne. Zaměřte se na:

• Čipy Apple Silicon (M-série)
• Minimálně 32 GB unified memory (48 GB je lepší)
• Dávku trpělivosti při testování

Unified memory je klíč. CPU a GPU sdílejí paměť bez kopírování dat. Pro inference LLM to znamená revoluci.

Jaký model vybrat

Tady se většina zasekne. Ne každý model funguje lokálně stejně dobře.

Pro 48 GB MacBook hledejte:

• Dost chytré modely na složité kódovací úkoly
• Optimalizované pro Apple Silicon (žádné obecné GGUF)
• Otestované na dlouhé konverzace (infra je stejně důležitá jako velikost)

V roce 2024/2025 jděte do 27B-35B parametrů, např. nové Qwen varianty. Sledujte benchmarky jako SWE-bench – měří opravy chyb v reálném kódu, ne jen fráze.

Zvažte MoE modely. Mají hodně parametrů, ale aktivují jen zlomek. Paměťová zátěž klesne, kvalita zůstane.

Pasti v nástrojích: Proč to praskne hned na začátku

Tady jsou lekce z praxe.

Problém s mlx-lm serverem

MLX od Apple je rychlejší než konkurence – o 20-30 % oproti llama.cpp. Logicky zkusíte mlx-lm.server.

Co se stane: Načte se, pár odpovědí projde. Pak crash kvůli Metal paměti. KV cache (paměť pro kontext) roste donekonečna. GPU se zasekne, systém to zabije.

Flagů jako --max-kv-size v serveru není. Jsou jen v jednorázovém inference.

Závěr: MLX je super na testy. Ne na stabilní server.

Přechod na Ollama

Ollama omezuje kontext. KV cache nezabírá vše. Žádné pády. Stabilita zaručená.

Past? Stahuje obecné GGUF modely, ne optimalizované pro Apple. Server běží, ale výstup zklamne. Slabé uvažování, chybný kód, opakování tokenů. Kvůli agresivní kvantizaci pro širokou kompatibilitu.

Další háček: Výchozí parametry. Např. presence_penalty 1.5 brání opakování – i proměnným a klíčovým slovům v kódu.

Co skutečně funguje

Potřebujete:

1. Ollama jako runtime (stabilní, udržované)
2. Modely pro Apple Silicon (hledejte mxfp8 kvantizaci)
3. Vlastní Modelfile pro úpravu defaultů

Recept krok za krokem:

# Instalace Ollama
brew install ollama

# Spuštění serveru s otevřeným přístupem
OLLAMA_HOST=0.0.0.0 OLLAMA_KEEP_ALIVE=24h ollama serve

Stáhněte správný model:

ollama pull qwen3.6:35b-a3b-mxfp8

mxfp8 není ozdoba – dělá rozdíl mezi "tohle je tupé" a "tohle pomáhá".

Vytvořte Modelfile:

FROM qwen3.6:35b-a3b-mxfp8
PARAMETER num_ctx 16384
PARAMETER presence_penalty 0
PARAMETER temperature 0.7

Sestavte a spusťte:

ollama create my-coder -f Modelfile
ollama run my-coder

Propojení s IDE

Server běží na http://localhost:11434 – kompatibilní s OpenAI protokolem. Funguje s VS Code, Vim, Neovim nebo JetBrains. Vaše lokální AI vypadá jako cloudová služba.

Skutečné náklady

Před startem si uvědomte kompromisy:

• Čas na setup: Nebude to okamžité. Testujte modely, laděte.
• Hluk: Ventilátory se roztočí. GPU maká.
• Omezený výběr: Neměníte modely jako v cloudu.

Oproti tomu získáte:

• Soukromí: Kód zůstane u vás
• Nulové náklady: Žádné měsíční poplatky
• Předvídatelnost: Bez síťových výkyvů
• Svobodu: Měňte prompty, parametry, bez omezení

Co dál?

Teď máte základ. Pokračujte:

• Testujte Llama 3, Mistral nebo jiné open-source
• Fine-tunujte na svůj kód
• Používejte specializované modely pro jazyky/frameworky
• Zapojte do CI/CD

Lokální AI je realita. Váš MacBook Pro to zvládne. Modely jsou ready. Nástroje dozrály.

Nedělejte si iluze o dokonalosti. Pusťte se do toho hned.