DeepSeek V4 Flash na Apple Silicon: Funkční řešení, které není pro každého

Lokální AI modely dlouho patřily do kategorie "cool, ale nepraktické". Buď hardware nestíhal, nebo bylo potřeba inženýrské maximum na úrovni NASA, aby člověk vůbec něco rozchodil. DeepSeek V4 Flash to mění — aspoň pro ty, kteří mají správné vybavení.

Co vlastně běžíte

Model DeepSeek V4 Flash je 284miliardový MoE model s udávaným kontextovým oknem milion tokenů. Parádní čísla na papíře. Praktický háček? Pro načtení do paměti potřebujete přibližně 81 GB.

Tady to začíná být zajímavé.

Hardware: Tady je ta nelítostná realita

Než začnete stahovat, spočítejte si, kolik RAM máte. Opravdu si to spočítejte.

• 128GB MacBook Pro s M3 Max — ideální volba. Zbyde vám ještě místo na práci.
• 64GB stroje — raději ani nezkoušejte. Buďto se zblázníte z pomalého swapování, nebo vám systém spadne na OOM chybu.
• 192GB Mac Studio — tady se otevírají možnosti pro kvalitnější kvantizace.

Pro představu: M3 Max se 128GB unified memory vám dá zhruba 115GB využitelného GPU workspace. Model si vezme asi 83GB. Zbývá přibližně 32GB na kontext a výpočetní buffery. Jde to, ale není to žádný luxus.

Proč běžné nástroje selžou

Tady přichází ta frustrující část. Standardní nástroje jako mainline llama.cpp nebo Ollama vám nepomůžou. Architektura deepseek4 — s jejím sparse attention, hyper-connections a multi-token prediction head — ještě není součástí stabilních vydání.

Ollama automaticky aktualizuje, jakmile bude podpora dostupná upstream. Ale v polovině roku 2026 jsme tam ještě nedorazili. Spousta návodů na internetu obsahuje příkazy, které prostě neexistují. Ekosystém to dohání, ale zatím tam není.

Cesta, která funguje

Salvatore Sanfilippo — jo, ten chlápek od Redisu — udržuje experimentální fork llama.cpp s podporou deepseek4 architektury. Spolu s jeho optimalizovanými GGUF kvantizacemi na HuggingFace je to váš vstupenka.

Konkrétní soubor pro 128GB Mac: DeepSeek-V4-Flash-IQ2XXS-w2Q2K-AProjQ8-SExpQ8-OutQ8-chat-v2.gguf — 81GB na disku.

Tomu názvu se říká "Dwarf Star" kvantizace. Chytrý recept: routed experts, kde se většina parametrů nachází, je stlačená na 2-bitovou přesnost. Zatímco attention projekce, sdílené experty a výstupní vrstvy zůstávají na Q8. Podstatné části pro kvalitní výstup si drží vysokou přesnost; řídké expertní tabulky jsou agregovaně komprimované.

Kompilace forku je přímočará:

git clone --depth 1 https://github.com/antirez/llama.cpp-deepseek-v4-flash llama.cpp
cd llama.cpp
cmake -B build -DGGML_METAL=ON -DCMAKE_BUILD_TYPE=Release
cmake --build build --config Release -j$(sysctl -n hw.logicalcpu)

Build správně detekuje váš M3 Max GPU a můžete vesele generovat.

Čísla, na kterých záleží

• Rychlost generování: přibližně 21 tokenů/sekundu
• Vyhodnocení promptu: přibližně 32–43 tokenů/sekundu
• Studený start: zhruba 9 minut (první spuštění, čtení 81GB z disku)
• Teplý start: 4 sekundy (když je soubor v OS page cache)

Těch 21 tok/s je skutečně použitelné. Není to rychlost cloudového API na prémiovém hardware, ale pro interaktivní práci to stačí. Studený start je bolestivý — rozhodně běžte z SSD, ne z plotnového disku, a hlavně nečastěte restarty.

Kontextové okno: Co můžete očekávat

DeepSeek V4 Flash inzeruje milion tokenů kontextu. V praxi je na tomto forku spolehlivý strop 256k tokenů. Nad tím začíná inference padat. Je to limita současné implementace, ne samotného modelu — budoucí aktualizace to mohou změnit. Pro drtivou většinu případů je 256k stále štědře dimenzovaných, ale je dobré to vědět předem, než se pokusíte nacpat celou kódovou základnu najednou.

Co to znamená pro vývojáře

Mít frontier-class model lokálně mění workflow. Žádné API klíče. Žádné poplatky za tokeny. Žádná data neopouštějí váš počítač. Pro vývojáře budující aplikace citlivé na soukromí, pracující v regulovaných odvětvích, nebo jednoduše unavené z rate limitů — tohle je významná změna.

Nastavení není pro každého. Potřebujete správný hardware, musíte se vypořádat s experimentálním softwarem a orientovat se v příkazové řádce. Ale pro ty, kteří požadavky splňují, je odměna reálná: schopný AI asistent běžící na vašem laptopu, offline, kdykoli chcete.

Hranice lokální AI se neustále posouvají. DeepSeek V4 Flash představuje smysluplný krok vpřed v zpřístupňování výkonných modelů individuálním vývojářům. Jestli to stojí za hardware investici, záleží na vašich potřebách — ale je to možnost, která teď skutečně existuje.