DeepSeek V4 Flash na Apple Silicon – czy da się to uruchomić w domu?

Jeszcze niedawno uruchomienie mocnego AI na własnym sprzęcie było czystą fantazją. Albo maszyna nie dawała rady, albo modele nie były zoptymalizowane pod kątem zwykłych komputerów. Ta przepaść zaczyna się zamykać.

DeepSeek V4 Flash pojawił się w Aprilu 2026 roku jako model MoE z 284 miliardami parametrów i reklamowanym oknem kontekstowym 1M tokenów. Główna atrakcja? Da się go uruchomić na Apple Silicon – pod warunkiem, że masz wystarczająco dużo RAM-u. Spędziłem z tym modelem trochę czasu i mogę potwierdzić: działa, jest zaskakująco praktyczny i zmienia kalkulację dla deweloperów, którzy chcą prywatności, pracy offline albo po prostu nie chcą płacić za każde wywołanie API.

Rzeczywistość sprzętowa – bądźmy szczerzy

Musisz wiedzieć, z czym masz do czynienia. Model wymaga około 81 GB pamięci do załadowania jako plik skwantowany. Czyli:

• MacBook Pro 128 GB (M3 Max) — optymalny wybór, z zapasem
• Maszyny z 64 GB — забудь. Albo zaczniesz swapować jak szalony, albo wylądujesz z błędami OOM
• Mac Studio 192 GB — otwiera dostęp do lepszej jakości kwantyzacji

M3 Max z 128 GB zunifikowanej pamięci daje ci około 115 GB użytecznego zestawu roboczego GPU. Model zabiera jakieś 83 GB, zostaje mniej więcej 32 GB na kontekst i bufory obliczeniowe. Da się żyć, ale nie jest to luksus.

Dlaczego popularne narzędzia jeszcze nie działają

Tu większość poradników wprowadza cię w błąd. Jeśli spróbujesz ściągnąć DeepSeek V4 Flash standardowymi narzędziami jak główny llama.cpp czy Ollama, uderzysz w ścianę. Architektura deepseek4 – ze swoimi mechanizmami sparse attention, hiperpołączeniami i głową multi-token prediction – nie została jeszcze włączona do stabilnych wydań.

Ollama automatycznie się zaktualizuje, gdy wsparcie dla tej architektury pojawi się upstream, ale w połowie 2026 roku tego jeszcze nie ma. Znajdziesz tutoriale z poleceniami, które po prostu nie istnieją. Ekosystem nadgania, ale jeszcze tam nie dotarł.

Droga eksperymentalna, która działa

Salvatore Sanfilippo (tak, twórca Redisa) prowadzi eksperymentalny fork llama.cpp implementujący architekturę deepseek4. W parze z jego repozytorium HuggingFace zawierającym zoptymalizowane kwantyzacje GGUF – to twoja brama wejściowa.

Plik modelu mieszczący się w 128 GB MacBooka: DeepSeek-V4-Flash-IQ2XXS-w2Q2K-AProjQ8-SExpQ8-OutQ8-chat-v2.gguf o rozmiarze 81 GB.

Nazwa pliku opowiada historię. To tak zwany kwant "Dwarf Star" – sprytny przepis, w którym routed experts (gdzie żyje większość z tych 284B parametrów) są redukowani do 2-bitowej precyzji, podczas gdy attention projections, shared experts i warstwy wyjściowe zostają w Q8. Te części, które mają znaczenie dla spójnego outputu, pozostają wysokiej precyzji; tabele sparse expert są agresywnie kompresowane.

Budowa forka jest prosta:

git clone --depth 1 https://github.com/antirez/llama.cpp-deepseek-v4-flash llama.cpp
cd llama.cpp
cmake -B build -DGGML_METAL=ON -DCMAKE_BUILD_TYPE=Release
cmake --build build --config Release -j$(sysctl -n hw.logicalcpu)

Build wykrywa twój GPU M3 Max poprawnie i możesz startować.

Benchmarki, które mają znaczenie

• Prędkość generowania: około 21 tokenów/sekundę
• Ewaluacja promptu: około 32-43 tokeny/sekundę
• Cold load: około 9 minut (pierwsze uruchomienie, odczyt 81 GB z dysku)
• Warm load: 4 sekundy (gdy plik jest w cache stronicowania OS)

Te 21 tok/s generowania to prędkość, z którą da się normalnie pracować. Nie jest to szybkość chmurowego API na premium sprzęcie, ale wystarczająca do interaktywnego używania. Cold load boli najbardziej – upewnij się, że uruchamiasz z SSD, nie z talerzowego dysku, i definitely nie wychodź i nie uruchamiaj często od nowa.

Rzeczywistość okna kontekstowego

DeepSeek V4 Flash reklamuje 1M tokenów kontekstu. W praktyce, na tym forku, wiarygodny sufit to 256k tokenów. Powyżej tego inferencja zaczyna się wysypywać. To ograniczenie obecnej implementacji, nie samego modelu – przyszłe aktualizacje to mogą zmienić. Dla większości zastosowań 256k to wciąż olbrzymi limit, ale warto o tym wiedzieć zanim spróbujesz wrzucić mu całą swoją bazę kodu na raz.

Co to oznacza dla deweloperów

Uruchomienie modelu frontier-class lokalnie zmienia workflow. Nie ma kluczy API do zarządzania. Nie nalicza się kosztów za każdy token. Dane nie opuszczają twojej maszyny. Dla deweloperów budujących aplikacje wymagające prywatności, pracujących w regulowanych branżach albo po prostu zmęczonych limitami requestów – to jest istotne.

Setup nie jest dla każdego – potrzebujesz odpowiedniego sprzętu, musisz nawigować przez eksperymentalne oprogramowanie i musisz czuć się komfortowo z narzędziami linii poleceń. Ale dla tych, którzy spełniają wymagania, nagroda jest realna: zdolny asystent AI, który działa na twoim laptopie, off the grid, kiedy tylko chcesz.

Frontiera lokalnego AI ciągle się przesuwa. DeepSeek V4 Flash reprezentuje znaczący krok naprzód w dostępności mocnych modeli dla indywidualnych deweloperów. Czy wart jest inwestycji sprzętowych – zależy od twoich potrzeb. Ale to opcja, która teraz naprawdę istnieje.