DeepSeek V4 Flash draaien op je Mac: wat je echt moet weten

Lange tijd leek het idee om krachtige AI lokaal te draaien een utopie. De hardware haalde het niet, of de modellen waren simpelweg niet geschikt voor consumentenapparaten. Die situatie verandert snel.

In april 2026 verscheen DeepSeek V4 Flash: een MoE-model met 284 miljard parameters en een contextvenster van 1 miljoen tokens. De grote aankondiging? Je kunt het draaien op Apple Silicon — mits je voldoende RAM hebt. Na flink wat tijd met dit model kan ik zeggen: het werkt, het is verrassend praktisch, en het verandert de afweging voor ontwikkelaars die privacy belangrijk vinden, offline willen werken, of gewoon geen zin hebben om te betalen voor elke API-aanroep.

Hardware: de harde feiten

Laten we eerlijk zijn over wat je nodig hebt. Het model vraagt ongeveer 81GB aan geheugen om te laden als quantized bestand. Dit betekent:

• MacBook Pro 128GB (M3 Max) — de ideale keuze, met wat speelruimte over
• 64GB machines — niet te doen. JeMac begint te swappen of crashed met OOM-fouten
• Mac Studio 192GB — opent de deur naar kwalitatief betere quantizations

De M3 Max met 128GB unified memory biedt roughly 115GB bruikbare GPU-werkruimte. Het model gebruikt zo'n 83GB, wat neerkomt op zo'n 32GB voor context en compute buffers. Werkbaar, maar niet ruim.

Waarom standaard tools nog niet werken

Hier wijken de meeste handleidingen de boot. Als je DeepSeek V4 Flash probeert te trekken met standaard tools zoals mainline llama.cpp of Ollama, loop je tegen een muur aan. De deepseek4 architectuur — met zijn sparse attention, hyper-connections en multi-token prediction head — is nog niet samengevoegd in stabiele releases.

Ollama zal automatisch updaten zodra de architectuurondersteuning upstream landt, maar medio 2026 is dat nog niet gebeurd. Je vindt online tutorials met commando's die simpelweg niet bestaan. Het ecosysteem wordt beter, maar is er nog niet.

De experimentele route die wél werkt

Salvatore Sanfilippo (ja, de bedenker van Redis) onderhoudt een experimentele fork van llama.cpp die de deepseek4 architectuur implementeert. Gecombineerd met zijn HuggingFace repository vol geoptimaliseerde GGUF quantizations is dit je toegangspoort.

Het modelbestand dat past op een 128GB Mac: DeepSeek-V4-Flash-IQ2XXS-w2Q2K-AProjQ8-SExpQ8-OutQ8-chat-v2.gguf met 81GB.

De bestandsnaam vertelt een verhaal. Dit is een "Dwarf Star" quant — een slimme aanpak waarbij de routed experts (waar de 284B parameters voornamelijk zitten) naar 2-bit precisie worden gecomprimeerd, terwijl attention projections, shared experts en output layers op Q8 blijven. De onderdelen die ertoe doen voor coherente output behouden hoge precisie; de sparse expert-tabellen worden agressief gecomprimeerd.

De fork bouwen is eenvoudig:

git clone --depth 1 https://github.com/antirez/llama.cpp-deepseek-v4-flash llama.cpp
cd llama.cpp
cmake -B build -DGGML_METAL=ON -DCMAKE_BUILD_TYPE=Release
cmake --build build --config Release -j$(sysctl -n hw.logicalcpu)

De build herkent je M3 Max GPU automatisch, en je kunt aan de slag.

Benchmarks die ertoe doen

• Generatiesnelheid: zo'n 21 tokens/seconde
• Prompt evaluatie: zo'n 32-43 tokens/seconde
• Koude opstarttijd: zo'n 9 minuten (eerste keer, 81GB van disk lezen)
• Warme opstarttijd: 4 seconden (wanneer bestand in OS page cache zit)

Die 21 tok/s is echt bruikbaar. Het is niet de snelheid van een cloud API op premium hardware, maar snel genoeg voor interactief gebruik. Die koude opstart is vervelend — zorg dat je op een SSD draait, niet op een harde schijf, en start vooral niet elke keer opnieuw op.

De context window realiteit

DeepSeek V4 Flash adverteert met 1 miljoen tokens context. In de praktijk ligt de betrouwbare grens op deze fork bij 256k tokens. Daarboven begint inference te crashen. Dit is een beperking van de huidige implementatie, niet van het onderliggende model — toekomstige updates kunnen dit veranderen. Voor de meeste toepassingen is 256k nog steeds enorm gul, maar het is goed om te weten voordat je je hele codebase erin probeert te dumpen.

Wat dit betekent voor ontwikkelaars

Een frontier-class model lokaal draaien verandert je workflow. Geen API-keys om te beheren. Geen oplopende kosten per token. Geen data die je machine verlaat. Voor ontwikkelaars die privacy-gevoelige applicaties bouwen, in gereguleerde industrieën werken, of simpelweg genoeg hebben van rate limits, is dit significant.

De opzet is niet voor iedereen — je hebt de juiste hardware nodig, moet navigeren door experimentele software, en comfortabel zijn met command-line tooling. Maar voor wie aan de vereisten voldoet, is de belofte reëel: een capabele AI-assistent die op je laptop draait, offline, wanneer je maar wilt.

De grens van lokale AI blijft verschuiven. DeepSeek V4 Flash markeert een betekenisvolle stap in het toegankelijk maken van krachtige modellen voor individuele ontwikkelaars. Of de hardware-investering het waard is, hangt af van je situatie — maar het is nu een optie die echt bestaat.