DeepSeek V4 Flash på Apple Silicon – så kör du en 284B-modell lokalt

Drömmen om att köra riktigt kraftfull AI på egen hårdvara har länge känts avlägsen. Antingen orkade inte maskinen, eller så var modellerna inte optimerade för hemdatorer. Den barriären krymper snabbt nu.

I april 2026 dök DeepSeek V4 Flash upp – en MoE-modell med 284 miljarder parametrar och en påstådd kontextfönster på 1 miljon tokens. Den stora nyheten? Du kan faktiskt köra den på Apple Silicon, om du har tillräckligt med RAM. Efter att ha testat modellen ett tag kan jag slå fast: det fungerar, det är förvånansvärt praktiskt, och det förändrar förutsättningarna för utvecklare som vill ha integritet, offline-funktionalitet, eller helt enkelt slippa betala för varje API-anrop.

Vad kräver hårdvaran?

Låt oss vara realistiska. Modellen behöver ungefär 81 GB minne för att laddas som en kvantiserad fil. Det betyder:

• 128GB MacBook Pro (M3 Max) – den optimala kompromissen, med lite marginal kvar
• 64GB-maskiner – glöm det. Du antingen swapar ihjäl dig själv eller kraschar med OOM-fel
• 192GB Mac Studio – öppnar möjligheter för högre kvantiseringskvalitet

M3 Max med 128GB enhetligt minne ger dig cirka 115GB GPU-arbetsminne. Modellen tar omkring 83GB, vilket lämnar runt 32GB för kontext och beräkningsbuffertar. Det funkar, men det är inte generöst.

Varför standardverktygen inte räcker

Här är det de flesta guider missar. Försöker du hämta DeepSeek V4 Flash med vanliga verktyg som mainline llama.cpp eller Ollama kommer du snabbt köra in i en vägg. Arkitekturen deepseek4 – med sina glesa attention-mekanismer, hyper-anslutningar och multi-token prediction-head – har helt enkelt inte integrerats i stabila versioner ännu.

Ollama uppdateras automatiskt när arkitekturstödet väl är på plats upstream, men i mitten av 2026 har det inte hänt. Du hittar tutorials med kommandon som inte faktiskt existerar. Ekosystemet追赶上来, men det är inte där än.

Den experimentella vägen som funkar

Salvatore Sanfilippo (ja, Redis-skaparen) underhåller en experimentell llama.cpp-fork som implementerar deepseek4-arkitekturen. Tillsammans med hans HuggingFace-repo med optimerade GGUF-kvantiseringar är detta din inkörsport.

Modellfilen som får plats på en 128GB Mac: DeepSeek-V4-Flash-IQ2XXS-w2Q2K-AProjQ8-SExpQ8-OutQ8-chat-v2.gguf på 81GB.

Filnamnet berättar en historia. Det här är en "Dwarf Star"-kvantisering – ett fiffigt recept där de routed experts (där de 284B parametrarna mestadels bor) krossas till 2-bitars precision medan attention-projections, delade experts och output-lager hålls i Q8. Delarna som spelar roll för sammanhängande output behåller hög precision; de glesa expert-tabellerna komprimeras aggressivt.

Att bygga forkken är rakt framåt:

git clone --depth 1 https://github.com/antirez/llama.cpp-deepseek-v4-flash llama.cpp
cd llama.cpp
cmake -B build -DGGML_METAL=ON -DCMAKE_BUILD_TYPE=Release
cmake --build build --config Release -j$(sysctl -n hw.logicalcpu)

Bygget hittar din M3 Max GPU korrekt, och sedan är det bara att köra.

Prestanda i verkligheten

• Genereringshastighet: ~21 tokens/sekund
• Prompt-utvärdering: ~32-43 tokens/sekund
• ** kall laddningstid**: ~9 minuter (första körningen, läser 81GB från disk)
• Varm laddningstid: ~4 sekunder (när filen finns i OS page cache)

Den där genereringshastigheten på 21 tok/s är genuint användbar. Det är inte hastigheten från ett moln-API på premium-hårdvara, men det är snabbt nog för interaktivt arbete. Den kalla laddningen är det smärtsamma – se till att köra från en SSD, inte en snurrande disk, och definitivt inte stänga av och starta om ofta.

Kontextfönstret i praktiken

DeepSeek V4 Flash marknadsför en 1M-token kontext. I praktiken, med den här forkken, ligger det pålitliga taket på 256k tokens. Över det börjar inferensen krascha. Det här är en begränsning i den nuvarande implementeringen, inte i den underliggande modellen – framtida uppdateringar kan ändra på det. För de flesta användningsfall är 256k fortfarande extremt generöst, men det är värt att veta innan du försöker mata in hela din kodbas på en gång.

Vad det betyder för utvecklare

Att köra en frontier-klassmodell lokalt förändrar ditt arbetssätt. Inga API-nycklar att hantera. Inga ackumulerande per-token-kostnader. Ingen data som lämnar din maskin. För utvecklare som bygger integritetskänsliga applikationer, arbetar i reglerade branscher, eller helt enkelt är trötta på rate limits – det här är betydande.

Installationen är inte för alla. Du behöver rätt hårdvara, du behöver navigera experimentell programvara, och du behöver känna dig bekväm med kommandoradsverktyg. Men för de som uppfyller kraven är utdelningen verklig: en kapabel AI-assistent som körs på din laptop, offline, närhelst du vill.

Fronten för lokal AI fortsätter röra sig framåt. DeepSeek V4 Flash representerar ett meningsfullt steg framåt i att göra kraftfulla modeller tillgängliga för enskilda utvecklare. Om det är värt hårdvaruinvesteringen beror på dina behov – men det är ett alternativ som nu genuint existerar.