Slik kjører du DeepSeek V4 Flash på Apple Silicon

Lenge har drømmen om å kjøre kraftig AI lokalt virket utilgjengelig. Entendert hardware holdt ikke mål, ellers var modellene ikke optimalisert for vanlige maskiner. Den tiden er snart over.

DeepSeek V4 Flash kom i april 2026 som en MoE-modell med 284 milliarder parametere og et context-vindu på 1 million tokens. Hovedpoenget? Du kan kjøre den på Apple Silicon – hvis du har nok RAM. Etter å ha testet modellen kan jeg bekrefte: Dette funker. Det er overraskende praktisk. Og det endrer regnestykket for utviklere som vil ha personvern, offline-muligheter, eller rett og slett slippe å betale for hver eneste API-kall.

Hardware-kravene du må forholde deg til

Vær ærlig med deg selv om hva du faktisk har. Modellen krever rundt 81 GB minne for å lastes inn som en kvantisert fil. Det betyr:

• 128 GB MacBook Pro (M3 Max) – her er sweet spoten, med litt margin
• 64 GB-maskiner – glem det. Du ender enten opp med massiv swapping eller OOM-feil
• 192 GB Mac Studio – åpner for høyere kvantiseringskvalitet

M3 Max med 128 GB unified memory gir deg omtrent 115 GB tilgjengelig GPU-arbeidsminne. Modellen bruker rundt 83 GB, som lar deg sitte igjen med cirka 32 GB til context og compute buffers. Det funker, men det er ikke romslig.

Hvorfor standardverktøyene ikke funker ennå

Her skiller de fleste guidene lag. Prøver du å laste ned DeepSeek V4 Flash med vanlige verktøy som llama.cpp eller Ollama, treffer du en vegg. Arkitekturen deepseek4 – med sparse attention, hyper-connections og multi-token prediction head – er rett og slett ikke kommet inn i stabile utgivelser ennå.

Ollama vil oppdatere seg automatisk når arkitekturstøtten kommer inn i hovedgrenen, men per midten av 2026 har det ikke skjedd. Du finner tutorials med kommandoer som ikke eksisterer. Økosystemet tar igjen, men det er ikke der ennå.

Den eksperimentelle veien som faktisk funker

Salvatore Sanfilippo (ja, Redis-skaperen) vedlikeholder en eksperimentell llama.cpp-fork som implementerer deepseek4-arkitekturen. Sammen med HuggingFace-repoet hans med optimaliserte GGUF-kvantiseringer, er dette innfallsvinkelen din.

Filen som passer på en 128 GB Mac: DeepSeek-V4-Flash-IQ2XXS-w2Q2K-AProjQ8-SExpQ8-OutQ8-chat-v2.gguf på 81 GB.

Filnavnet forteller en historie. Dette er en "Dwarf Star"-kvantisering – en smart oppskrift der de rutete ekspertene (der de 284B parameterne stort sett bor) komprimeres til 2-bits presisjon, mens attention projections, delte eksperter og output-lag holder seg på Q8. Delene som betyr noe for sammenhengende output forblir høypresisjone; de sparse expert-tabellene komprimeres aggressivt.

Byggingen av forken er grei:

git clone --depth 1 https://github.com/antirez/llama.cpp-deepseek-v4-flash llama.cpp
cd llama.cpp
cmake -B build -DGGML_METAL=ON -DCMAKE_BUILD_TYPE=Release
cmake --build build --config Release -j$(sysctl -n hw.logicalcpu)

Bygget oppdager M3 Max-gpuen din korrekt, og så er det bare å kjøre på.

Tallene som faktisk betyr noe

• Genereringsfart: Cirka 21 tokens/sekund
• Prompt-evaluering: Cirka 32–43 tokens/sekund
• Kald lastetid: Cirka 9 minutter (første kjøring, leser 81 GB fra disk)
• Varm lastetid: Cirka 4 sekunder (når filen ligger i OS-page cache)

De 21 tok/s genereringsfarten er genuint brukbar. Det er ikke farten til en cloud-API på premium hardware, men det er raskt nok til interaktiv bruk. Den kalde lastingen er den smertefulle delen – sørg for at du kjører fra en SSD, ikke en spinnende disk, og ikke minst: ikke avslutt og start på nytt hyppig.

Context-vinduet i praksis

DeepSeek V4 Flash reklamerer med 1 million tokens context. I praksis, på denne forken, er det pålitelige taket 256k tokens. Over det begynner inferensen å krasje. Dette er en begrensning i den nåværende implementasjonen, ikke den underliggende modellen – fremtidige oppdateringer kan endre dette. For de fleste bruksområder er 256k fortsatt enormt sjenerøst, men det er greit å vite før du prøver å mate den med hele kodebasen din på én gang.

Hva dette betyr for utviklere

Å kjøre en frontier-klasse modell lokalt endrer arbeidsflyten din. Ingen API-nøkler å administrere. Ingen kostnader per token som hope seg opp. Ingen data som forlater maskinen din. For utviklere som bygger personvernsensitive applikasjoner, jobber i regulerte bransjer, eller rett og slett er lei av rate limits, er dette betydelig.

Oppsettet er ikke for alle – du trenger rett hardware, du må navigere eksperimentell programvare, og du må være komfortabel med kommandolinjeverktøy. Men for de som oppfyller kravene, er utbyttet reelt: en kapabel AI-assistent som kjører på laptopen din, utenfor nettet, når du vil.

Fronten for lokal AI holder seg i bevegelse. DeepSeek V4 Flash representerer et meningsfylt steg fremover i å gjøre kraftige modeller tilgjengelig for individuelle utviklere. Om det er verdt hardware-investeringen avhenger av dine behov – men det er et alternativ som nå faktisk eksisterer.