Helyi AI a Mac-en: DeepSeek V4 Flash teszt

A nagy teljesítményű mesterséges intelligencia otthoni futtatása sokáig csak vágyálom maradt. Vagy a hardver nem bírta, vagy a modellek nem voltak optimalizálva a fogyasztói gépekre. Ez a szakadék gyorsan zsugorodik.

A DeepSeek V4 Flash 2026 áprilisában jelent meg: 284 milliárd paraméteres MoE modell, állítólag 1 millió tokenes kontextusablakkal. A fő attrakció? Apple Silicon gépen is futtatható — ha van elég RAM-od. Kipróbáltam, és azt kell mondanom: működik, meglepően praktikus, és megváltoztatja a fejlesztők számításait, akik adatvédelmet, offline képességet akarnak, vagy egyszerűen nem akarnak minden API hívásért fizetni.

A hardver, amire szükséged van

Őszintén: mit is jelent ez a gyakorlatban? A modell kvantált változatának betöltéséhez nagyjából 81GB memória kell. Ez azt jelenti, hogy:

• 128GB-os MacBook Pro (M3 Max) — az ideális választás, van még tartalék
• 64GB-os gépek — felejtsd el. Vagy swap-olsz a végtelenségig, vagy OOM hibát kapsz
• 192GB-os Mac Studio — itt már a jobb minőségű kvantálások is elférnek

Az M3 Max 128GB-os egyesített memóriájából nagyjából 115GB áll rendelkezésre GPU munkakészletként. A modell kb. 83GB-ot eszik, tehát ~32GB marad a kontextusra és a számítási pufferekre. Ez működik, de nem luxus.

Miért nem működnek a mainstream eszközök

Itt ver át a legtöbb útmutató. Ha a szokásos llama.cpp vagy Ollama segítségével próbálod letölteni a DeepSeek V4 Flash-t, falba ütközöl. A deepseek4 architektúra — a ritka attention mechanizmusaival, hiper-kapcsolataival és multi-token predikciós fejével — még nem lett beküldve a stabil kiadásokba.

Az Ollama automatikusan frissül, amikor az architektúra támogatás felkerül az upstreamre, de 2026 közepén ez még nem történt meg. Útmutatókat fogsz találni olyan parancsokkal, amik egyszerűen nem léteznek. Az ökoszisztéma utoléri magát, de egyelőre nem ért oda.

Az az út, ami működik

Salvatore Sanfilippo (igen, a Redis atyja) karbantart egy experimentális llama.cpp forkot, ami implementálja a deepseek4 architektúrát. A hozzá tartozó HuggingFace repó optimalizált GGUF kvantálásokkal — ez a belépőpont.

A fájl, ami befér egy 128GB-os Mac-be: DeepSeek-V4-Flash-IQ2XXS-w2Q2K-AProjQ8-SExpQ8-OutQ8-chat-v2.gguf — 81GB.

A fájlnév sokat elárul. Ez egy "Dwarf Star" kvantálás — okos recept, ahol a routingolt szakértők (ahol a 284B paraméter nagy része él) 2-bites precizitásra vannak zúzva, miközben az attention projekciók, megosztott szakértők és output rétegek Q8-on maradnak. A coherent kimenet szempontjából fontos részek magas precizitásúak maradnak; a ritka expert táblák agresszívan tömörítve vannak.

A fork buildelése egyszerű:

git clone --depth 1 https://github.com/antirez/llama.cpp-deepseek-v4-flash llama.cpp
cd llama.cpp
cmake -B build -DGGML_METAL=ON -DCMAKE_BUILD_TYPE=Release
cmake --build build --config Release -j$(sysctl -n hw.logicalcpu)

A build helyesen detektálja az M3 Max GPU-ját, és mehetsz is.

Számok, amik számítanak

• Generálási sebesség: ~21 token/másodperc
• Prompt feldolgozás: ~32-43 token/másodperc
• Hideg betöltési idő: ~9 perc (első futtatás, 81GB olvasása lemezről)
• Meleg betöltési idő: ~4 másodperc (amikor a fájl már az OS page cache-ben van)

A 21 tok/s generálási sebesség tényleg használható. Nem akkora, mint egy cloud API prémium hardveren, de elég gyors az interaktív használathoz. A hideg betöltés a fájdalmas rész — SSD-ről futtasd, ne HDD-ről, és semmiképp ne lépj ki és indítsd újra gyakran.

A kontextusablak valósága

A DeepSeek V4 Flash 1M tokenes kontextust hirdet. A gyakorlatban, ezen a forkon, a megbízható plafon 256k token. Afölött az inference elszáll. Ez a jelenlegi implementáció korlátja, nem a mögöttes modellé — jövőbeli frissítések változtathatnak ezen. A legtöbb felhasználási esetre a 256k még mindig óriási, de jó tudni, mielőtt megpróbálod az egész kódbázisodat beletömni egyszerre.

Mit jelent ez a fejlesztőknek?

Egy frontier-class modell helyi futtatása megváltoztatja a munkafolyamatodat. Nincs API kulcs, amit kezelj. Nincs per-token költség, ami gyűlik. Nem hagyja el az adataid a géped. Privacy-érzékeny alkalmazásokat fejlesztőknek, szabályozott iparágakban dolgozóknak, vagy akiknek elegük van a rate limitekből — ez jelentős.

A setup nem mindenkinek való — megfelelő hardver kell, experimental szoftverben kell navigálni, és otthonosan kell mozogni a parancssorban. De akik teljesítik a követelményeket, azoknak megéri: egy képes AI asszisztens, ami a laptopodon fut, hálózat nélkül, bármikor.

A helyi AI frontvonal folyamatosan mozog. A DeepSeek V4 Flash értelmes lépés afelé, hogy a nagy teljesítményű modellek elérhetők legyenek az egyéni fejlesztők számára. Hogy megéri-e a hardverbefektetés, az a te igényeidtől függ — de egy valódi opció, ami most már létezik.