Applen huippukone ei riikäänkään: M4 Max ja paikallisen tekoälyn todellisuus

Olet ostanut M4 Max -MacBook Pron 128 gigatavun muistilla. Ehkä kuvittelit pyörittäväsi paikallista tekoälyavustajaa ilman ongelmia. 128 gigatavua yhdistettyä muistia kuulostaa vakuuttavalta, eikö?

Yhden kehittäjän kokemus osoittaa toisin.

Lupaukset ja todellisuus

Applen Silicon-siruissa yhdistetty muistiarkkitehtuuri on aito innovaatio. Ei enää datan siirtelyä prosessorin ja näytönohjaimen välillä – kaikki toimii samassa tilassa. Tämä pätee monissa tehtävissä.

Mutta kun kyse on suurten kielimallien pyörittämisestä koodausten avuksi, numeroista paljastuu toinen totuus. Vaikka Metal-kiihdytykselle optimoituja moottoreita rakentaisi, suorituskyky tyssää tiettyyn pisteeseen:

• Llama.cpp Q4_0: noin 71 tokenea sekunnissa
• MLX 4-bittinen: noin 81 tokenea sekunnissa
• Optimoitu Qwen3-Coder-Next: noin 120 tokenea sekunnissa
• Optimoitu Qwen3.6-35B 4-bittisenä: noin 85 tokenea sekunnissa

Kaava on selvä: kun mallit kasvavat käyttökelpoisiksi (tyypillisesti 7 miljardia parametria tai enemmän), tulee seinä vastaan.

Mistä tämä johtuu?

Muistikaistanleveys on pullonkaula – ei laskentateho.

Transformer-mallit toimivat niin, että jokainen token vaatii suuren osan mallin painotietojen lukemista muistista. M4 Max:n muistikaista on vaikuttava, mutta lopulta datan siirtämisen nopeus asettaa ylärajan. Matriisikertolaskut voivat olla nopeita, mutta eivät nopeampia kuin niihin syötettävä data.

Tämä selittää, miksi pienet mallit toimivat huomattavasti paremmin. 0,1 miljardin parametrin malli voi yltää 1000 tokeneihin sekunnissa, mutta 1,5 miljardiin siirryttäessä nopeus putoaa noin 140 tokeniin sekunnissa. Skaalaus ei ole lineaarista – se on armottoman exponentialista.

Mitä vaihtoehtoja on?

Jos tarvitset yli 200 tokenia sekunnissa ja samalla järkevää päättelykykyä, vaihtoehdot harvenevat.

Pilviratkaisut

Anthropicin, OpenAI:n ja DeepSeekin isännöimät mallit tarjoavat valtavaa laskentatehoa. Hintahaarukka on kuitenkin 20–200 euroa kuussa intensiivisessä käytössä. Luotettavuus ja nopeus ovat kunnossa, mutta olet riippuvainen ulkoisista palveluista.

Erikoislaite

Cerebras yltää aidosti hämmästyttäviin nopeuksiin – heidän GPT-oss-120b-mallinsa pyörii yli 1000 tokenilla sekunnissa. Hinta kuitenkin sulkee useimmat kehittäjät ja monet tiimit ulos.

Paikalliset mallit, maltillisemmat odotukset

Jos haluat pitää kaiken omalla koneella, mieti, miltä hieman hitaampi vaste tuntuu. Qwen3.5-32B ja vastaavat arkkitehtuurit neljän tai kahdeksan bitin kvantisointina tarjoavat kelvollista koodaustukea 80–120 tokenilla sekunnissa. Tämä riittää tuottavaan työhön, jos workflow joustaa.

Paikallinen vai pilvi?

Valinta riippuu tarpeistasi.

Valitse paikallinen, jos tietosuoja on kriittistä, nettiyhteys on epävarma tai haluat kokeilla ilman jatkuvia kustannuksia.

Valitse pilvi, jos nopeus on tärkeämpää kuin omistajuus, tarvitset parhaita mahdollisia malleja tai budjetti kestää kuukausimaksut.

Monille kehittäjille hybridimalli on järkevin: paikalliset mallit kokeiluun ja nopeisiin tehtäviin, pilvi tuotantotyölle.

Johtopäätös

Apple Silicon on vakuuttava monissa tekoälytehtävissä, mutta nopea paikallinen päättely kyvykkäillä koodausmalleilla on edelleen haasteellista. Laitteistoa ei ole suunniteltu tätä käyttötapausta varten, eikä Metal-optimoiminen poista perustavanlaatuisia arkkitehtuurirajoituksia.

Rakenna työkulku, joka vastaa todellisia tarpeitasi – ja ole rehellinen itsellesi siitä, palveleeko "paikallinen ensin" -lähestymistapa sinua vai hidastaako se sinua.

Millaisia kokemuksia sinulla on paikallisesta tekoälystä? Oletko löytänyt asetuksia, jotka murtautuvat näiden suorituskykyrajojen läpi?