M4 Max и локалният AI: Защо 128GB памет не са достатъчни

Взехте си MacBook Pro с M4 Max и 128GB обединена памет и вече си представяте как въртите локален AI асистент за писане на код без проблеми? Разбираемо. 128GB unified memory звучи сериозно.

Обаче се оказа, че нещата не са толкова прости.

Какво обещаваха и какво получихме

Apple Silicon наистина донесе иновация с архитектурата си. Няма повече прехвърляне на данни между CPU и GPU памет — всичко е заедно. За много задачи това работи страхотно.

Но когато стане въпрос за големи езикови модели, числата говорят друго. Дори с агресивно оптимизирани inference engine-и, специално направени за Metal, производителността си остава на познати нива:

• Llama.cpp Q4_0: около 71 токена/сек
• MLX 4-bit: малко над 80 токена/сек
• Custom оптимизиран Qwen3-Coder-Next: стига до 120 токена/сек
• Custom оптимизиран Qwen3.6-35B на 4-bit: около 85 токена/сек

Виждате ли модела? Щом качите до "полезни" размери на модела — обикновено 7B+ параметри за писане на код — удряте таван.

Защо се получава така?

Проблемът изглежда е пропускателната способност на паметта, не чистата изчислителна мощ. И това логично следва от начина, по който работят transformer-ите.

Всеки генериран токен изисква прочитане на голяма част от теглата на модела от паметта. Колкото и впечатляваща да е bandwidth-а на M4 Max, в крайна сметка сте ограничени от това колко бързо можете да преместите данните. Матричните умножения може да са бързи, но са толкова бързи, колкото данните, които ги захранват.

Затова по-малките модели се справят значително по-добре — просто има по-малко данни за преместване. Модел с 0.1B параметри може да удари 1000 токена/сек, но преминете към 1.5B и падате до около 140. Скалирането не е линейно — то е жестоко.

Какви са опциите ви?

Ако ви трябва писане на код със 200+ токена/сек и добри възможности за reasoning и tool-calling, нещата се стесняват:

Cloud решения Хоствани модели от Anthropic, OpenAI, DeepSeek предлагат сериозна изчислителна мощ, но идват с месечни такси между $20 и $200+. Надеждни са и са бързи, но разчитате на външни услуги.

Специализиран хардуер Cerebras предлага наистина впечатляващи скорости (техният GPT-oss-120b върви на над 1000 токена/сек), но цените ги правят недостъпни за повечето хора.

Локални модели с коригирани очаквания Ако настоявате на локална инференция, помислете дали можете да приемете малко по-бавни скорости. Модели като Qwen3.5-32B или подобни архитектури на 4-8 битова квантизация дават прилично писане на код на 80-120 токена/сек — достатъчно за продуктивна работа, ако свикнете с малко по-голямото забавяне.

Локално или cloud?

Това зависи от вашите конкретни нужди:

• Локално — ако имате строги изисквания за поверителност на данните, понякога нямате интернет, или искате да експериментирате без текущи разходи
• Cloud — ако постоянната скорост е по-важна от притежанието, ви трябват най-добрите възможности на моделите, или бюджетът ви поддържа абонаменти

За много разработчици хибридният подход има най-много смисъл: локални модели за експерименти и бързи задачи, cloud за production натоварвания, където скоростта и капацитетът са критични.

Изводът

Apple Silicon е наистина впечатляващ за много AI задачи, но бърза локална инференция със способни модели за писане на код си остава предизвикателство. Хардуерът просто не е проектиран с това specific натоварване предвид. И нито колкото и да оптимизирате Metal, не можете да заобиколите фундаменталните архитектурни ограничения.

Ако градите AI-assisted development workflow, най-добрият ви залог е да съобразите инфраструктурата с реалните си нужди — и да сте честни дали подходът "local first" ви служи или ви спира.

А вие какъв опит имате с локална AI инференция? Намерили ли сте конфигурации, които пробиват тези бариери?