O‘z MacBook Pro’ingizda mahalliy AI kod yozuvchi yordamchi qurish: To‘liq qo‘llanma

Katta til modellari (LLM) ni o‘z kompyuteringizda ishga tushirishni xohlaysizmi? Ko‘pchilik shunday. Afzalligi oddiy: tez ishlaydi, ma’lumotlar maxfiy qoladi, API to‘lovlari yo‘q. Ammo amalda qiyinchiliklar ko‘p.

Bugun nima kerakligini, qayerda xato bo‘lishini va uni qanday tuzatishni ko‘rib chiqamiz.

Nega mahalliy ishlatish yaxshi?

Bulutdagi AI yordamchilari qulay, lekin muammolari bor. Kod internet orqali boradi, cheklovlar chiqadi, har token uchun pul to‘laysiz, kechikishlar ko‘p.

Maxfiy loyihalar bilan ishlasangiz, xavfsizlik muhim bo‘lsa yoki obuna to‘lovlaridan charchagan bo‘lsangiz – mahalliy variant zo‘r. MacBook Pro’ingiz AI markaziga aylanadi. Tashqi xizmatlarsiz, ma’lumotlar sizda qoladi, kutilmagan hisoblar yo‘q.

Muammo? Kuchli apparat va to‘g‘ri modellarni bilish shart.

Apparat talablari

Har MacBook bu ishga yaramaydi. Kerakli:

• Apple Silicon (M-seriyali protsessorlar)
• Kamida 32 GB unified memory (48 GB yaxshiroq)
• Sabr-toqat

Apple Silicon’dagi unified memory – asosiy kuch. CPU va GPU bir xotiradan foydalanadi, ma’lumot ko‘chirish yo‘q. LLM uchun bu katta farq.

Qaysi modelni tanlash?

Ko‘pchilik shu yerda qiynaladi. Har model mahalliy ish uchun emas.

48 GB MacBook uchun ideal:

• Aqlli – haqiqiy kod vazifalarini bajarsin
• Apple Silicon uchun optimallashtirilgan (umumiy GGUF emas)
• Uzun suhbatlarni sinovdan o‘tgan (infratuzilma ham muhim)

2024/2025 da Qwen’ning yangi versiyalari yoki 27B-35B o‘lchamdagi shunga o‘xshashlar yaxshi. SWE-bench kabi testlarga qarang – haqiqiy bug tuzatish qobiliyatini ko‘rsatadi.

MoE modellari ham sinab ko‘ring. 35B parametr ko‘rinsa ham, faqat bir qismi ishlaydi – xotira kam sarflaydi, sifat yuqori.

Dasturiy ta’minotdagi tuzoqlar: Nega birinchi urinish ishlamaydi?

Tajribamdan aytyman.

mlx-lm server muammosi

Apple’ning MLX framework’i Apple Silicon’da eng tezi – llama.cpp’dan 20-30% yaxshi. Shuning uchun mlx-lm.server’ni sinaysiz.

Nima bo‘ladi: yuklanadi, bir necha javob beradi, keyin Metal xotira xatosi bilan to‘xtaydi. KV cache (suhbat uzunligi bilan o‘sadigan xotira) cheksiz. GPU to‘lib, tizim jarayonni o‘chiradi.

--max-kv-size kabi flaglar server’da yo‘q, faqat bitta generatsiyada bor.

Xulosa: mlx-lm bitta sinov uchun yaxshi. Server uchun emas.

Ollama’ga o‘tish

Ollama kontekst oyna cheklaydi. KV cache o‘smaydi, xato yo‘q, barqaror.

Tuzoq: standart GGUF modellari Apple Silicon optimizatsiyasiz. Server ishlaydi, lekin natija zaif – fikrlash yomon, kod noto‘g‘ri, tokenlar takrorlanadi. Sabab: umumiy quantizatsiya.

Yana bir muammo: presence_penalty 1.5 kabi standartlar. Kodda kerakli takrorlanishlarni (o‘zgaruvchi nomlari) oldini oladi.

Nima ishlaydi?

Kerak:

1. Ollama – barqaror, yangilanadi
2. Apple Silicon modellari (mxfp8 quantizatsiyali)
3. O‘zgartirilgan Modelfile

Retsept:

# Ollama o‘rnatish
brew install ollama

# Model yuklangan holda server ishga tushirish, tarmoqqa ochiq
OLLAMA_HOST=0.0.0.0 OLLAMA_KEEP_ALIVE=24h ollama serve

To‘g‘ri modelni torting:

ollama pull qwen3.6:35b-a3b-mxfp8

mxfp8 – zo‘r farq, natija foydali bo‘ladi.

Modelfile yarating:

FROM qwen3.6:35b-a3b-mxfp8
PARAMETER num_ctx 16384
PARAMETER presence_penalty 0
PARAMETER temperature 0.7

Yig‘ing va ishga tushiring:

ollama create my-coder -f Modelfile
ollama run my-coder

IDE bilan bog‘lash

Server ishlayotganda, IDE’ga ulang. OpenAI protokoli tufayli http://localhost:11434 ga ishora qiling – VS Code, Vim, Neovim, JetBrains kabi vositalar ishlaydi. Mahalliy AI bulutxonadagidek ko‘rinadi.

Haqiqiy xarajatlar

E’tibor bering:

• Vaqt: Sinov-sabab, noto‘g‘ri modellarni sinash
• Shovqin: Fanlar aylanadi, GPU ishlaydi
• Tanlov cheklovi: Bitta modelga bog‘lanasiz, GPT yoki Claude’ga o‘ta olmaysiz

Foydasi:

• Maxfiylik: Kod chiqmaydi
• Bepul: Oylik 0 dollar
• Tezlik: Tarmoqsiz kechikish yo‘q
• Erkinlik: Prompt o‘zgartirish, parametrlar, cheklovlarsiz

Keyingi qadamlar?

Bu boshlanish. Davom ettiring:

• Turli modellarni sinang (Llama 3, Mistral, ochiq kodli)
• O‘z kodingizga fine-tune qiling
• Til yoki framework uchun maxsus modellarni ishlating
• Build jarayoniga qo‘shing

Mahalliy AI davri keldi. MacBook Pro’ingiz yetarli. Modellar yaxshi. Vositalar tayyor.

Kutmay, quring!