M4 Max'li MacBook Pro'da Local AI: Gerçeklerle Yüzleşme Vakti

M4 Max işlemcili ve 128GB unified memory'li bir MacBook Pro aldıysan, muhtemelen içinden "artık localde güçlü bir AI coding assistant çalıştırabilirim" diye geçirdiğindir. 128GB memory demek, büyük dil modelleri için ciddi bir güç demek değil mi?

Ama bir geliştiricinin deneyimlediği gibi, gerçek bundan epey farklı. Custom Metal inference engine'ler, agresif optimizasyonlar ve birden fazla model mimarisiyle geçen uzun bir yolculuğun sonunda karşılaşılan şey şu oldu: kullanışlı boyuttaki modellerde saniyede 80-150 token civarında bir tavan var.

Söz Verilen Performans mı, Gerçek Performans mı?

Apple Silicon, unified memory mimarisiyle gerçekten yenilikçi bir adım attı. Artık CPU ve GPU memory arasında veri taşımak yok—her şey birlikte çalışıyor, bu da teorik olarak AI iş yükleri için daha hızlı işlem anlamına geliyor. Birçok görev için bu doğru.

Ama coding assistance için büyük dil modellerini serving etmeye gelince, sayılar farklı bir hikaye anlatıyor. Metal için özel olarak optimize edilmiş inference engine'lerle bile, performans öngörülebilir seviyelerde sabitleniyor:

• Llama.cpp Q4_0: Yaklaşık 70.9 token/saniye
• MLX 4-bit: Yaklaşık 80.6 token/saniye
• Custom optimized Qwen3-Coder-Next: Yaklaşık 120 token/saniye
• Custom optimized Qwen3.6-35B 4-bit: Yaklaşık 85 token/saniye

Pattern açık: "kullanışlı" parametre sayılarına ulaştığında (coding görevleri için genellikle 7B+), optimizasyon ne olursa olsun bir duvara tosluyorsun.

Neden Bu Oluyor?

Benchmark'ları yapan geliştirici, darboğazın raw compute değil, memory bandwidth olduğunu düşünüyor. Ve bu, transformer modellerinin nasıl çalıştığını düşününce mantıklı.

Her token üretimi, model ağırlıklarının önemli bir kısmının memory'den okunmasını gerektiriyor. M4 Max'in etkileyici bandwidth'i ne olursa olsun, sonuç olarak veriyi ne kadar hızlı taşıyabildiğinle sınırlısın. Matrix çarpımları hızlı olabilir ama ancak beslenen veri kadar hızlılar.

Bu yüzden küçük modeller dramatik olarak daha iyi performans gösteriyor—çünkü taşınacak daha az veri var. 0.1B parametreli bir model 1.000 token/saniyeye çıkabilir ama 1.5B'ye geçince 140 token/saniyeye düşüyorsun. Scaling linear değil; acımasız.

Seçeneklerin Ne?

200+ token/saniye hızında, reasoning ve tool-calling yeteneklerini koruyan coding assistance istiyorsan, seçenekler epey daralıyor:

Cloud Çözümler

Anthropic (Claude), OpenAI ve DeepSeek gibi sağlayıcılardan hosted modeller ciddi compute gücü sunuyor ama ciddi kullanım için aylık 20$ ile 200$+ arasında abonelik maliyeti var. Güvenilir ve hızlılar ama dış servislere ve availability'ye bağımlısın.

Özelleşmiş Hardware

Cerebras gerçekten etkileyici inference hızları sunuyor (GPT-oss-120b modeli 1000+ token/saniye çalışıyor) ama fiyatlandırma onu çoğu bireysel geliştirici ve birçok ekip için erişilemez kılıyor.

Adjust Edilmiş Beklentilerle Local Modeller

Local inference gerekiyorsa, biraz daha düşük hızları kabul edip edemeyeceğini düşün. Qwen3.5-32B veya benzeri mimarilerde 4-8 bit quantization ile 80-120 token/saniye civarında makul bir coding assistance alabilirsin—workflow'un biraz daha fazla latency'yi tolere ediyorsa üretken çalışmak için yeterli.

Asıl Soru: Local mi, Cloud mu?

Bu tartışma sonuçta spesifik ihtiyaçlarına bağlı:

• Local seç eğer strict data privacy gereksinimlerin varsa, intermittent internet erişimin var veya ongoing maliyetler olmadan experiment yapmak istiyorsan
• Cloud seç eğer tutarlı hız capability'den daha önemliyse, en iyi model yeteneklerine ihtiyacın var veya compute bütçen abonelikleri destekleyebiliyorsa

Birçok geliştirici için hybrid yaklaşım en mantıklısı—experiment ve hızlı görevler için local modeller, production iş yükleri için performans ve capability'nin kritik olduğu yerde cloud.

Sonuç

Apple Silicon birçok AI görevinde gerçekten etkileyici ama capable coding modelleriyle hızlı local inference çalıştırmak hâlâ zor. Hardware bu spesifik iş yükü düşünülerek tasarlanmadı ve ne kadar Metal optimizasyonu yaparsan yap, temel architectural kısıtlamaları aşamazsın.

AI-assisted development workflow kuruyorsan, en iyi stratejin infrastructure'ını gerçek ihtiyaçlarına göre ayarlamak—ve "local first" yaklaşımının seni motive mi yoksa sınırlıyor mu olduğunu dürüstçe değerlendirmek.

Peki senin local AI inference deneyimin nasıl? Bu performans bariyerlerini aşan konfigürasyonlar buldun mu?