MacBook Pro M4 Max con 128GB: ¿Realmente puedes ejecutar un asistente de código IA en local?

Si hace poco te hiciste con un MacBook Pro con chip M4 Max y 128GB de memoria unificada, probablemente pensaste que tendrías potencia de sobra para montar tu propio asistente de código IA sin complicaciones. Después de todo, 128GB suena a músculo serio para ejecutar modelos de lenguaje, ¿no?

Pues bien, como descubrió un desarrollador de primera mano, la realidad es bastante más compleja. Su viaje a través de motores de inferencia Metal personalizados, pasadas de optimización agresivas y múltiples arquitecturas terminó revelando algo frustrante: hay un techo alrededor de 80-150 tokens por segundo cuando ejecutas modelos con un tamaño remotely útil.

La Promesa del Hardware vs. La Realidad

Apple Silicon trajo innovación genuina con su arquitectura de memoria unificada. Se acabaron los movimientos de datos entre memoria CPU y GPU: todo vive junto, lo que teóricamente permite procesamiento más rápido en cargas de trabajo IA. Y para muchas tareas, esto es cierto.

Pero cuando hablamos de servir modelos de lenguaje grandes para asistencia en código, los números cuentan otra historia. Incluso con motores de inferencia agresivamente optimizados específicos para Metal, el rendimiento tiende a estancarse en niveles predecibles:

• Llama.cpp Q4_0: Alrededor de 70.9 tokens/segundo
• MLX 4-bit: Aproximadamente 80.6 tokens/segundo
• Qwen3-Coder-Next optimizado personalizado: Unas 120 tokens/segundo
• Qwen3.6-35B a 4-bit optimizado personalizado: Alrededor de 85 tokens/segundo

El patrón se hace evidente: una vez que operas con recuentos de parámetros "útiles" (generalmente 7B+ para tareas de código), te topas con un muro sin importar el esfuerzo de optimización.

¿Por Qué Ocurre Esto?

El desarrollador que realizó estos benchmarks sospecha que el cuello de botella está en el ancho de banda de memoria, no en la capacidad de cómputo bruta. Y esto tiene sentido si piensas en cómo funcionan los modelos transformer.

Cada generación de token requiere leer una porción sustancial de los pesos del modelo desde memoria. Incluso con el impresionante ancho de banda del M4 Max, estás limitado por la velocidad a la que puedes mover datos. Las multiplicaciones de matrices pueden ser rápidas, pero solo tan rápidas como los datos que las alimentan.

Esto explica por qué los modelos más pequeños rinden dramáticamente mejor: hay menos datos que mover. Un modelo de 0.1B parámetros podría alcanzar 1,000 tokens/segundo, pero salta a 1.5B y caes a unas 140 tokens/segundo. El escalado no es lineal; es brutal.

¿Cuáles Son Tus Opciones?

Si buscas asistencia en código a 200+ tokens/segundo mientras mantienes capacidades de razonamiento y tool-calling, el panorama se estrecha considerablemente:

Soluciones en la Nube

Modelos alojados de proveedores como Anthropic (Claude), OpenAI y DeepSeek ofrecen potencia de cómputo sustancial, pero vienen con costos de suscripción que van desde $20 hasta $200+ mensuales para uso serio. Son confiables y rápidos, pero dependes de servicios externos y su disponibilidad.

Hardware Especializado

Cerebras ofrece velocidades de inferencia genuinamente impresionantes (su modelo GPT-oss-120b corre a 1000+ tokens/segundo), pero el precio lo pone fuera del alcance de la mayoría de desarrolladores individuales y muchos equipos.

Modelos Locales con Expectativas Ajustadas

Si necesitas inferencia local, considera si puedes aceptar velocidades ligeramente más lentas. Modelos como Qwen3.5-32B o arquitecturas similares en cuantización de 4-8 bits pueden proporcionar asistencia de código decente a 80-120 tokens/segundo—suficiente para trabajo productivo si tu flujo tolera un poco más de latencia.

La Pregunta Real: Local vs. Nube

Este debate al final se reduce a tus necesidades específicas:

• Elige local si tienes requisitos estrictos de privacidad de datos, acceso a internet intermitente, o quieres experimentar sin costos continuos
• Elige nube si la velocidad consistente importa más que la propiedad, necesitas las mejores capacidades de modelo absolutas, o tu presupuesto de cómputo puede soportar suscripciones

Para muchos desarrolladores, un enfoque híbrido tiene más sentido—modelos locales para experimentación y tareas rápidas, nube para cargas de trabajo de producción donde velocidad y capacidad son críticas.

La Conclusión

Apple Silicon es genuinamente impresionante para muchas tareas de IA, pero ejecutar inferencia local rápida con modelos de código capaces sigue siendo complicado. El hardware simplemente no fue diseñado pensando en esta carga de trabajo específica, y ninguna cantidad de optimización Metal puede superar las limitaciones arquitectónicas fundamentales.

Si estás construyendo un flujo de trabajo de desarrollo asistido por IA, tu mejor apuesta es hacer coincidir tu infraestructura con tus necesidades reales—y ser honesto sobre si el enfoque "local primero" te sirve o te frena.

¿Cuál es tu experiencia con inferencia IA local? ¿Has encontrado configuraciones que rompan estas barreras de rendimiento?