Ejecutar el modelo Qwen de 397B localmente en MacBook usando técnicas de Apple
Hecho Qué ha ocurrido
Dan Woods consiguió ejecutar una versión personalizada del modelo Qwen3.5-397B-A17B a 5.5+ tokens/segundo en un MacBook Pro M3 Max de 48GB, usando técnicas de la investigación "LLM in a Flash" de Apple de 2023. El modelo, que ocupa 209GB en disco (120GB cuantizado), se ejecutó aprovechando su arquitectura Mixture-of-Experts (MoE) para transmitir los pesos de expertos desde SSD a RAM bajo demanda. Woods utilizó Claude Code para ejecutar 90 experimentos y generar código optimizado en MLX, Objective-C y Metal, resultando en expertos cuantizados a 2 bits (actualizado a 4 bits en versión posterior) mientras mantiene 5.5GB en RAM.
Resumen generado mediante IA a partir de Simon Willison (original en inglés). Naturaleza de la información: hecho documentado.
Análisis Por qué importa
Demuestra que modelos de escala de 397B pueden ejecutarse localmente en hardware de consumo sin sacrificar demasiado rendimiento, eliminando dependencia de APIs en la nube y preservando privacidad de datos. Para empresas y profesionales, abre la posibilidad de usar modelos potentes sin costes recurrentes de inferencia en línea.
- Quién se ve afectado
- Desarrolladores, investigadores, empresas con restricciones de privacidad o latencia, y cualquier organización interesada en inferencia de IA local sin dependencia de servicios cloud.
- Qué puede cambiar
- La ejecución local de modelos masivos pasa de ser un ejercicio teórico a una realidad práctica en hardware de gama alta, lo que podría reducir dependencia de proveedores cloud para ciertos casos de uso y permitir despliegues privados de IA en dispositivos cliente.
Análisis generado a partir de la información disponible; no procede de la fuente.
Predicción Qué observar a continuación
La adopción de técnicas de cuantización y streaming de pesos en aplicaciones reales; benchmarks de calidad a diferentes niveles de cuantización (2-bit vs 4-bit); disponibilidad de herramientas y librerías que generalicen este enfoque; interés de fabricantes de hardware en optimizar para este patrón.
Recomendación Qué debería hacer una empresa
Las empresas con requisitos de privacidad o latencia críticos deberían evaluar en los próximos 6-12 meses si este enfoque es viable para sus modelos y hardware disponible, monitoreando la madurez de herramientas como flash-moe y resultados de evaluaciones de calidad en dominio real.
Recomendación generada por IA con la evidencia disponible; no es asesoramiento profesional.
Enviar esta noticia por correo
Enviado. Revisa que llegue a la bandeja de entrada de quien lo reciba.
La dirección no parece válida.
Has enviado varios correos seguidos. Espera un rato.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
No se ha podido enviar. Inténtalo de nuevo en unos minutos.
Fuente original: Simon Willison. La referencia es siempre el artículo original.
Ver fuente original ↗LLMMixture-of-Expertscuantizaciónstreaming de pesosMLX AppleAnthropic Apple cuantización inferencia local optimización de hardware Qwen
Forma parte de la historia Streaming de pesos permite ejecutar modelos gigantes en hardware de consumo (2 noticias, estado: cerrada).
Relacionadas
Técnica de streaming expande acceso a modelos gigantes en hardware limitado
Desarrolladores independientes han logrado ejecutar modelos de lenguaje extremadamente grandes mediante una técnica de streaming de pesos desde almacenamiento…
Por qué importaLa técnica democratiza el acceso a modelos de frontera al permitir su ejecución en hardware de consumo sin costosas GPUs, reduciendo…
AWS publica guía para desplegar el modelo abierto Qwen3.8-2.4T-A95B en SageMaker HyperPod
Alibaba lanzó el 12 de agosto de 2026 Qwen3.8-2.4T-A95B, un modelo de pesos abiertos con 2,4 billones de parámetros totales (95.000 millones activados por…
Por qué importaEs la primera vez que un modelo de la clase Qwen-Max se libera en pesos abiertos, lo que da a las empresas una alternativa autoalojada frente a APIs…
Qwen 3.8 27B: modelo de 27B parámetros con capacidades de razonamiento y visión
Alibaba publicó el modelo Qwen 3.8 27B bajo licencia Apache 2, un LLM de 27 mil millones de parámetros con capacidades de visión que puede ejecutarse…
Por qué importaEs un punto de inflexión en la accesibilidad de modelos capaces: un modelo de tamaño viable para hardware de consumo (17 GB) que puede ejecutar…
Wired prueba la Mac Studio M5 Ultra y destaca su capacidad para ejecutar modelos de IA en local
Wired en Español probó la Mac Studio con chip M5 Ultra, que ofrece hasta 256 GB de memoria unificada y 80 núcleos de GPU. El equipo ejecutó modelos locales…
Por qué importaMuestra que el hardware de consumo de alta gama ya permite ejecutar LLMs grandes completamente offline con rendimiento aceptable, una alternativa a…
Tu opinión
Te hemos enviado un correo para confirmar tu dirección. El comentario se procesará cuando pulses el enlace.
Gracias. Tu comentario se publicará cuando lo revise el equipo (los primeros comentarios de cada persona se moderan).
Comentario publicado. Gracias por participar.
No se puede comentar aquí.
Indica un nombre (de 2 a 60 caracteres).
El correo no parece válido.
El comentario debe tener entre 10 y 2.000 caracteres.
Demasiados enlaces en el comentario.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
Has alcanzado el límite diario de comentarios.
Demasiados comentarios seguidos. Espera un rato.
No se ha podido enviar el correo de confirmación. Inténtalo de nuevo en unos minutos.