Hugging Face integra en Transformers la ejecución de modelos MoE desde SSD con un modelo de 180B en un portátil de 32 GB

Hecho Qué ha ocurrido
Hugging Face describe un método para transmitir los expertos de modelos Mixture of Experts desde SSD mediante una caché y un pool de ranuras, integrado en Transformers vía una PR. Según el artículo, con Qwen3.8-Flash-Next en un MacBook M5 de 32 GB alcanza unos 6% menos de velocidad de generación que Strata en decodificación corta. Las cifras proceden de pruebas propias del autor, con OLMoE y un A10G como referencia.
Resumen generado mediante IA a partir de Hugging Face (original en inglés). Naturaleza de la información: declaración de parte interesada.
Análisis Por qué importa
Abre la vía para ejecutar modelos grandes en equipos locales sin GPU de alta gama, lo que puede reducir la dependencia de APIs externas para ciertas cargas.
- Quién se ve afectado
- Equipos técnicos que ejecutan modelos en local o en portátiles y desarrolladores que usan Transformers.
- Qué puede cambiar
- Si el enfoque madura, modelos MoE grandes podrían usarse en hardware de consumo con más flexibilidad, aunque a velocidades todavía limitadas para uso intensivo.
Análisis generado a partir de la información disponible; no procede de la fuente.
Predicción Qué observar a continuación
Aceptación de la PR en Transformers, estabilidad de la API y velocidades en hardware distinto del probado, especialmente en configuraciones sin Mac.
Enviar esta noticia por correo
Enviado. Revisa que llegue a la bandeja de entrada de quien lo reciba.
La dirección no parece válida.
Has enviado varios correos seguidos. Espera un rato.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
No se ha podido enviar. Inténtalo de nuevo en unos minutos.
Fuente original: Hugging Face (fuente primaria). La referencia es siempre el artículo original.
Ver fuente original ↗MoEinferencia localoffloading de expertosTransformers Hugging Face Hugging Face MoE Qwen3.8-Flash-Next Strata Transformers
Relacionadas
Hugging Face optimiza la carga de modelos de Mezcla de Expertos en Transformers
Hugging Face ha publicado mejoras significativas en la biblioteca Transformers (versión 5) para optimizar la carga y ejecución de modelos Mixture of Experts…
Por qué importaLos modelos MoE ofrecen mejor eficiencia de escala que los modelos densos (más parámetros de capacidad con menos parámetros activos por token), pero…
Ejecutar el modelo Qwen de 397B localmente en MacBook usando técnicas de Apple
Dan Woods consiguió ejecutar una versión personalizada del modelo Qwen3.5-397B-A17B a 5.5+ tokens/segundo en un MacBook Pro M3 Max de 48GB, usando técnicas de…
Por qué importaDemuestra que modelos de escala de 397B pueden ejecutarse localmente en hardware de consumo sin sacrificar demasiado rendimiento, eliminando…
Hugging Face permite ejecutar modelos cuantizados GGUF de llama.cpp directamente en Transformers
Hugging Face anunció que la librería Transformers ahora puede cargar y ejecutar checkpoints en formato GGUF, el formato usado por llama.cpp para inferencia…
Por qué importaFacilita ejecutar modelos locales cuantizados dentro del ecosistema estándar de Transformers sin depender de un runtime separado, ampliando opciones…
AWS optimiza los kernels de sus modelos MoE en SageMaker AI y reporta hasta 10% más de rendimiento en H200
AWS describe tres optimizaciones de kernels para modelos Mixture-of-Experts fusionados en SageMaker AI: el intercambio de operandos Swap-AB para aprovechar…
Por qué importaEl coste y la latencia de servir modelos MoE dependen en buena medida de estas optimizaciones de bajo nivel, así que pueden trasladarse a precio por…
Tu opinión
Te hemos enviado un correo para confirmar tu dirección. El comentario se procesará cuando pulses el enlace.
Gracias. Tu comentario se publicará cuando lo revise el equipo (los primeros comentarios de cada persona se moderan).
Comentario publicado. Gracias por participar.
No se puede comentar aquí.
Indica un nombre (de 2 a 60 caracteres).
El correo no parece válido.
El comentario debe tener entre 10 y 2.000 caracteres.
Demasiados enlaces en el comentario.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
Has alcanzado el límite diario de comentarios.
Demasiados comentarios seguidos. Espera un rato.
No se ha podido enviar el correo de confirmación. Inténtalo de nuevo en unos minutos.



