Ir al contenido
IA para hoy
Modelos y avances Producto 3/5 · Una fuente fiable

Hugging Face integra en Transformers la ejecución de modelos MoE desde SSD con un modelo de 180B en un portátil de 32 GB

Fotografía de archivo que ilustra: Hugging Face integra en Transformers la ejecución de modelos MoE desde SSD con un modelo de 180B en un…
Foto: Polina ⠀ · Licencia Pexels · Pexels

Hecho Qué ha ocurrido

Hugging Face describe un método para transmitir los expertos de modelos Mixture of Experts desde SSD mediante una caché y un pool de ranuras, integrado en Transformers vía una PR. Según el artículo, con Qwen3.8-Flash-Next en un MacBook M5 de 32 GB alcanza unos 6% menos de velocidad de generación que Strata en decodificación corta. Las cifras proceden de pruebas propias del autor, con OLMoE y un A10G como referencia.

Resumen generado mediante IA a partir de Hugging Face (original en inglés). Naturaleza de la información: declaración de parte interesada.

Análisis Por qué importa

Abre la vía para ejecutar modelos grandes en equipos locales sin GPU de alta gama, lo que puede reducir la dependencia de APIs externas para ciertas cargas.

Quién se ve afectado
Equipos técnicos que ejecutan modelos en local o en portátiles y desarrolladores que usan Transformers.
Qué puede cambiar
Si el enfoque madura, modelos MoE grandes podrían usarse en hardware de consumo con más flexibilidad, aunque a velocidades todavía limitadas para uso intensivo.

Análisis generado a partir de la información disponible; no procede de la fuente.

Predicción Qué observar a continuación

Aceptación de la PR en Transformers, estabilidad de la API y velocidades en hardware distinto del probado, especialmente en configuraciones sin Mac.

Compartir WhatsApp LinkedIn X Bluesky Telegram
Enviar esta noticia por correo

Se envía esta noticia con su análisis. La dirección se usa solo para ese envío y no se guarda.

Protección de datos. Responsable: Fernando Lobato, PhD. Finalidad: hacer el envío que pides. Base: nuestro interés legítimo. Lo envía Resend; la comprobación de robots es de Cloudflare. Puedes acceder a tus datos, pedir que los borremos y ejercer tus demás derechos como explica la política de privacidad.

Fuente original: Hugging Face (fuente primaria). La referencia es siempre el artículo original.

Ver fuente original ↗

MoEinferencia localoffloading de expertosTransformers Hugging Face Hugging Face MoE Qwen3.8-Flash-Next Strata Transformers

Relacionadas

Hugging Face optimiza la carga de modelos de Mezcla de Expertos en Transformers

Hugging Face ha publicado mejoras significativas en la biblioteca Transformers (versión 5) para optimizar la carga y ejecución de modelos Mixture of Experts…

Por qué importaLos modelos MoE ofrecen mejor eficiencia de escala que los modelos densos (más parámetros de capacidad con menos parámetros activos por token), pero…

Impacto medio Fiabilidad fuente primaria Relevancia 7/10 Hugging Face
Investigación

Ejecutar el modelo Qwen de 397B localmente en MacBook usando técnicas de Apple

Dan Woods consiguió ejecutar una versión personalizada del modelo Qwen3.5-397B-A17B a 5.5+ tokens/segundo en un MacBook Pro M3 Max de 48GB, usando técnicas de…

Por qué importaDemuestra que modelos de escala de 397B pueden ejecutarse localmente en hardware de consumo sin sacrificar demasiado rendimiento, eliminando…

Impacto medio Fiabilidad una fuente fiable Relevancia 7/10 Simon Willison

Hugging Face permite ejecutar modelos cuantizados GGUF de llama.cpp directamente en Transformers

Hugging Face anunció que la librería Transformers ahora puede cargar y ejecutar checkpoints en formato GGUF, el formato usado por llama.cpp para inferencia…

Por qué importaFacilita ejecutar modelos locales cuantizados dentro del ecosistema estándar de Transformers sin depender de un runtime separado, ampliando opciones…

Impacto bajo Fiabilidad una fuente fiable Hugging Face

AWS optimiza los kernels de sus modelos MoE en SageMaker AI y reporta hasta 10% más de rendimiento en H200

AWS describe tres optimizaciones de kernels para modelos Mixture-of-Experts fusionados en SageMaker AI: el intercambio de operandos Swap-AB para aprovechar…

Por qué importaEl coste y la latencia de servir modelos MoE dependen en buena medida de estas optimizaciones de bajo nivel, así que pueden trasladarse a precio por…

Impacto bajo Fiabilidad una fuente fiable AWS Machine Learning Blog

Tu opinión

0 comentarios

Escribe un comentario

Sin registro. La primera vez te pediremos confirmar el correo y el comentario pasará por moderación; después se publican al momento si cumplen las normas y firmas con el mismo nombre.

Protección de datos. Responsable: Fernando Lobato, PhD. Finalidad: publicar y moderar tu comentario y evitar abusos. Base: tu consentimiento y, contra los abusos, nuestro interés legítimo. Se publica tu nombre, no tu correo. El texto pasa por un filtro con IA de Anthropic, en Estados Unidos, sin tu nombre ni tu correo, y se guarda un resumen de tu IP 90 días. La comprobación de robots es de Cloudflare. Puedes acceder a tus datos, pedir que los borremos y ejercer tus demás derechos como explica la política de privacidad.