Amazon presenta HOPE, un método de poda de expertos en MoE que considera las interacciones entre ellos
Hecho Qué ha ocurrido
Amazon publica en Hugging Face HOPE (Higher-Order Pruning of Experts), un método de poda de expertos en modelos Mixture-of-Experts que tiene en cuenta las interacciones por pares entre expertos. Según la entrada, al eliminar el 50% de los expertos logra la mejor clasificación media entre los métodos comparados, con ganancias de hasta un 6,1% en tareas de programación agéntica frente al siguiente mejor método de poda.
Resumen generado mediante IA a partir de Hugging Face (original en inglés). Naturaleza de la información: declaración de parte interesada.
Análisis Por qué importa
Los modelos MoE de gran tamaño ocupan mucha memoria porque todos sus expertos deben cargarse aunque solo se usen unos pocos por token. Una poda que conserve mejor la calidad reduce el coste de desplegarlos.
- Quién se ve afectado
- Equipos que despliegan o ajustan modelos MoE abiertos y proveedores de inferencia con restricciones de memoria.
- Qué puede cambiar
- Si los resultados se confirman en otros modelos y tareas, la poda de expertos podría recortar más memoria sin perder tanta calidad como con los métodos de primer orden.
Análisis generado a partir de la información disponible; no procede de la fuente.
Predicción Qué observar a continuación
Conviene vigilar la reproducción independiente de los resultados, la disponibilidad del código y si el método se integra en las herramientas habituales de compresión de modelos.
Enviar esta noticia por correo
Enviado. Revisa que llegue a la bandeja de entrada de quien lo reciba.
La dirección no parece válida.
Has enviado varios correos seguidos. Espera un rato.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
No se ha podido enviar. Inténtalo de nuevo en unos minutos.
Fuente original: Hugging Face (fuente primaria). La referencia es siempre el artículo original.
Ver fuente original ↗MoELLMpoda de modeloscuantización AmazonHugging Face GLM-4.5-Air HOPE Mixture of Experts Qwen3.5-122B REAP
Relacionadas
Hugging Face optimiza la carga de modelos de Mezcla de Expertos en Transformers
Hugging Face ha publicado mejoras significativas en la biblioteca Transformers (versión 5) para optimizar la carga y ejecución de modelos Mixture of Experts…
Por qué importaLos modelos MoE ofrecen mejor eficiencia de escala que los modelos densos (más parámetros de capacidad con menos parámetros activos por token), pero…
Un estudio con aprendizaje profundo usa el análisis de la marcha para predecir fenotipos de salud multisistémica
Un artículo publicado en Nature Medicine describe el uso de aprendizaje profundo sobre el análisis de la marcha para predecir fenotipos de salud…
Por qué importaSi los resultados se confirman, la marcha podría convertirse en un biomarcador barato y no invasivo para detectar riesgos de salud en consultas y…
Estudio en células individuales aplica aprendizaje automático al Alzheimer y sus programas específicos por tipo celular
Un artículo publicado en Nature Communications describe el uso de aprendizaje automático sobre datos de célula única para identificar programas de la…
Por qué importaAplicar IA a datos de célula única puede acelerar la identificación de dianas terapéuticas por tipo celular en neurología, un área de alto coste para…
La IA ha transformado las matemáticas: un recorrido por los avances recientes
Nature publica un artículo que repasa cómo la inteligencia artificial ha cambiado la investigación matemática. Solo se dispone del título y del extracto, por…
Por qué importaLos avances de la IA en matemáticas pueden trasladarse a la verificación, la optimización y el diseño de algoritmos que usan las empresas. Conviene…
Tu opinión
Te hemos enviado un correo para confirmar tu dirección. El comentario se procesará cuando pulses el enlace.
Gracias. Tu comentario se publicará cuando lo revise el equipo (los primeros comentarios de cada persona se moderan).
Comentario publicado. Gracias por participar.
No se puede comentar aquí.
Indica un nombre (de 2 a 60 caracteres).
El correo no parece válido.
El comentario debe tener entre 10 y 2.000 caracteres.
Demasiados enlaces en el comentario.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
Has alcanzado el límite diario de comentarios.
Demasiados comentarios seguidos. Espera un rato.
No se ha podido enviar el correo de confirmación. Inténtalo de nuevo en unos minutos.