Ir al contenido
IA para hoy

MoE

Noticias etiquetadas con «MoE»

9 noticias

Filtrar
Modelos y avances

Recursive lanza Flint, un modelo de código para ejecución local creado con su sistema de investigación automatizada

La startup Recursive ha publicado Flint, su primer modelo de lenguaje, un MoE de 40.000 millones de parámetros totales (2.500 millones activos por token)…

Por qué importaSi las cifras se confirman, un modelo de este tamaño que corre en portátiles podría reducir la dependencia de APIs externas para desarrollo de…

Impacto medio Fiabilidad varias fuentes Relevancia 7/10 The Decoder
Modelos y avances

AWS optimiza los kernels de sus modelos MoE en SageMaker AI y reporta hasta 10% más de rendimiento en H200

AWS describe tres optimizaciones de kernels para modelos Mixture-of-Experts fusionados en SageMaker AI: el intercambio de operandos Swap-AB para aprovechar…

Por qué importaEl coste y la latencia de servir modelos MoE dependen en buena medida de estas optimizaciones de bajo nivel, así que pueden trasladarse a precio por…

Impacto bajo Fiabilidad una fuente fiable AWS Machine Learning Blog
Investigación

Ai2 lanza Olmo-core 3, infraestructura abierta para entrenar modelos MoE a escala de billones de parámetros

Ai2 presentó Olmo-core 3, una infraestructura de entrenamiento abierta para modelos de mezcla de expertos (MoE). En pruebas, el sistema escaló de 8 a 128…

Por qué importaReduce las barreras de coste y complejidad para entrenar modelos MoE masivos, democratizando el acceso a infraestructura que antes solo tenían…

Impacto medio Fiabilidad una fuente fiable Relevancia 7/10 Hugging Face
Modelos y avances

Empresas chinas escalan modelos de IA hacia varios billones de parámetros pese a liderar los pequeños

Modelos chinos como Kimi K3 (2,8 billones de parámetros) y Qwen3.8-Max (2,4 billones) han escalado su tamaño total, aunque usan arquitecturas Mixture of…

Por qué importaMuestra que las grandes tecnológicas chinas compiten simultáneamente en eficiencia (modelos pequeños para dispositivos) y en escala masiva (modelos…

Impacto bajo Fiabilidad una fuente fiable Xataka
Herramientas y productos

AWS describe arquitectura con EKS, EFA y DeepEP que mejora un 40% el rendimiento en RL para modelos MoE

AWS publicó una guía técnica que describe una arquitectura combinando Amazon EKS, Elastic Fabric Adapter (EFA) y Amazon S3 para escalar entrenamiento por…

Por qué importaPara equipos que entrenan modelos MoE a gran escala, la comunicación entre nodos es el principal cuello de botella, y esta arquitectura ofrece una…

Impacto bajo Fiabilidad una fuente fiable AWS Machine Learning Blog
Herramientas y productos

NVIDIA NeMo AutoModel acelera el entrenamiento de modelos MoE un 3.4x con API compatible

NVIDIA ha lanzado NeMo AutoModel, una librería abierta que optimiza el entrenamiento de modelos de mezcla de expertos (MoE) sobre Transformers v5. El sistema…

Por qué importaEl entrenamiento eficiente de modelos MoE es un cuello de botella creciente en la industria; esta solución permite a equipos escalar el fine-tuning…

Impacto alto Fiabilidad fuente primaria Relevancia 7/10 Hugging Face
Herramientas y productos

Hugging Face optimiza la carga de modelos de Mezcla de Expertos en Transformers

Hugging Face ha publicado mejoras significativas en la biblioteca Transformers (versión 5) para optimizar la carga y ejecución de modelos Mixture of Experts…

Por qué importaLos modelos MoE ofrecen mejor eficiencia de escala que los modelos densos (más parámetros de capacidad con menos parámetros activos por token), pero…

Impacto medio Fiabilidad fuente primaria Relevancia 7/10 Hugging Face
Herramientas y productos

AWS y vLLM optimizan la inferencia multimodelo con adaptadores LoRA en MoE

AWS ha desarrollado junto con la comunidad vLLM un kernel especializado (fused_moe_lora) para servir múltiples modelos fine-tuneados con LoRA sobre…

Por qué importaReduce costos de infraestructura GPU ociosa para empresas con múltiples modelos especializados, un problema común en organizaciones que usan IA…

Impacto alto Fiabilidad fuente primaria Relevancia 7/10 AWS Machine Learning Blog
Investigación

LinkedIn valida entrenamientos agentic RL en GPT-OSS con soluciones técnicas

LinkedIn publica un análisis técnico detallado sobre cómo entrenó con refuerzo (RL) el modelo de código abierto GPT-OSS para aplicaciones agentic. El equipo…

Por qué importaDemuestra que modelos de código abierto competitivos con o3-mini y o4-mini pueden ser entrenables mediante RL agentic con ajustes técnicos concretos…

Impacto medio Fiabilidad fuente primaria Relevancia 7/10 Hugging Face