Tecnología
Expert Parallelism
Relacionadas
Hugging Face ×1Nvidia ×1FSDP2 ×1TransformerEngine ×1Transformers v5 ×1
Historias
Noticias
NVIDIA NeMo AutoModel acelera el entrenamiento de modelos MoE un 3.4x con API compatible
NVIDIA ha lanzado NeMo AutoModel, una librería abierta que optimiza el entrenamiento de modelos de mezcla de expertos (MoE) sobre Transformers v5. El sistema…
Por qué importaEl entrenamiento eficiente de modelos MoE es un cuello de botella creciente en la industria; esta solución permite a equipos escalar el fine-tuning…
Impacto alto
Fiabilidad fuente primaria
Hugging Face