Optimización de kernels para modelos MoE en SageMaker AI

Línea temporal

1. hace 4 h
   AWS Machine Learning BlogFiabilidad una fuente fiable

   AWS optimiza los kernels de sus modelos MoE en SageMaker AI y reporta hasta 10% más de rendimiento en H200

   AWS describe tres optimizaciones de kernels para modelos Mixture-of-Experts fusionados en SageMaker AI: el intercambio de operandos Swap-AB para aprovechar WGMMA, el enrutado al backend Triton para cuantización FP8 y la…