AWS añade recuperación de cargas y chequeos de infraestructura a SageMaker HyperPod

Hecho Qué ha ocurrido
AWS presenta en SageMaker HyperPod tres capacidades nuevas: una prueba profunda de salud multinodo que entrena un modelo pequeño en cada instancia y entre instancias, un agente que vigila el nivel Kubernetes en clústeres EKS, y la detección de trabajos colgados en clústeres Slurm. Según el texto, la prueba marca como fallidas las instancias cuyo entrenamiento genera pérdida NaN o infinita, o no termina a tiempo. El artículo cita un caso de Meta con corrupción silenciosa de datos como una de las causas de interrupciones.
Resumen generado mediante IA a partir de AWS Machine Learning Blog (original en inglés). Naturaleza de la información: declaración de parte interesada.
Análisis Por qué importa
Los fallos que no aparecen en las pruebas de hardware pueden quemar horas de cómputo caro antes de detectarse. Para equipos que entrenan modelos propios, la productividad del clúster depende cada vez más de estos controles.
- Quién se ve afectado
- Equipos de ML e infraestructura que entrenan modelos grandes en clústeres propios o gestionados en AWS.
- Qué puede cambiar
- Los clústeres podrían detectar antes los nodos defectuosos y los trabajos colgados, reduciendo el cómputo perdido y el tiempo de reinicio.
Análisis generado a partir de la información disponible; no procede de la fuente.
Predicción Qué observar a continuación
Conviene vigilar el precio de estas funciones, qué instancias están soportadas y si las cifras de ahorro del artículo se confirman en cargas reales de clientes.
Enviar esta noticia por correo
Enviado. Revisa que llegue a la bandeja de entrada de quien lo reciba.
La dirección no parece válida.
Has enviado varios correos seguidos. Espera un rato.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
No se ha podido enviar. Inténtalo de nuevo en unos minutos.
Fuente original: AWS Machine Learning Blog (fuente primaria). La referencia es siempre el artículo original.
Ver fuente original ↗entrenamiento distribuidoGPUKubernetesSlurm AWSMeta AWS entrenamiento goodput GPU SageMaker HyperPod
Relacionadas
AWS SageMaker HyperPod añade captura de datos multinivel y despliegue directo de modelos Hugging Face
AWS ha publicado cinco nuevas capacidades para SageMaker HyperPod Inference: captura de datos en tres niveles (endpoint, balanceador de carga, pod de modelo)…
Por qué importaPara equipos que despliegan grandes modelos de IA en producción, estas mejoras reducen fricción operativa (eliminar pre-staging de pesos, acelerar…
Hexagon acelera entrenamiento de modelos con SageMaker HyperPod de AWS
Hexagon, empresa líder en tecnologías de medición, colaboró con AWS para escalar la producción de modelos de IA especializados en segmentación de nubes de…
Por qué importaDemuestra cómo infraestructura escalable y resiliente de entrenamiento acelera la innovación en modelos especializados de visión 3D, críticos para…
AWS SageMaker HyperPod: optimización de inferencia con auto-escalado dinámico
AWS ha publicado una guía de buenas prácticas para desplegar modelos de inferencia en Amazon SageMaker HyperPod, destacando capacidades de escalado dinámico…
Por qué importaPara equipos que despliegan modelos generativos a escala, la automatización de infraestructura y el escalado a cero pueden traducirse en ahorros…
AWS valida entrenamiento de IA multi-región con SageMaker HyperPod y Qumulo
AWS describe una arquitectura que combina Amazon SageMaker HyperPod con Cloud Native Qumulo y su Cloud Data Fabric para entrenar modelos de IA con cómputo en…
Por qué importaElimina la disyuntiva entre replicar petabytes de datos entre regiones o aceptar cuellos de botella de latencia, permitiendo a las empresas…
Tu opinión
Te hemos enviado un correo para confirmar tu dirección. El comentario se procesará cuando pulses el enlace.
Gracias. Tu comentario se publicará cuando lo revise el equipo (los primeros comentarios de cada persona se moderan).
Comentario publicado. Gracias por participar.
No se puede comentar aquí.
Indica un nombre (de 2 a 60 caracteres).
El correo no parece válido.
El comentario debe tener entre 10 y 2.000 caracteres.
Demasiados enlaces en el comentario.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
Has alcanzado el límite diario de comentarios.
Demasiados comentarios seguidos. Espera un rato.
No se ha podido enviar el correo de confirmación. Inténtalo de nuevo en unos minutos.



