AWS propone tres comprobaciones en el bucle de entrenamiento para detectar corrupción silenciosa de datos en GPU
Hecho Qué ha ocurrido
AWS Machine Learning Blog describe tres comprobaciones que añadir a un bucle de entrenamiento PyTorch DDP para detectar corrupción silenciosa de datos (SDC) en GPU, localizar el nodo afectado en Amazon SageMaker HyperPod y reemplazarlo mediante recuperación automática. Las pruebas se hicieron con fallos inyectados por software en un clúster de 4 instancias ml.p5.48xlarge (32 GPU H100). El texto cita que Meta atribuyó 6 de 419 interrupciones inesperadas durante 54 días de preentrenamiento de Llama 3 405B a SDC.
Resumen generado mediante IA a partir de AWS Machine Learning Blog (original en inglés). Naturaleza de la información: declaración de parte interesada.
Análisis Por qué importa
Un fallo de cálculo que no genera error puede contaminar el entrenamiento de todas las réplicas durante horas sin que se note, con coste de cómputo perdido. Las defensas habituales de hardware no lo detectan.
- Quién se ve afectado
- Equipos que entrenan modelos propios a gran escala con clústeres de GPU.
- Qué puede cambiar
- Las comprobaciones se incorporan al código de entrenamiento, por lo que los equipos que usen clústeres propios podrían necesitar añadir lógica de verificación y de localización de nodos.
Análisis generado a partir de la información disponible; no procede de la fuente.
Predicción Qué observar a continuación
Si estas comprobaciones se adoptan fuera de AWS y cuánto sobrecoste de cómputo introducen las auditorías periódicas en tareas reales de entrenamiento.
Enviar esta noticia por correo
Enviado. Revisa que llegue a la bandeja de entrada de quien lo reciba.
La dirección no parece válida.
Has enviado varios correos seguidos. Espera un rato.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
No se ha podido enviar. Inténtalo de nuevo en unos minutos.
Fuente original: AWS Machine Learning Blog (fuente primaria). La referencia es siempre el artículo original.
Ver fuente original ↗entrenamiento distribuidoPyTorch DDPGPU H100 AWSMeta AWS corrupción silenciosa de datos entrenamiento distribuido GPU SageMaker HyperPod
Relacionadas
AWS explica cómo tolerar fallos en entrenamiento distribuido en EKS usando NVIDIA Resiliency Extension
AWS publicó una guía técnica sobre cómo integrar NVIDIA Resiliency Extension (NVRx) en entrenamiento FSDP de PyTorch sobre Amazon EKS. La solución combina…
Por qué importaPara equipos que entrenan modelos grandes, los fallos de hardware y el checkpointing síncrono pueden consumir hasta un 40% del tiempo de cómputo, lo…
AWS permite escribir bucles de entrenamiento propios para LLM sin gestionar GPUs
Amazon SageMaker AI presenta las APIs de sesiones de entrenamiento, con las que el usuario escribe su propio bucle de entrenamiento de LLM en Python mientras…
Por qué importaPermite a equipos con necesidades de entrenamiento no estándar, como pérdidas personalizadas o aprendizaje por refuerzo, experimentar sin operar…
AWS lanza SageMaker HyperPod Inference Gateway para enrutamiento de inferencia según uso de GPU
AWS presenta Amazon SageMaker HyperPod Inference Gateway, un addon nativo de Kubernetes para EKS que enruta cada solicitud de inferencia al pod más adecuado…
Por qué importaPara empresas que ejecutan LLMs a gran escala en GPU, un enrutamiento más inteligente puede reducir costes de sobreaprovisionamiento y mejorar la…
AWS describe un marco de evaluación en nueve fases para detectar fallos silenciosos en agentes de IA
AWS Machine Learning Blog presenta un marco de evaluación de nueve fases construido sobre Amazon Bedrock AgentCore para detectar regresiones de calidad en…
Por qué importaLos agentes pueden degradarse sin que lo noten las métricas habituales de latencia o errores, por lo que la calidad de las respuestas necesita…
Tu opinión
Te hemos enviado un correo para confirmar tu dirección. El comentario se procesará cuando pulses el enlace.
Gracias. Tu comentario se publicará cuando lo revise el equipo (los primeros comentarios de cada persona se moderan).
Comentario publicado. Gracias por participar.
No se puede comentar aquí.
Indica un nombre (de 2 a 60 caracteres).
El correo no parece válido.
El comentario debe tener entre 10 y 2.000 caracteres.
Demasiados enlaces en el comentario.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
Has alcanzado el límite diario de comentarios.
Demasiados comentarios seguidos. Espera un rato.
No se ha podido enviar el correo de confirmación. Inténtalo de nuevo en unos minutos.