Ir al contenido
IA para hoy

EFA

Noticias etiquetadas con «EFA»

3 noticias

Filtrar

AWS documenta cómo entrenar un modelo distribuido con Ray Train y EFA en EKS sin construir imágenes propias

AWS publica un tutorial reproducible que usa la imagen Ray Train DLC, preconstruida y publicada en ECR Public, para ajustar Qwen2.5-1.5B con PyTorch FSDP en…

Por qué importaReduce el trabajo de mantener imágenes de entrenamiento alineadas entre CUDA, PyTorch, NCCL y EFA, un problema habitual al escalar a varios nodos…

Impacto bajo Fiabilidad una fuente fiable AWS Machine Learning Blog
Modelos y avances

AWS describe una transferencia KV por push en vLLM que reduce la latencia de inferencia de LLM

AWS publicó un artículo técnico sobre un conector NIXL en modo push para vLLM, que traslada la coordinación de la transferencia del caché KV fuera de la ruta…

Por qué importaPara quien despliega inferencia de LLM a escala, el tiempo hasta el primer token y el coste por token dependen tanto de la infraestructura de…

Impacto bajo Fiabilidad una fuente fiable AWS Machine Learning Blog
Herramientas y productos

AWS describe arquitectura con EKS, EFA y DeepEP que mejora un 40% el rendimiento en RL para modelos MoE

AWS publicó una guía técnica que describe una arquitectura combinando Amazon EKS, Elastic Fabric Adapter (EFA) y Amazon S3 para escalar entrenamiento por…

Por qué importaPara equipos que entrenan modelos MoE a gran escala, la comunicación entre nodos es el principal cuello de botella, y esta arquitectura ofrece una…

Impacto bajo Fiabilidad una fuente fiable AWS Machine Learning Blog