Ir al contenido
IA para hoy
Herramientas y productos Lanzamiento 3/5 · Una fuente fiable

AWS integra NVIDIA Dynamo en SageMaker HyperPod para inferencia distribuida con modelos grandes

Fotografía de archivo que ilustra: AWS integra NVIDIA Dynamo en SageMaker HyperPod para inferencia distribuida con modelos grandes
Foto: Ruben Boekeloo · Licencia Pexels · Pexels

Hecho Qué ha ocurrido

Amazon SageMaker HyperPod Inference añade soporte para NVIDIA Dynamo, con servicio multinodo, separación de prefill y decode, enrutado con caché KV y recuperación automática de fallos. El artículo muestra un despliegue de GLM-5.3 en instancias ml.p5.48xlarge y un benchmark propio de Qwen3-235B en dos instancias p5en.48xlarge, donde el servicio separado alcanzó 2,05 veces el rendimiento agregado máximo.

Resumen generado mediante IA a partir de AWS Machine Learning Blog (original en inglés). Naturaleza de la información: declaración de parte interesada.

Análisis Por qué importa

Permite servir modelos que no caben en una sola máquina sin construir la capa de orquestación propia. Para equipos que operan modelos abiertos grandes en AWS, reduce el esfuerzo de ingeniería necesario.

Quién se ve afectado
Equipos de infraestructura y plataformas de IA que despliegan LLM de gran tamaño en AWS.
Qué puede cambiar
El coste y la complejidad de servir modelos grandes podrían bajar si el rendimiento de los benchmarks se reproduce en cargas reales. La decisión de arquitectura pasaría de gestionar el orquestado a configurar un endpoint.

Análisis generado a partir de la información disponible; no procede de la fuente.

Predicción Qué observar a continuación

Resultados de terceros fuera de los benchmarks de AWS, disponibilidad de la función en más regiones y precios de las instancias en este modo de despliegue.

Recomendación Qué debería hacer una empresa

Evaluar en los próximos 3-6 meses si el servicio separado de prefill y decode mejora el coste por token frente a la configuración actual, usando cargas de trabajo propias.

Recomendación generada por IA con la evidencia disponible; no es asesoramiento profesional.

Compartir WhatsApp LinkedIn X Bluesky Telegram
Enviar esta noticia por correo

Se envía esta noticia con su análisis. La dirección se usa solo para ese envío y no se guarda.

Protección de datos. Responsable: Fernando Lobato, PhD. Finalidad: hacer el envío que pides. Base: nuestro interés legítimo. Lo envía Resend; la comprobación de robots es de Cloudflare. Puedes acceder a tus datos, pedir que los borremos y ejercer tus demás derechos como explica la política de privacidad.

Fuente original: AWS Machine Learning Blog (fuente primaria). La referencia es siempre el artículo original.

Ver fuente original ↗

LLMinferencia distribuidavLLMTensorRT-LLMSGLang AWSNVIDIA AWS GLM-5.3 inferencia NVIDIA Dynamo SageMaker HyperPod

Relacionadas

AWS lanza SageMaker HyperPod Inference Gateway para enrutamiento de inferencia según uso de GPU

AWS presenta Amazon SageMaker HyperPod Inference Gateway, un addon nativo de Kubernetes para EKS que enruta cada solicitud de inferencia al pod más adecuado…

Por qué importaPara empresas que ejecutan LLMs a gran escala en GPU, un enrutamiento más inteligente puede reducir costes de sobreaprovisionamiento y mejorar la…

Impacto medio Fiabilidad una fuente fiable AWS Machine Learning Blog

AWS valida entrenamiento de IA multi-región con SageMaker HyperPod y Qumulo

AWS describe una arquitectura que combina Amazon SageMaker HyperPod con Cloud Native Qumulo y su Cloud Data Fabric para entrenar modelos de IA con cómputo en…

Por qué importaElimina la disyuntiva entre replicar petabytes de datos entre regiones o aceptar cuellos de botella de latencia, permitiendo a las empresas…

Impacto medio Fiabilidad una fuente fiable AWS Machine Learning Blog

AWS optimiza inferencia de LLMs con separación de prefill y decode en SageMaker HyperPod

AWS publica cómo implementar Disaggregated Prefill and Decode (DPD) con vLLM en SageMaker HyperPod, una técnica que separa el procesamiento de prompts largos…

Por qué importaLas empresas que despliegan LLMs a escala enfrentan cuellos de botella cuando prompts largos bloquean la generación de tokens en otros usuarios. DPD…

Impacto alto Fiabilidad fuente primaria Relevancia 7/10 AWS Machine Learning Blog
Herramientas y productos

AWS SageMaker HyperPod: optimización de inferencia con auto-escalado dinámico

AWS ha publicado una guía de buenas prácticas para desplegar modelos de inferencia en Amazon SageMaker HyperPod, destacando capacidades de escalado dinámico…

Por qué importaPara equipos que despliegan modelos generativos a escala, la automatización de infraestructura y el escalado a cero pueden traducirse en ahorros…

Impacto medio Fiabilidad una fuente fiable AWS Machine Learning Blog

Tu opinión

0 comentarios

Escribe un comentario

Sin registro. La primera vez te pediremos confirmar el correo y el comentario pasará por moderación; después se publican al momento si cumplen las normas y firmas con el mismo nombre.

Protección de datos. Responsable: Fernando Lobato, PhD. Finalidad: publicar y moderar tu comentario y evitar abusos. Base: tu consentimiento y, contra los abusos, nuestro interés legítimo. Se publica tu nombre, no tu correo. El texto pasa por un filtro con IA de Anthropic, en Estados Unidos, sin tu nombre ni tu correo, y se guarda un resumen de tu IP 90 días. La comprobación de robots es de Cloudflare. Puedes acceder a tus datos, pedir que los borremos y ejercer tus demás derechos como explica la política de privacidad.