Ir al contenido
IA para hoy
Herramientas y productos Lanzamiento 5/5 · Confirmado por varias fuentes

AWS lanza Global Inference Gateway para repartir la inferencia de IA entre clústeres de SageMaker HyperPod

Fotografía de archivo que ilustra: AWS lanza Global Inference Gateway para repartir la inferencia de IA entre clústeres de SageMaker HyperPod
Foto: K · Licencia Pexels · Pexels

Hecho Qué ha ocurrido

AWS presenta Global Inference Gateway, un endpoint gestionado de SageMaker HyperPod que enruta las peticiones de inferencia entre varios clústeres, en una misma región o en varias. Elige el clúster más adecuado, redirige el tráfico automáticamente si un clúster falla y autentica cada petición con SigV4 e IAM a través de AWS PrivateLink. Los clientes publican cada clúster una vez y crean el gateway con una llamada a CreateGlobalInferenceGateway.

Resumen generado mediante IA a partir de AWS Machine Learning Blog (original en inglés). Naturaleza de la información: hecho documentado.

Análisis Por qué importa

Para equipos que sirven modelos grandes, la escasez de GPU obliga a repartir capacidad entre clústeres y regiones, y hasta ahora cada cliente tenía que elegir el destino y montar su propio balanceo y failover. Reduce ese trabajo de operación si ya se usa SageMaker HyperPod.

Quién se ve afectado
Equipos de plataforma e ingeniería que operan inferencia de LLM propia sobre SageMaker HyperPod en varias regiones.
Qué puede cambiar
El enrutamiento entre clústeres y regiones pasa a gestionarse como servicio, lo que puede aprovechar GPU ociosas en picos y reducir la configuración manual ante fallos.

Análisis generado a partir de la información disponible; no procede de la fuente.

Predicción Qué observar a continuación

Precios del gateway, disponibilidad en más regiones y resultados de rendimiento en cargas reales fuera de las pruebas beta, como el caso de Bagelcode citado por AWS.

Recomendación Qué debería hacer una empresa

Los equipos que ya sirven modelos en dos o más clústeres de HyperPod deberían evaluar el gateway en un entorno de pruebas en los próximos 3-6 meses, comparando latencia y coste con su enrutamiento actual.

Recomendación generada por IA con la evidencia disponible; no es asesoramiento profesional.

Compartir WhatsApp LinkedIn X Bluesky Telegram
Enviar esta noticia por correo

Se envía esta noticia con su análisis. La dirección se usa solo para ese envío y no se guarda.

Protección de datos. Responsable: Fernando Lobato, PhD. Finalidad: hacer el envío que pides. Base: nuestro interés legítimo. Lo envía Resend; la comprobación de robots es de Cloudflare. Puedes acceder a tus datos, pedir que los borremos y ejercer tus demás derechos como explica la política de privacidad.

Fuente original: AWS Machine Learning Blog (fuente primaria). La referencia es siempre el artículo original.

Ver fuente original ↗

inferencia de LLMGPU AWSBagelcode AWS balanceo de carga GPU inferencia SageMaker HyperPod

Fuentes de esta historia

Esta noticia forma parte de una historia cubierta por 2 publicaciones. La fiabilidad sube cuando varias fuentes independientes la confirman.

  1. AWS Machine Learning Blog estás leyendo esta
    · confirmado por varias fuentes · artículo original ↗
  2. AWS Machine Learning Blog
    · una fuente fiable · artículo original ↗

Ver la historia completa con su línea temporal →

Relacionadas

Herramientas y productos

AWS lanza extensiones gestionadas para observabilidad y gestión de usuarios en clústeres Slurm de SageMaker HyperPod

AWS ha presentado en noviembre de 2026 las cluster extensions de Amazon SageMaker HyperPod, paquetes de software gestionados que se instalan, configuran y…

Por qué importaPara equipos que mantienen clústeres Slurm compartidos, sustituir scripts de arranque por configuración validada reduce la deriva entre nodos y…

Impacto bajo Fiabilidad una fuente fiable AWS Machine Learning Blog

AWS lanza SageMaker HyperPod Inference Gateway para enrutamiento de inferencia según uso de GPU

AWS presenta Amazon SageMaker HyperPod Inference Gateway, un addon nativo de Kubernetes para EKS que enruta cada solicitud de inferencia al pod más adecuado…

Por qué importaPara empresas que ejecutan LLMs a gran escala en GPU, un enrutamiento más inteligente puede reducir costes de sobreaprovisionamiento y mejorar la…

Impacto medio Fiabilidad una fuente fiable AWS Machine Learning Blog

AWS lanza el enrutamiento entre regiones para la inferencia en Amazon SageMaker AI

AWS ha presentado el enrutamiento de inferencia entre regiones en Amazon SageMaker AI, mediante un recurso llamado inference router que ofrece una sola ruta de…

Por qué importaPara equipos que sirven modelos en producción, reduce el código propio de conmutación entre regiones cuando falta capacidad de GPU. Sirve sobre todo…

Impacto medio Fiabilidad una fuente fiable AWS Machine Learning Blog

AWS integra NVIDIA Dynamo en SageMaker HyperPod para inferencia distribuida con modelos grandes

Amazon SageMaker HyperPod Inference añade soporte para NVIDIA Dynamo, con servicio multinodo, separación de prefill y decode, enrutado con caché KV y…

Por qué importaPermite servir modelos que no caben en una sola máquina sin construir la capa de orquestación propia. Para equipos que operan modelos abiertos…

Impacto medio Fiabilidad una fuente fiable AWS Machine Learning Blog

Tu opinión

0 comentarios

Escribe un comentario

Sin registro. La primera vez te pediremos confirmar el correo y el comentario pasará por moderación; después se publican al momento si cumplen las normas y firmas con el mismo nombre.

Protección de datos. Responsable: Fernando Lobato, PhD. Finalidad: publicar y moderar tu comentario y evitar abusos. Base: tu consentimiento y, contra los abusos, nuestro interés legítimo. Se publica tu nombre, no tu correo. El texto pasa por un filtro con IA de Anthropic, en Estados Unidos, sin tu nombre ni tu correo, y se guarda un resumen de tu IP 90 días. La comprobación de robots es de Cloudflare. Puedes acceder a tus datos, pedir que los borremos y ejercer tus demás derechos como explica la política de privacidad.