AWS integra NVIDIA Dynamo en SageMaker HyperPod para inferencia distribuida con modelos grandes
Amazon SageMaker HyperPod Inference añade soporte para NVIDIA Dynamo, con servicio multinodo, separación de prefill y decode, enrutado con caché KV y…
Por qué importaPermite servir modelos que no caben en una sola máquina sin construir la capa de orquestación propia. Para equipos que operan modelos abiertos…


