AWS publica una guía para desplegar el modelo Nemotron 3.5 Super VL de NVIDIA en Amazon EKS y SageMaker HyperPod
Hecho Qué ha ocurrido
AWS publicó un artículo técnico sobre el despliegue de Nemotron 3.5 Super VL, un modelo multimodal de NVIDIA de 120.000 millones de parámetros totales (12.000 millones activos por token), en Amazon EKS, EKS Auto Mode y SageMaker HyperPod EKS con NVIDIA Dynamo y vLLM. El texto indica que NVIDIA reporta 63,44 % en Hermes Bench y 87,05 % en evaluaciones de agentes LangChain, y que la arquitectura se validó en instancias con 8 GPU B200 y H200.
Resumen generado mediante IA a partir de AWS Machine Learning Blog (original en inglés). Naturaleza de la información: declaración de parte interesada.
Análisis Por qué importa
Ofrece una referencia concreta para equipos que quieran alojar un modelo abierto multimodal en su propia infraestructura de AWS, con criterios para dimensionar latencia y capacidad.
- Quién se ve afectado
- Equipos de infraestructura e ingeniería de ML que operan modelos abiertos en Kubernetes o en AWS.
- Qué puede cambiar
- Desplegar un modelo multimodal abierto en infraestructura propia pasa a tener un patrón de referencia documentado, lo que puede reducir el esfuerzo de puesta en marcha. El coste real dependerá del hardware necesario, que el texto sitúa en 4 a 16 GPU según configuración.
Análisis generado a partir de la información disponible; no procede de la fuente.
Predicción Qué observar a continuación
Qué rendimiento real se obtiene fuera de las pruebas de NVIDIA y AWS y cuál es el coste por token frente a APIs gestionadas de modelos comparables.
Enviar esta noticia por correo
Enviado. Revisa que llegue a la bandeja de entrada de quien lo reciba.
La dirección no parece válida.
Has enviado varios correos seguidos. Espera un rato.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
No se ha podido enviar. Inténtalo de nuevo en unos minutos.
Fuente original: AWS Machine Learning Blog (fuente primaria). La referencia es siempre el artículo original.
Ver fuente original ↗LLMmultimodalagentesedge AI AWSNVIDIA Amazon EKS Nemotron 3.5 Super VL NVIDIA Dynamo SageMaker HyperPod vLLM
Relacionadas
Nvidia lanza Nemotron 3.5 Super VL, un modelo abierto para agentes de IA empresariales
Nvidia ha publicado Nemotron 3.5 Super VL, un modelo multimodal abierto de 120.000 millones de parámetros, con 12.000 millones activos por token, dirigido a…
Por qué importaOfrece a empresas con datos sensibles una alternativa abierta que pueden ajustar y alojar en sus propios servidores. Las cifras de rendimiento son de…
NVIDIA Nemotron 3 Nano disponible en AWS Bedrock como modelo sin servidor
AWS ha puesto a disposición el modelo NVIDIA Nemotron 3 Nano como servicio completamente gestionado y sin servidor en Amazon Bedrock. Nemotron 3 Nano es un…
Por qué importaPara directivos y desarrolladores, esto permite construir sistemas agenticos especializados sin gestionar infraestructura, combinando eficiencia…
NVIDIA lanza los modelos abiertos Nemotron 3.5 Super VL y Bolt para agentes de IA
NVIDIA ha publicado Nemotron 3.5 Super VL, un modelo abierto de 120.000 millones de parámetros, y dos modelos para el borde: Bolt 74B-A9B 24GB, disponible ya…
Por qué importaOfrece a las empresas un modelo multimodal abierto que puede ejecutarse en infraestructura propia o en equipos locales, lo que reduce la dependencia…
NVIDIA Nemotron 3 Super ya está disponible en Amazon Bedrock como modelo completamente administrado
NVIDIA ha lanzado Nemotron 3 Super en Amazon Bedrock como modelo completamente administrado y sin servidor. El modelo es una arquitectura híbrida de Mezcla de…
Por qué importaLas empresas pueden ahora acceder a un modelo de razonamiento especializado sin gestionar infraestructura, mediante la plataforma completamente…
Tu opinión
Te hemos enviado un correo para confirmar tu dirección. El comentario se procesará cuando pulses el enlace.
Gracias. Tu comentario se publicará cuando lo revise el equipo (los primeros comentarios de cada persona se moderan).
Comentario publicado. Gracias por participar.
No se puede comentar aquí.
Indica un nombre (de 2 a 60 caracteres).
El correo no parece válido.
El comentario debe tener entre 10 y 2.000 caracteres.
Demasiados enlaces en el comentario.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
Has alcanzado el límite diario de comentarios.
Demasiados comentarios seguidos. Espera un rato.
No se ha podido enviar el correo de confirmación. Inténtalo de nuevo en unos minutos.