AWS y NVIDIA reducen costes de inferencia de reconocimiento de voz en un 75%
Hecho Qué ha ocurrido
AWS, NVIDIA y Heidi Health han publicado un estudio técnico demostrando cómo usar NVIDIA CUDA Multi-Process Service (MPS) en Amazon EC2 reduce la infraestructura GPU necesaria para servir modelos de reconocimiento automático de voz (ASR) de 16 instancias a 4, manteniendo una latencia por debajo de un segundo y procesando 92,1 solicitudes por segundo por GPU. El método aprovecha la capacidad concurrente de MPS para ejecutar múltiples procesos simultáneamente, evitando el problema por el cual cada solicitud ASR típicamente usa solo el 15-20% de la capacidad del GPU, dejando el 80% inactivo.
Resumen generado mediante IA a partir de AWS Machine Learning Blog (original en inglés). Naturaleza de la información: hecho documentado.
Análisis Por qué importa
Reduce drásticamente los costes operativos de desplegar modelos de IA en producción, lo que es crítico para empresas de servicios basados en voz como centros de atención al cliente, transcripción clínica y análisis de audio. La técnica es directamente aplicable a cualquier carga de trabajo de inferencia donde múltiples procesos pequeños comparten GPU.
- Quién se ve afectado
- Empresas que ejecutan modelos ASR en producción a escala (healthtech, contact centers, plataformas de transcripción, análisis de audio) y equipos de infraestructura que optimizan costes de computación GPU.
- Qué puede cambiar
- La validación de MPS como mecanismo de compartición GPU eficiente podría generalizar el uso de esta técnica en infraestructuras de inferencia, desplazando decisiones entre time-slicing, MIG y MPS según carga de trabajo. Para Heidi Health específicamente, permite procesar 2,4 millones de consultas clínicas semanales con un 75% menos de hardware.
Análisis generado a partir de la información disponible; no procede de la fuente.
Predicción Qué observar a continuación
Adopción de MPS en otros servicios de IA de AWS (SageMaker, Bedrock); extensión de estas optimizaciones a otros modelos pequeños y cargas batch; impacto en precios de instancias GPU; replicación de estos resultados con otros modelos y backends de inferencia.
Recomendación Qué debería hacer una empresa
Evaluar CUDA MPS en los próximos 3-6 meses si la empresa ejecuta múltiples cargas de ASR o inferencia ligera en GPU, especialmente en entornos multicliente. Prototipar en paralelo con arquitectura actual y medir latencia real según SLAs específicos.
Recomendación generada por IA con la evidencia disponible; no es asesoramiento profesional.
Enviar esta noticia por correo
Enviado. Revisa que llegue a la bandeja de entrada de quien lo reciba.
La dirección no parece válida.
Has enviado varios correos seguidos. Espera un rato.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
No se ha podido enviar. Inténtalo de nuevo en unos minutos.
Fuente original: AWS Machine Learning Blog (fuente primaria). La referencia es siempre el artículo original.
Ver fuente original ↗CUDA MPSNVIDIA Triton Inference ServerONNX RuntimeTensorRTASR AWSNVIDIAHeidi Health AWS GPU inferencia optimización de costes reconocimiento-de-voz
Relacionadas
NVIDIA anuncia producción en serie de chips Vera Rubin con reducción de costos de 90%
Jensen Huang, CEO de NVIDIA, anunció durante CES 2026 que los chips Vera Rubin están en producción completa y llegarán a clientes en el segundo semestre de…
Por qué importaLa drástica reducción de costos operativos de IA (90%) tiene implicaciones directas en la viabilidad económica de sistemas avanzados para empresas y…
AWS y NVIDIA amplían colaboración con más de 1 millón de GPUs Blackwell en 2026
AWS y NVIDIA anunciaron en GTC 2026 una expansión de su colaboración con nuevas integraciones tecnológicas. AWS desplegaría más de 1 millón de GPUs NVIDIA…
Por qué importaEsta profundización de la colaboración de 15 años refuerza la capacidad de AWS para ejecutar cargas de IA en producción a escala empresarial…
Dell y NVIDIA lanzan infraestructura para IA agéntica con CPU Vera y 10x reducción de costo
Dell Technologies y NVIDIA han presentado una nueva generación de servidores Dell PowerEdge basados en NVIDIA Vera Rubin NVL72 para inferencia de IA agéntica…
Por qué importaLa reducción de costos en inferencia de IA agéntica es un factor crítico para viabilizar la adopción empresarial a escala de agentes autónomos dentro…
Nvidia expande su ventaja más allá de las GPU con sistemas de orquestación de datos
Nvidia ha presentado su nueva arquitectura Vera Rubin, que integra junto a la GPU Rubin componentes especializados como la CPU Vera, aceleradores de inferencia…
Por qué importaA medida que los centros de datos escalan a escala de gigavatios, la orquestación eficiente de datos y memoria se convierte en un reto crítico…
Tu opinión
Te hemos enviado un correo para confirmar tu dirección. El comentario se procesará cuando pulses el enlace.
Gracias. Tu comentario se publicará cuando lo revise el equipo (los primeros comentarios de cada persona se moderan).
Comentario publicado. Gracias por participar.
No se puede comentar aquí.
Indica un nombre (de 2 a 60 caracteres).
El correo no parece válido.
El comentario debe tener entre 10 y 2.000 caracteres.
Demasiados enlaces en el comentario.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
Has alcanzado el límite diario de comentarios.
Demasiados comentarios seguidos. Espera un rato.
No se ha podido enviar el correo de confirmación. Inténtalo de nuevo en unos minutos.