Deepgram reporta entre 11 y 70 % más audio procesado por dólar al portar Nova-3 a AWS Trainium2
Hecho Qué ha ocurrido
Deepgram, con el equipo de ingeniería de AWS, adaptó su modelo de voz a texto Nova-3 a AWS Trainium2 para transcripción por lotes. Según la propia empresa y AWS, la configuración final ejecuta ocho réplicas del modelo en una instancia trn2.3xlarge y procesa entre 11 % y 70 % más audio por dólar que las opciones de cómputo anteriores. El texto también cita mejoras de latencia en capas concretas y un 7,5 % más de rendimiento de su runtime en Rust frente a una base en Python.
Resumen generado mediante IA a partir de AWS Machine Learning Blog (original en inglés). Naturaleza de la información: declaración de parte interesada.
Análisis Por qué importa
Para proveedores de voz con gran volumen de transcripción, el coste por hora de audio depende del hardware y del software de inferencia tanto como del modelo. Muestra que los chips alternativos a las GPU pueden ser competitivos en cargas por lotes si se invierte en optimización.
- Quién se ve afectado
- Empresas que transcriben grandes volúmenes de audio, como centros de contacto o servicios médicos, y proveedores de voz que operan en infraestructura propia.
- Qué puede cambiar
- Si los resultados se reproducen en otras cargas, el coste de transcripción por lotes podría bajar en plataformas de AWS. Hoy no hay evidencia independiente de ese efecto.
Análisis generado a partir de la información disponible; no procede de la fuente.
Predicción Qué observar a continuación
Conviene vigilar si otros proveedores publican resultados comparables en Trainium, la disponibilidad y el precio de las instancias trn2 y si Deepgram extiende estas mejoras a su oferta en SageMaker AI.
Enviar esta noticia por correo
Enviado. Revisa que llegue a la bandeja de entrada de quien lo reciba.
La dirección no parece válida.
Has enviado varios correos seguidos. Espera un rato.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
No se ha podido enviar. Inténtalo de nuevo en unos minutos.
Fuente original: AWS Machine Learning Blog (fuente primaria). La referencia es siempre el artículo original.
Ver fuente original ↗speech-to-textinferenciachipsRust DeepgramAWS AWS Trainium2DeepgraminferenciaNeuronNova-3
Tu opinión
Te hemos enviado un correo para confirmar tu dirección. El comentario se procesará cuando pulses el enlace.
Gracias. Tu comentario se publicará cuando lo revise el equipo (los primeros comentarios de cada persona se moderan).
Comentario publicado. Gracias por participar.
No se puede comentar aquí.
Indica un nombre (de 2 a 60 caracteres).
El correo no parece válido.
El comentario debe tener entre 10 y 2.000 caracteres.
Demasiados enlaces en el comentario.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
Has alcanzado el límite diario de comentarios.
Demasiados comentarios seguidos. Espera un rato.
No se ha podido enviar el correo de confirmación. Inténtalo de nuevo en unos minutos.
0 comentarios
Relacionadas
AWS describe una transferencia KV por push en vLLM que reduce la latencia de inferencia de LLM
AWS publicó un artículo técnico sobre un conector NIXL en modo push para vLLM, que traslada la coordinación de la transferencia del caché KV fuera de la ruta…
Por qué importaPara quien despliega inferencia de LLM a escala, el tiempo hasta el primer token y el coste por token dependen tanto de la infraestructura de…
AWS describe transferencia KV bidireccional en vLLM que reduce el TTFT en cargas agénticas multiturno
AWS Machine Learning Blog explica una técnica de transferencia bidireccional de caché KV en vLLM para cargas agénticas multiturno, en la que el nodo de…
Por qué importaLas aplicaciones de agentes que reenvían historiales largos en cada turno pueden acumular latencia y coste de cómputo; reutilizar contexto ya…
Nvidia lanza modelos abiertos Nemotron 3.5 para agentes empresariales y PC con IA local
Nvidia presentó el modelo abierto Nemotron 3.5 Super VL, de 120.000 millones de parámetros, pensado para agentes empresariales, y dos modelos ligeros Bolt para…
Por qué importaLas empresas que quieren ejecutar sus propios modelos en su infraestructura tienen una opción abierta y optimizada para hardware Nvidia, y los PC con…
Cuatro agentes con Gemini 4 Argon completan Minecraft sin ayuda humana según Google DeepMind
Cuatro agentes de IA basados en Gemini 4 Argon derrotaron al Ender Dragon en Minecraft en una partida totalmente autónoma, sin roles ni estrategias…
Por qué importaMuestra que agentes de propósito general pueden coordinarse en entornos complejos sin entrenamiento específico, algo que hasta hace poco requería…