AWS describe transferencia KV bidireccional en vLLM que reduce el TTFT en cargas agénticas multiturno
Hecho Qué ha ocurrido
AWS Machine Learning Blog explica una técnica de transferencia bidireccional de caché KV en vLLM para cargas agénticas multiturno, en la que el nodo de decodificación devuelve bloques KV al nodo de prefill en turnos posteriores. Según sus pruebas en un despliegue 1P1D con instancias EC2 P5en, el TTFT se redujo hasta 1,6 veces para Qwen3-32B y hasta 3,3 veces para GLM-5-FP8.
Resumen generado mediante IA a partir de AWS Machine Learning Blog (original en inglés). Naturaleza de la información: declaración de parte interesada.
Análisis Por qué importa
Las aplicaciones de agentes que reenvían historiales largos en cada turno pueden acumular latencia y coste de cómputo; reutilizar contexto ya calculado puede mantener tiempos de respuesta estables. Son cifras de un benchmark propio del proveedor y con una configuración concreta.
- Quién se ve afectado
- Equipos que despliegan agentes conversacionales o aplicaciones agénticas con inferencia propia y desagregada.
- Qué puede cambiar
- Si la técnica se adopta en producción, las sesiones largas podrían reutilizar contexto entre turnos en lugar de recalcularlo, con un ajuste de tiempos de retención y de umbral según la carga.
Análisis generado a partir de la información disponible; no procede de la fuente.
Predicción Qué observar a continuación
Qué resultados reproducen terceros fuera de la configuración de AWS, cómo se comporta con más turnos o con otros tamaños de sesión y si la función se incorpora de forma estable en las versiones principales de vLLM.
Enviar esta noticia por correo
Enviado. Revisa que llegue a la bandeja de entrada de quien lo reciba.
La dirección no parece válida.
Has enviado varios correos seguidos. Espera un rato.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
No se ha podido enviar. Inténtalo de nuevo en unos minutos.
Fuente original: AWS Machine Learning Blog (fuente primaria). La referencia es siempre el artículo original.
Ver fuente original ↗inferenciaagentesRAG AWSvLLMNVIDIA AWSEC2 P5enGLM-5-FP8Qwen3-32BvLLM
Forma parte de la historia AWS mejora la transferencia de caché KV en vLLM para inferencia desagregada (2 noticias, estado: en evolución).
Tu opinión
Te hemos enviado un correo para confirmar tu dirección. El comentario se procesará cuando pulses el enlace.
Gracias. Tu comentario se publicará cuando lo revise el equipo (los primeros comentarios de cada persona se moderan).
Comentario publicado. Gracias por participar.
No se puede comentar aquí.
Indica un nombre (de 2 a 60 caracteres).
El correo no parece válido.
El comentario debe tener entre 10 y 2.000 caracteres.
Demasiados enlaces en el comentario.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
Has alcanzado el límite diario de comentarios.
Demasiados comentarios seguidos. Espera un rato.
No se ha podido enviar el correo de confirmación. Inténtalo de nuevo en unos minutos.
0 comentarios
Relacionadas
AWS describe una transferencia KV por push en vLLM que reduce la latencia de inferencia de LLM
AWS publicó un artículo técnico sobre un conector NIXL en modo push para vLLM, que traslada la coordinación de la transferencia del caché KV fuera de la ruta…
Por qué importaPara quien despliega inferencia de LLM a escala, el tiempo hasta el primer token y el coste por token dependen tanto de la infraestructura de…
Deepgram reporta entre 11 y 70 % más audio procesado por dólar al portar Nova-3 a AWS Trainium2
Deepgram, con el equipo de ingeniería de AWS, adaptó su modelo de voz a texto Nova-3 a AWS Trainium2 para transcripción por lotes. Según la propia empresa y…
Por qué importaPara proveedores de voz con gran volumen de transcripción, el coste por hora de audio depende del hardware y del software de inferencia tanto como…
Nvidia lanza modelos abiertos Nemotron 3.5 para agentes empresariales y PC con IA local
Nvidia presentó el modelo abierto Nemotron 3.5 Super VL, de 120.000 millones de parámetros, pensado para agentes empresariales, y dos modelos ligeros Bolt para…
Por qué importaLas empresas que quieren ejecutar sus propios modelos en su infraestructura tienen una opción abierta y optimizada para hardware Nvidia, y los PC con…
Cuatro agentes con Gemini 4 Argon completan Minecraft sin ayuda humana según Google DeepMind
Cuatro agentes de IA basados en Gemini 4 Argon derrotaron al Ender Dragon en Minecraft en una partida totalmente autónoma, sin roles ni estrategias…
Por qué importaMuestra que agentes de propósito general pueden coordinarse en entornos complejos sin entrenamiento específico, algo que hasta hace poco requería…