AWS mejora la transferencia de caché KV en vLLM para inferencia desagregada
Resumen En qué punto está
AWS ha publicado dos artículos técnicos sobre optimizaciones del caché KV en vLLM para despliegues de inferencia desagregada (prefill/decode). La primera describe una transferencia bidireccional que permite reutilizar contexto en cargas agénticas multiturno, reduciendo el TTFT hasta 3,3 veces en pruebas con GLM-5-FP8. La segunda presenta un conector NIXL en modo push que saca la coordinación de la transferencia KV de la ruta crítica, logrando hasta 3x mejor TTFT y 30% mejor TPOT frente al modo pull. Ambas mejoras se probaron en despliegues 1P1D sobre instancias EC2 P5en con EFA. Los resultados provienen de benchmarks propios de AWS con configuraciones específicas, no de pruebas independientes.
Resumen generado mediante IA a partir de las 2 noticias de la historia. Última actualización: hace 1 h.
Enviar esta historia por correo
Enviado. Revisa que llegue a la bandeja de entrada de quien lo reciba.
La dirección no parece válida.
Has enviado varios correos seguidos. Espera un rato.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
No se ha podido enviar. Inténtalo de nuevo en unos minutos.
Línea temporal
-
AWS describe una transferencia KV por push en vLLM que reduce la latencia de inferencia de LLM
AWS publicó un artículo técnico sobre un conector NIXL en modo push para vLLM, que traslada la coordinación de la transferencia del caché KV fuera de la ruta crítica entre prefill y decode. En su prueba con un…
-
AWS describe transferencia KV bidireccional en vLLM que reduce el TTFT en cargas agénticas multiturno
AWS Machine Learning Blog explica una técnica de transferencia bidireccional de caché KV en vLLM para cargas agénticas multiturno, en la que el nodo de decodificación devuelve bloques KV al nodo de prefill en turnos…
Tu opinión
Te hemos enviado un correo para confirmar tu dirección. El comentario se procesará cuando pulses el enlace.
Gracias. Tu comentario se publicará cuando lo revise el equipo (los primeros comentarios de cada persona se moderan).
Comentario publicado. Gracias por participar.
No se puede comentar aquí.
Indica un nombre (de 2 a 60 caracteres).
El correo no parece válido.
El comentario debe tener entre 10 y 2.000 caracteres.
Demasiados enlaces en el comentario.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
Has alcanzado el límite diario de comentarios.
Demasiados comentarios seguidos. Espera un rato.
No se ha podido enviar el correo de confirmación. Inténtalo de nuevo en unos minutos.