Ir al contenido
IA para hoy
Herramientas y productos Producto 3/5 · Una fuente fiable

Amazon SageMaker AI añade enrutado con caché KV a sus endpoints en tiempo real

Hecho Qué ha ocurrido

Amazon SageMaker AI incorpora una nueva estrategia de enrutado, KV_AWARE, para endpoints en tiempo real, que envía cada petición a la instancia que tiene en caché la coincidencia más larga con su prompt y no está saturada. El contenedor debe publicar eventos de caché mediante la variable SM_VLLM_KV_EVENTS_CONFIG, y el servicio mantiene un índice gestionado de punteros hash. Solo se activa con al menos dos instancias o dos copias de un componente de inferencia.

Resumen generado mediante IA a partir de AWS Machine Learning Blog (original en inglés). Naturaleza de la información: declaración de parte interesada.

Análisis Por qué importa

Para equipos que sirven LLM con conversaciones multiturno, prompts de sistema largos o RAG, puede reducir cómputo repetido y latencia sin cambiar las APIs cliente. La decisión de adoptarlo depende de que su contenedor sea compatible.

Quién se ve afectado
Equipos de ingeniería que despliegan LLM propios en SageMaker AI con cargas multiturno o de alto volumen.
Qué puede cambiar
El enrutado deja de basarse solo en el prefijo de la petición y pasa a usar el estado real de la caché reportado por el contenedor, lo que permite reutilizar caché tras conversaciones que crecen o tras evicciones.

Análisis generado a partir de la información disponible; no procede de la fuente.

Predicción Qué observar a continuación

Las mejoras de latencia y coste que se publiquen en cargas reales frente al enrutado por prefijo, y la latencia transitoria tras escalar o actualizar instancias con caché vacía.

Recomendación Qué debería hacer una empresa

Evaluar KV_AWARE frente a PREFIX_AWARE con una carga representativa en los próximos 1-2 meses antes de cambiar la configuración de producción.

Recomendación generada por IA con la evidencia disponible; no es asesoramiento profesional.

Compartir WhatsApp LinkedIn X Bluesky Telegram
Enviar esta noticia por correo

Se envía esta noticia con su análisis. La dirección se usa solo para ese envío y no se guarda.

Protección de datos. Responsable: Fernando Lobato, PhD. Finalidad: hacer el envío que pides. Base: nuestro interés legítimo. Lo envía Resend; la comprobación de robots es de Cloudflare. Puedes acceder a tus datos, pedir que los borremos y ejercer tus demás derechos como explica la política de privacidad.

Fuente original: AWS Machine Learning Blog (fuente primaria). La referencia es siempre el artículo original.

Ver fuente original ↗

LLMinferenciacaché KVRAG Amazon Web Services Amazon SageMaker AI AWS endpoints enrutado inferencia

Relacionadas

AWS lanza enrutamiento consciente de prefijos en SageMaker Inference para reducir latencia de LLM

Amazon SageMaker Inference introduce prefix-aware routing, una estrategia que envía peticiones con el mismo prefijo de prompt a la misma instancia para…

Por qué importaPara empresas que despliegan LLMs a escala con prompts que comparten contexto (RAG, bots con instrucciones largas, conversaciones multi-turno), esto…

Impacto medio Fiabilidad una fuente fiable AWS Machine Learning Blog
Herramientas y productos

AWS SageMaker HyperPod: optimización de inferencia con auto-escalado dinámico

AWS ha publicado una guía de buenas prácticas para desplegar modelos de inferencia en Amazon SageMaker HyperPod, destacando capacidades de escalado dinámico…

Por qué importaPara equipos que despliegan modelos generativos a escala, la automatización de infraestructura y el escalado a cero pueden traducirse en ahorros…

Impacto medio Fiabilidad una fuente fiable AWS Machine Learning Blog

AWS optimiza escalado de modelos IA con caché de contenedores en SageMaker

AWS anuncia container image caching en Amazon SageMaker AI, una capacidad que reduce la latencia de escalado de modelos generativos hasta un 50% al eliminar la…

Por qué importaPara empresas que ejecutan modelos generativos en producción, el tiempo de escalado es crítico para mantener latencia baja en picos de demanda. Esta…

Impacto alto Fiabilidad fuente primaria Relevancia 7/10 AWS Machine Learning Blog

AWS añade caché de modelos en SageMaker HyperPod para reducir arranques en frío

AWS lanzó soporte de model caching en Amazon SageMaker HyperPod para inferencia, que precarga pesos de modelos e imágenes de contenedor en almacenamiento NVMe…

Por qué importaPara empresas que despliegan LLMs grandes en producción, los tiempos de arranque en frío limitan la capacidad de autoescalado real ante picos de…

Impacto medio Fiabilidad una fuente fiable AWS Machine Learning Blog

Tu opinión

0 comentarios

Escribe un comentario

Sin registro. La primera vez te pediremos confirmar el correo y el comentario pasará por moderación; después se publican al momento si cumplen las normas y firmas con el mismo nombre.

Protección de datos. Responsable: Fernando Lobato, PhD. Finalidad: publicar y moderar tu comentario y evitar abusos. Base: tu consentimiento y, contra los abusos, nuestro interés legítimo. Se publica tu nombre, no tu correo. El texto pasa por un filtro con IA de Anthropic, en Estados Unidos, sin tu nombre ni tu correo, y se guarda un resumen de tu IP 90 días. La comprobación de robots es de Cloudflare. Puedes acceder a tus datos, pedir que los borremos y ejercer tus demás derechos como explica la política de privacidad.