ArisGlobal reduce cerca de un 40% su gasto en inferencia con caché de prompts en Amazon Bedrock

Hecho Qué ha ocurrido
ArisGlobal, proveedor de tecnología para ciencias de la vida, cambió el orden de su caché de prompts en NavaX, su motor de IA para farmacovigilancia sobre Amazon Bedrock. Al cachear el prefijo de prompt compartido en lugar de cada documento por caso, según el blog de AWS redujo el coste efectivo de entrada en torno al 50% y el gasto mensual de inferencia en torno al 40%. El prefijo compartido había crecido de unos 72.000 a 180.000 tokens en seis meses.
Resumen generado mediante IA a partir de AWS Machine Learning Blog (original en inglés). Naturaleza de la información: declaración de parte interesada.
Análisis Por qué importa
Muestra que el diseño del prompt y del caché puede determinar el coste de producción de agentes de IA con contextos largos y crecientes, algo relevante para cualquier empresa que escale aplicaciones multi-cliente.
- Quién se ve afectado
- Empresas que despliegan agentes de IA multi-tenant con prompts largos, especialmente en sectores regulados como farmacéutico.
- Qué puede cambiar
- El orden de los bloques en la petición puede pasar a ser una decisión de arquitectura de costes, con el contenido compartido antes del contenido específico de cada caso.
Análisis generado a partir de la información disponible; no procede de la fuente.
Predicción Qué observar a continuación
Si otros clientes reproducen cifras similares fuera de este caso, y cómo evolucionan las tarifas de entrada cacheada y los TTL de caché en Bedrock.
Enviar esta noticia por correo
Enviado. Revisa que llegue a la bandeja de entrada de quien lo reciba.
La dirección no parece válida.
Has enviado varios correos seguidos. Espera un rato.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
No se ha podido enviar. Inténtalo de nuevo en unos minutos.
Fuente original: AWS Machine Learning Blog (fuente primaria). La referencia es siempre el artículo original.
Ver fuente original ↗caché de promptsLLMinferenciaagentes ArisGlobalAmazon BedrockAnthropic Amazon Bedrock ArisGlobal Claude farmacovigilancia NavaX
Relacionadas
AWS explica cómo el prompt caching de Amazon Bedrock reduce hasta un 90% el coste de tokens
AWS publicó una guía técnica sobre el prompt caching en Amazon Bedrock, que permite reducir hasta un 90% el coste de tokens de entrada cuando se reenvía el…
Por qué importaPara empresas que usan LLMs en producción con contexto repetido (documentos, prompts de sistema, herramientas de agentes), esta técnica puede reducir…
AWS detalla cuatro decisiones de inferencia en Amazon Bedrock que afectan al coste
AWS publica una guía sobre cuatro ajustes por petición en Amazon Bedrock (duración de la caché de prompts, nivel de servicio, esfuerzo de razonamiento y…
Por qué importaPara un equipo que ya optimizó prompts y lógica de aplicación, estos ajustes de configuración pueden seguir reduciendo la factura de inferencia…
AWS explica cómo usar el caché de prompts con modelos de pesos abiertos en Amazon Bedrock
AWS publica una guía sobre el caché de prompts para modelos de pesos abiertos en Amazon Bedrock, con dos modos: implícito, automático, y explícito, con puntos…
Por qué importaReutilizar contexto largo repetido puede reducir coste y latencia en aplicaciones con system prompts extensos, documentación o agentes. Para equipos…
AWS explica cómo usar la caché de prompts con modelos de OpenAI en Amazon Bedrock para agentes de IA
AWS Machine Learning Blog publica una guía técnica sobre caché de prompts para modelos de OpenAI en Amazon Bedrock, que guarda el estado de las instrucciones y…
Por qué importaLos agentes reenvían todo su contexto en cada paso, por lo que el coste de entrada y la latencia crecen con cada turno. Entender la caché de prompts…
Tu opinión
Te hemos enviado un correo para confirmar tu dirección. El comentario se procesará cuando pulses el enlace.
Gracias. Tu comentario se publicará cuando lo revise el equipo (los primeros comentarios de cada persona se moderan).
Comentario publicado. Gracias por participar.
No se puede comentar aquí.
Indica un nombre (de 2 a 60 caracteres).
El correo no parece válido.
El comentario debe tener entre 10 y 2.000 caracteres.
Demasiados enlaces en el comentario.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
Has alcanzado el límite diario de comentarios.
Demasiados comentarios seguidos. Espera un rato.
No se ha podido enviar el correo de confirmación. Inténtalo de nuevo en unos minutos.



