Ir al contenido
IA para hoy
Empresa y transformación digital Empresa 3/5 · Una fuente fiable

ArisGlobal reduce cerca de un 40% su gasto en inferencia con caché de prompts en Amazon Bedrock

Fotografía de archivo que ilustra: ArisGlobal reduce cerca de un 40% su gasto en inferencia con caché de prompts en Amazon Bedrock
Foto: Etatics Inc. · Licencia Pexels · Pexels

Hecho Qué ha ocurrido

ArisGlobal, proveedor de tecnología para ciencias de la vida, cambió el orden de su caché de prompts en NavaX, su motor de IA para farmacovigilancia sobre Amazon Bedrock. Al cachear el prefijo de prompt compartido en lugar de cada documento por caso, según el blog de AWS redujo el coste efectivo de entrada en torno al 50% y el gasto mensual de inferencia en torno al 40%. El prefijo compartido había crecido de unos 72.000 a 180.000 tokens en seis meses.

Resumen generado mediante IA a partir de AWS Machine Learning Blog (original en inglés). Naturaleza de la información: declaración de parte interesada.

Análisis Por qué importa

Muestra que el diseño del prompt y del caché puede determinar el coste de producción de agentes de IA con contextos largos y crecientes, algo relevante para cualquier empresa que escale aplicaciones multi-cliente.

Quién se ve afectado
Empresas que despliegan agentes de IA multi-tenant con prompts largos, especialmente en sectores regulados como farmacéutico.
Qué puede cambiar
El orden de los bloques en la petición puede pasar a ser una decisión de arquitectura de costes, con el contenido compartido antes del contenido específico de cada caso.

Análisis generado a partir de la información disponible; no procede de la fuente.

Predicción Qué observar a continuación

Si otros clientes reproducen cifras similares fuera de este caso, y cómo evolucionan las tarifas de entrada cacheada y los TTL de caché en Bedrock.

Compartir WhatsApp LinkedIn X Bluesky Telegram
Enviar esta noticia por correo

Se envía esta noticia con su análisis. La dirección se usa solo para ese envío y no se guarda.

Protección de datos. Responsable: Fernando Lobato, PhD. Finalidad: hacer el envío que pides. Base: nuestro interés legítimo. Lo envía Resend; la comprobación de robots es de Cloudflare. Puedes acceder a tus datos, pedir que los borremos y ejercer tus demás derechos como explica la política de privacidad.

Fuente original: AWS Machine Learning Blog (fuente primaria). La referencia es siempre el artículo original.

Ver fuente original ↗

caché de promptsLLMinferenciaagentes ArisGlobalAmazon BedrockAnthropic Amazon Bedrock ArisGlobal Claude farmacovigilancia NavaX

Relacionadas

AWS explica cómo el prompt caching de Amazon Bedrock reduce hasta un 90% el coste de tokens

AWS publicó una guía técnica sobre el prompt caching en Amazon Bedrock, que permite reducir hasta un 90% el coste de tokens de entrada cuando se reenvía el…

Por qué importaPara empresas que usan LLMs en producción con contexto repetido (documentos, prompts de sistema, herramientas de agentes), esta técnica puede reducir…

Impacto medio Fiabilidad una fuente fiable AWS Machine Learning Blog

AWS detalla cuatro decisiones de inferencia en Amazon Bedrock que afectan al coste

AWS publica una guía sobre cuatro ajustes por petición en Amazon Bedrock (duración de la caché de prompts, nivel de servicio, esfuerzo de razonamiento y…

Por qué importaPara un equipo que ya optimizó prompts y lógica de aplicación, estos ajustes de configuración pueden seguir reduciendo la factura de inferencia…

Impacto medio Fiabilidad una fuente fiable AWS Machine Learning Blog

AWS explica cómo usar el caché de prompts con modelos de pesos abiertos en Amazon Bedrock

AWS publica una guía sobre el caché de prompts para modelos de pesos abiertos en Amazon Bedrock, con dos modos: implícito, automático, y explícito, con puntos…

Por qué importaReutilizar contexto largo repetido puede reducir coste y latencia en aplicaciones con system prompts extensos, documentación o agentes. Para equipos…

Impacto medio Fiabilidad una fuente fiable AWS Machine Learning Blog

AWS explica cómo usar la caché de prompts con modelos de OpenAI en Amazon Bedrock para agentes de IA

AWS Machine Learning Blog publica una guía técnica sobre caché de prompts para modelos de OpenAI en Amazon Bedrock, que guarda el estado de las instrucciones y…

Por qué importaLos agentes reenvían todo su contexto en cada paso, por lo que el coste de entrada y la latencia crecen con cada turno. Entender la caché de prompts…

Impacto medio Fiabilidad una fuente fiable AWS Machine Learning Blog

Tu opinión

0 comentarios

Escribe un comentario

Sin registro. La primera vez te pediremos confirmar el correo y el comentario pasará por moderación; después se publican al momento si cumplen las normas y firmas con el mismo nombre.

Protección de datos. Responsable: Fernando Lobato, PhD. Finalidad: publicar y moderar tu comentario y evitar abusos. Base: tu consentimiento y, contra los abusos, nuestro interés legítimo. Se publica tu nombre, no tu correo. El texto pasa por un filtro con IA de Anthropic, en Estados Unidos, sin tu nombre ni tu correo, y se guarda un resumen de tu IP 90 días. La comprobación de robots es de Cloudflare. Puedes acceder a tus datos, pedir que los borremos y ejercer tus demás derechos como explica la política de privacidad.