Ir al contenido
IA para hoy

inferencia LLM

Noticias etiquetadas con «inferencia LLM»

8 noticias

Filtrar
Herramientas y productos

AWS lanza enrutamiento consciente de prefijos en SageMaker Inference para reducir latencia de LLM

Amazon SageMaker Inference introduce prefix-aware routing, una estrategia que envía peticiones con el mismo prefijo de prompt a la misma instancia para…

Por qué importaPara empresas que despliegan LLMs a escala con prompts que comparten contexto (RAG, bots con instrucciones largas, conversaciones multi-turno), esto…

Impacto medio Fiabilidad una fuente fiable AWS Machine Learning Blog
Herramientas y productos

AWS combina SageMaker HyperPod y Curvine para reducir costes de inferencia en LLM

AWS ha publicado una arquitectura de caché KV multinivel para inferencia de LLM en SageMaker HyperPod que integra Curvine (sistema de ficheros distribuido…

Por qué importaReduce significativamente los costes de infraestructura en despliegues de LLM a escala al optimizar el almacenamiento en caché compartido. Equipos…

Impacto alto Fiabilidad fuente primaria Relevancia 7/10 AWS Machine Learning Blog
Herramientas y productos

AWS SageMaker añade 100+ métricas detalladas para monitoreo de inferencia con IA generativa

Amazon Web Services ha añadido más de 100 métricas detalladas de observabilidad a SageMaker para monitorear endpoints de inferencia de modelos de IA…

Por qué importaPara equipos de MLOps y SRE que operan modelos LLM en producción a escala, identificar rápidamente si un pico de latencia P99 es por presión de…

Impacto alto Fiabilidad fuente primaria Relevancia 7/10 AWS Machine Learning Blog
Investigación

Hugging Face explica batching asincrónico para optimizar inferencia de LLMs

Hugging Face ha publicado un artículo técnico explicando cómo implementar batching asincrónico en inferencia de modelos de lenguaje. El método separa las…

Por qué importaLa eficiencia en inferencia es crítica para cualquier empresa que ejecute modelos LLM en producción, ya que cada punto porcentual de mejora en…

Impacto alto Fiabilidad fuente primaria Relevancia 7/10 Hugging Face
Herramientas y productos

AWS lanza instancias G7e con GPUs Blackwell para inferencia de IA generativa más económica

AWS anunció la disponibilidad de instancias G7e en Amazon SageMaker AI, equipadas con GPUs NVIDIA RTX PRO 6000 Blackwell que ofrecen 96 GB de memoria GDDR7 por…

Por qué importaPara directivos y equipos de operaciones, esta disponibilidad reduce significativamente el coste operativo de ejecutar modelos de lenguaje grandes en…

Impacto alto Fiabilidad fuente primaria Relevancia 7/10 AWS Machine Learning Blog
Herramientas y productos

AWS Trainium acelera inferencia de LLM con decodificación especulativa en vLLM

AWS ha publicado benchmarks demostrando que la decodificación especulativa en AWS Trainium2 puede acelerar la generación de tokens hasta 3x en cargas de…

Por qué importaPara empresas que despliegan asistentes de escritura IA, agentes de código u aplicaciones generativas donde la decodificación es el cuello de botella…

Impacto alto Fiabilidad fuente primaria Relevancia 7/10 AWS Machine Learning Blog
Herramientas y productos

AWS SageMaker HyperPod: optimización de inferencia con auto-escalado dinámico

AWS ha publicado una guía de buenas prácticas para desplegar modelos de inferencia en Amazon SageMaker HyperPod, destacando capacidades de escalado dinámico…

Por qué importaPara equipos que despliegan modelos generativos a escala, la automatización de infraestructura y el escalado a cero pueden traducirse en ahorros…

Impacto medio Fiabilidad una fuente fiable AWS Machine Learning Blog
Herramientas y productos

AWS mejora el contenedor LMI con caché inteligente para inferencia de contextos extensos

AWS ha publicado actualizaciones al contenedor Large Model Inference (LMI) con soporte para LMCache, una solución de caché de pares clave-valor que reutiliza…

Por qué importaReduce significativamente los costes de inferencia en cargas de trabajo con contextos largos (millones de tokens), permitiendo procesar el doble de…

Impacto alto Fiabilidad fuente primaria Relevancia 7/10 AWS Machine Learning Blog