Ir al contenido
IA para hoy

optimización de inferencia

Noticias etiquetadas con «optimización de inferencia»

7 noticias

Filtrar
Herramientas y productos

Amazon SageMaker Python SDK v3 integra optimización automática de modelos generativos

AWS lanzó en el SageMaker Python SDK v3 (versión 3.17.0 o superior) nuevas capacidades de recomendación automática de despliegue para modelos generativos de…

Por qué importaAutomatiza un proceso laborioso (prueba manual de múltiples tipos de instancia y configuraciones) que antes requería pasar por AWS SageMaker Studio o…

Impacto medio Fiabilidad fuente primaria Relevancia 7/10 AWS Machine Learning Blog
Herramientas y productos

Hugging Face integra cuantización Nunchaku 4-bit en Diffusers para inferencia de imagen más rápida

Hugging Face ha integrado la técnica de cuantización SVDQuant de Nunchaku directamente en su librería Diffusers, permitiendo cargar modelos de difusión con…

Por qué importaEsta integración democratiza la optimización de inferencia de modelos de difusión, reduciendo barreras técnicas y permitiendo a más empresas…

Impacto medio Fiabilidad fuente primaria Relevancia 7/10 Hugging Face
Herramientas y productos

AWS optimiza inferencia de LLMs con separación de prefill y decode en SageMaker HyperPod

AWS publica cómo implementar Disaggregated Prefill and Decode (DPD) con vLLM en SageMaker HyperPod, una técnica que separa el procesamiento de prompts largos…

Por qué importaLas empresas que despliegan LLMs a escala enfrentan cuellos de botella cuando prompts largos bloquean la generación de tokens en otros usuarios. DPD…

Impacto alto Fiabilidad fuente primaria Relevancia 7/10 AWS Machine Learning Blog
Herramientas y productos

Hugging Face optimiza inferencia de modelos en vLLM sin reescribir código

Hugging Face anunció una mejora en el backend de transformers para vLLM que permite ejecutar modelos de lenguaje con velocidad comparable a implementaciones…

Por qué importaReduce la barrera técnica para desplegar cualquier modelo de Hugging Face a velocidad de producción; permite a autores de modelos y equipos de ML…

Impacto alto Fiabilidad fuente primaria Relevancia 7/10 Hugging Face
Herramientas y productos

AWS lanza P-EAGLE, decodificación especulativa paralela para acelerar LLMs en SageMaker

AWS ha desarrollado y publicado P-EAGLE (Parallel-EAGLE), un método de decodificación especulativa que paraleliza completamente la generación de tokens de…

Por qué importaPara empresas que ejecutan LLMs en producción, esta optimización reduce latencia e incrementa throughput sin cambios de código ni gestión de kernels…

Impacto medio Fiabilidad fuente primaria Relevancia 7/10 AWS Machine Learning Blog
Modelos y avances

NVIDIA presenta modelos de difusión para generar texto 6 veces más rápido

NVIDIA ha lanzado Nemotron-Labs Diffusion, una familia de modelos de lenguaje que generan múltiples tokens en paralelo e iterativamente los refinan, en lugar…

Por qué importaPara desarrolladores que crean aplicaciones sensibles a la latencia, esta arquitectura resuelve el cuello de botella inherente de la generación…

Impacto alto Fiabilidad fuente primaria Relevancia 8/10 Hugging Face
Inversión y mercado

RadixArk recauda 400 millones para comercializar SGLang, herramienta de optimización de inferencia

RadixArk, startup comercial derivada del proyecto de código abierto SGLang de UC Berkeley, ha recaudado capital liderado por Accel con una valoración de…

Por qué importaEl surgimiento de RadixArk refleja un patrón crítico en infraestructura de IA: herramientas de código abierto populares se transforman en empresas…

Impacto alto Fiabilidad rumor, sin confirmar Relevancia 8/10 TechCrunch AI