Ir al contenido
IA para hoy

vLLM

Noticias etiquetadas con «vLLM»

12 noticias

Filtrar
Herramientas y productos

Deepseek publica en código abierto DeepInfer, el motor de inferencia de su modelo más rápido y barato

Deepseek ha publicado con licencia Apache 2.0 DeepInfer, su framework interno de inferencia que sirve su modelo V4.1-Flash. Está basado en vLLM e incorpora…

Por qué importaReducir el coste de servir modelos abiertos facilita a las empresas desplegarlos por su cuenta a menor precio. La publicación añade presión sobre los…

Impacto medio Fiabilidad declaración interesada The Decoder
Modelos y avances

AWS describe una transferencia KV por push en vLLM que reduce la latencia de inferencia de LLM

AWS publicó un artículo técnico sobre un conector NIXL en modo push para vLLM, que traslada la coordinación de la transferencia del caché KV fuera de la ruta…

Por qué importaPara quien despliega inferencia de LLM a escala, el tiempo hasta el primer token y el coste por token dependen tanto de la infraestructura de…

Impacto bajo Fiabilidad una fuente fiable AWS Machine Learning Blog
Modelos y avances

AWS describe transferencia KV bidireccional en vLLM que reduce el TTFT en cargas agénticas multiturno

AWS Machine Learning Blog explica una técnica de transferencia bidireccional de caché KV en vLLM para cargas agénticas multiturno, en la que el nodo de…

Por qué importaLas aplicaciones de agentes que reenvían historiales largos en cada turno pueden acumular latencia y coste de cómputo; reutilizar contexto ya…

Impacto bajo Fiabilidad una fuente fiable AWS Machine Learning Blog
Modelos y avances

Reflection lanza Beam, un modelo abierto de 501.000 millones de parámetros para programación y agentes

Hugging Face publica el lanzamiento de Beam, un modelo de lenguaje abierto de tipo Mixture-of-Experts con 501.000 millones de parámetros totales y unos 23.000…

Por qué importaUn modelo de esta escala con pesos abiertos permite a una empresa desplegarlo en su propia infraestructura y personalizarlo, algo que hasta ahora…

Impacto alto Fiabilidad varias fuentes Relevancia 8/10 Hugging Face
Herramientas y productos

Hugging Face habilita entrenamiento RL asíncrono con LoRA en HF Jobs sin NCCL

Hugging Face documenta cómo el soporte de LoRA integrado en el AsyncGRPOTrainer de TRL (v1.14) permite separar el entrenamiento y la inferencia en máquinas…

Por qué importaReduce drásticamente el coste de infraestructura y la complejidad técnica para hacer fine-tuning con RL de modelos de lenguaje, democratizando el…

Impacto bajo Fiabilidad una fuente fiable Hugging Face
Herramientas y productos

AWS publica guía para desplegar el modelo abierto Qwen3.8-2.4T-A95B en SageMaker HyperPod

Alibaba lanzó el 12 de agosto de 2026 Qwen3.8-2.4T-A95B, un modelo de pesos abiertos con 2,4 billones de parámetros totales (95.000 millones activados por…

Por qué importaEs la primera vez que un modelo de la clase Qwen-Max se libera en pesos abiertos, lo que da a las empresas una alternativa autoalojada frente a APIs…

Impacto medio Fiabilidad una fuente fiable AWS Machine Learning Blog
Herramientas y productos

Hugging Face optimiza inferencia de modelos en vLLM sin reescribir código

Hugging Face anunció una mejora en el backend de transformers para vLLM que permite ejecutar modelos de lenguaje con velocidad comparable a implementaciones…

Por qué importaReduce la barrera técnica para desplegar cualquier modelo de Hugging Face a velocidad de producción; permite a autores de modelos y equipos de ML…

Impacto alto Fiabilidad fuente primaria Relevancia 7/10 Hugging Face
Herramientas y productos

Hugging Face permite desplegar servidores vLLM en una línea de comando

Hugging Face ha lanzado una función que permite desplegar servidores vLLM a través de su infraestructura Jobs con un único comando. La herramienta utiliza la…

Por qué importaReduce significativamente la barrera de entrada para desarrolladores que necesitan servir modelos abiertos en inferencia, evitando configuración…

Impacto medio Fiabilidad fuente primaria Hugging Face
Investigación

ServiceNow documenta migración de vLLM a V1: cuatro correcciones críticas en reinforcement learning

ServiceNow-AI ha publicado un análisis técnico sobre la migración de vLLM V0 a V1, identificando y corrigiendo cuatro problemas de comportamiento del motor de…

Por qué importaEl incidente ilustra una lección crítica en RL a escala: los errores de corrección del objetivo pueden enmascarar problemas subyacentes de corrección…

Impacto medio Fiabilidad fuente primaria Hugging Face
Herramientas y productos

AWS Trainium acelera inferencia de LLM con decodificación especulativa en vLLM

AWS ha publicado benchmarks demostrando que la decodificación especulativa en AWS Trainium2 puede acelerar la generación de tokens hasta 3x en cargas de…

Por qué importaPara empresas que despliegan asistentes de escritura IA, agentes de código u aplicaciones generativas donde la decodificación es el cuello de botella…

Impacto alto Fiabilidad fuente primaria Relevancia 7/10 AWS Machine Learning Blog
Herramientas y productos

AWS y vLLM optimizan la inferencia multimodelo con adaptadores LoRA en MoE

AWS ha desarrollado junto con la comunidad vLLM un kernel especializado (fused_moe_lora) para servir múltiples modelos fine-tuneados con LoRA sobre…

Por qué importaReduce costos de infraestructura GPU ociosa para empresas con múltiples modelos especializados, un problema común en organizaciones que usan IA…

Impacto alto Fiabilidad fuente primaria Relevancia 7/10 AWS Machine Learning Blog
Inversión y mercado

Inferact capta 150 millones para comercializar vLLM, el software de inferencia de código abierto

Los creadores del proyecto de código abierto vLLM han constituido Inferact, una startup respaldada por capital de riesgo, tras recaudar 150 millones de dólares…

Por qué importaLa inferencia es ahora el foco crítico de la IA después del entrenamiento de modelos, y herramientas como vLLM que aceleran y abaratan su ejecución…

Impacto alto Fiabilidad una fuente fiable Relevancia 7/10 TechCrunch AI