Empresa
vLLM
Evolución en 16 semanas
El momentum semanal se estima con la misma fórmula que el momentum actual: volumen, aceleración respecto a la semana anterior, diversidad de fuentes e impacto.
Relacionadas
LLM ×3Hugging Face ×2inferencia ×2OpenAI ×1AWS ×1Qwen ×1MoE ×1API ×1reinforcement learning ×1OpenRouter ×1
Historias
Noticias
Hugging Face optimiza inferencia de modelos en vLLM sin reescribir código
Hugging Face anunció una mejora en el backend de transformers para vLLM que permite ejecutar modelos de lenguaje con velocidad comparable a implementaciones…
Por qué importaReduce la barrera técnica para desplegar cualquier modelo de Hugging Face a velocidad de producción; permite a autores de modelos y equipos de ML…
ServiceNow documenta migración de vLLM a V1: cuatro correcciones críticas en reinforcement learning
ServiceNow-AI ha publicado un análisis técnico sobre la migración de vLLM V0 a V1, identificando y corrigiendo cuatro problemas de comportamiento del motor de…
Por qué importaEl incidente ilustra una lección crítica en RL a escala: los errores de corrección del objetivo pueden enmascarar problemas subyacentes de corrección…
AWS y vLLM optimizan la inferencia multimodelo con adaptadores LoRA en MoE
AWS ha desarrollado junto con la comunidad vLLM un kernel especializado (fused_moe_lora) para servir múltiples modelos fine-tuneados con LoRA sobre…
Por qué importaReduce costos de infraestructura GPU ociosa para empresas con múltiples modelos especializados, un problema común en organizaciones que usan IA…
Open Responses: estándar neutral para APIs de modelos de lenguaje
Open Responses es una especificación estándar abierta y neutral con respecto a proveedores para que clientes se comuniquen con LLMs alojados mediante una API…
Por qué importaUn estándar abierto para APIs de LLMs reduce la fragmentación del ecosistema y permite que desarrolladores cambien entre proveedores sin reescribir…