AWS y RadixArk lanzan SGLang-Neuron para servir modelos en chips Trainium
Hecho Qué ha ocurrido
SGLang-Neuron ya está disponible públicamente a través de un contenedor de AWS Deep Learning, desarrollado por RadixArk con Annapurna Labs. Permite servir modelos y generar rollouts de aprendizaje por refuerzo con SGLang en chips Trainium, sobre PyTorch nativo. El artículo incluye un ejemplo de despliegue de gpt-oss-120b en una instancia Trainium3.
Resumen generado mediante IA a partir de AWS Machine Learning Blog (original en inglés). Naturaleza de la información: declaración de parte interesada.
Análisis Por qué importa
Para equipos que ejecutan inferencia a gran escala, ofrece una alternativa a las GPU manteniendo la misma interfaz de SGLang. La decisión sobre el coste real depende de benchmarks propios que el artículo no aporta.
- Quién se ve afectado
- Equipos de ingeniería de IA que despliegan modelos abiertos en infraestructura de AWS.
- Qué puede cambiar
- Podría reducir la dependencia de GPU para inferencia y entrenamiento por refuerzo en AWS, si el rendimiento y la compatibilidad se confirman en cargas reales.
Análisis generado a partir de la información disponible; no procede de la fuente.
Predicción Qué observar a continuación
Qué modelos soportados se amplían, los resultados de rendimiento y coste por token frente a GPU, y la madurez del plugin fuera de los ejemplos oficiales.
Recomendación Qué debería hacer una empresa
Evaluar SGLang-Neuron en un piloto con una carga de inferencia propia durante los próximos 3-6 meses, comparando coste y latencia con la infraestructura actual.
Recomendación generada por IA con la evidencia disponible; no es asesoramiento profesional.
Enviar esta noticia por correo
Enviado. Revisa que llegue a la bandeja de entrada de quien lo reciba.
La dirección no parece válida.
Has enviado varios correos seguidos. Espera un rato.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
No se ha podido enviar. Inténtalo de nuevo en unos minutos.
Fuente original: AWS Machine Learning Blog (fuente primaria). La referencia es siempre el artículo original.
Ver fuente original ↗inferenciaPyTorchchipsLLM AWSRadixArkAnnapurna Labs AWS gpt-oss-120b SGLang SGLang-Neuron Trainium
Relacionadas
RadixArk recauda 400 millones para comercializar SGLang, herramienta de optimización de inferencia
RadixArk, startup comercial derivada del proyecto de código abierto SGLang de UC Berkeley, ha recaudado capital liderado por Accel con una valoración de…
Por qué importaEl surgimiento de RadixArk refleja un patrón crítico en infraestructura de IA: herramientas de código abierto populares se transforman en empresas…
AWS permite escribir bucles de entrenamiento propios para LLM sin gestionar GPUs
Amazon SageMaker AI presenta las APIs de sesiones de entrenamiento, con las que el usuario escribe su propio bucle de entrenamiento de LLM en Python mientras…
Por qué importaPermite a equipos con necesidades de entrenamiento no estándar, como pérdidas personalizadas o aprendizaje por refuerzo, experimentar sin operar…
Amazon lanza TorchNeuron para llevar apps de PyTorch a sus chips Trainium con un cambio de configuración
AWS ha publicado TorchNeuron, una herramienta que permite trasladar aplicaciones de IA escritas en PyTorch al chip Trainium de Amazon. Según Amazon, basta con…
Por qué importaReduce una de las barreras que mantenían a los desarrolladores atados a las GPU de Nvidia, y da una alternativa de hardware y nube a quien construye…
Hugging Face recomienda usar Transformers y TRL directamente en Trainium con TorchNeuron
Hugging Face anuncia que TorchNeuron, un plugin de PyTorch con un nuevo backend para los chips Trainium de AWS, llegará en beta pública el 20 de octubre de…
Por qué importaReduce la necesidad de forks específicos del modelo y de código propio de Neuron, lo que simplifica el mantenimiento de pipelines de entrenamiento y…
Tu opinión
Te hemos enviado un correo para confirmar tu dirección. El comentario se procesará cuando pulses el enlace.
Gracias. Tu comentario se publicará cuando lo revise el equipo (los primeros comentarios de cada persona se moderan).
Comentario publicado. Gracias por participar.
No se puede comentar aquí.
Indica un nombre (de 2 a 60 caracteres).
El correo no parece válido.
El comentario debe tener entre 10 y 2.000 caracteres.
Demasiados enlaces en el comentario.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
Has alcanzado el límite diario de comentarios.
Demasiados comentarios seguidos. Espera un rato.
No se ha podido enviar el correo de confirmación. Inténtalo de nuevo en unos minutos.