i14 entrena y sirve su modelo Laplace 3B en AWS Trainium2 con PyTorch nativo
Hecho Qué ha ocurrido
i14 ha entrenado y servido Laplace 3B, un modelo de atención lineal con Gated Linear Attention, en aceleradores AWS Trainium2 mediante PyTorch nativo. Según el artículo, su estado recurrente ocupa 29,5 MB por secuencia sea cual sea la longitud del contexto. Los resultados reportados son unos 120.000 tokens por segundo de entrenamiento en una instancia trn2.48xlarge y 11.544 tokens de salida por segundo con 1.280 secuencias concurrentes.
Resumen generado mediante IA a partir de AWS Machine Learning Blog (original en inglés). Naturaleza de la información: declaración de parte interesada.
Análisis Por qué importa
Presenta una alternativa a la caché KV de los transformers que podría hacer más predecible y barato el servicio de agentes y de análisis de documentos largos. También muestra que aceleradores distintos de las GPU pueden ejecutar arquitecturas personalizadas.
- Quién se ve afectado
- Equipos de ingeniería que sirven modelos con contextos largos y empresas que evalúan infraestructura de IA alternativa a las GPU.
- Qué puede cambiar
- Si este tipo de arquitectura se consolida, el consumo de memoria por sesión dejaría de crecer con el contexto, aunque habría que comprobar la calidad de recuperación de información en cada caso de uso.
Análisis generado a partir de la información disponible; no procede de la fuente.
Predicción Qué observar a continuación
Conviene vigilar si estas cifras se reproducen con evaluaciones independientes, si Laplace 3B se publica o se adopta fuera de i14, y cómo se comparan calidad y coste frente a transformers con caché KV en el mismo hardware.
Enviar esta noticia por correo
Enviado. Revisa que llegue a la bandeja de entrada de quien lo reciba.
La dirección no parece válida.
Has enviado varios correos seguidos. Espera un rato.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
No se ha podido enviar. Inténtalo de nuevo en unos minutos.
Fuente original: AWS Machine Learning Blog (fuente primaria). La referencia es siempre el artículo original.
Ver fuente original ↗LLMatención linealGLAPyTorchchips i14AWS atención lineal AWS Trainium2 i14 Laplace 3B PyTorch
Relacionadas
AWS Trainium acelera inferencia de LLM con decodificación especulativa en vLLM
AWS ha publicado benchmarks demostrando que la decodificación especulativa en AWS Trainium2 puede acelerar la generación de tokens hasta 3x en cargas de…
Por qué importaPara empresas que despliegan asistentes de escritura IA, agentes de código u aplicaciones generativas donde la decodificación es el cuello de botella…
AWS publica arquitectura técnica para entrenar modelos base a escala con infraestructura abierta
Amazon ha publicado en Hugging Face un análisis detallado sobre cómo construir la infraestructura necesaria para entrenar e inferencia de modelos base…
Por qué importaProporciona a ingenieros y investigadores un blueprint práctico y documentado sobre cómo dimensionar y ejecutar entrenamientos de modelos base…
Demuestran que modelos de IA funcionan con solo 128 MB de RAM en procesadores de 1997
Investigadores liderados por Andrej Karpathy y EXO Labs ejecutaron un modelo basado en Llama 2 en una computadora con procesador Pentium II de 350 MHz y 128 MB…
Por qué importaDemuestra que la IA puede democratizarse en hardware antiguo o de bajo costo, reduciendo la dependencia de infraestructura cara y abriendo nuevas…
Taalas ejecuta Llama 3.1 8B a 17.000 tokens por segundo con hardware personalizado
Taalas, startup de hardware canadiense, anunció su primer producto: una implementación de hardware personalizado de Llama 3.1 8B capaz de ejecutarse a 17.000…
Por qué importaRepresenta un avance significativo en inferencia optimizada: acelera dramáticamente la velocidad de respuesta de modelos de tamaño mediano mediante…
Tu opinión
Te hemos enviado un correo para confirmar tu dirección. El comentario se procesará cuando pulses el enlace.
Gracias. Tu comentario se publicará cuando lo revise el equipo (los primeros comentarios de cada persona se moderan).
Comentario publicado. Gracias por participar.
No se puede comentar aquí.
Indica un nombre (de 2 a 60 caracteres).
El correo no parece válido.
El comentario debe tener entre 10 y 2.000 caracteres.
Demasiados enlaces en el comentario.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
Has alcanzado el límite diario de comentarios.
Demasiados comentarios seguidos. Espera un rato.
No se ha podido enviar el correo de confirmación. Inténtalo de nuevo en unos minutos.