Hugging Face da soporte nativo a TPUs en Transformers y Diffusers con TorchTPU
Hecho Qué ha ocurrido
Hugging Face anuncia que TorchTPU añade las TPU de Google como backend de PyTorch, lo que permite ejecutar modelos de Transformers y Diffusers en TPU sin Optimum TPU. Según el texto, las pruebas de la suite de Transformers en TPU superan el 96,5 %, y se han reportado 34 incidencias al repositorio de TorchTPU, de las que 19 están resueltas. La compañía también publica cifras de aceleración de decodificación con kernels de Hub en TPU v6e-8, de hasta 21,5× con lote 64 en Qwen3-30B-A3B.
Resumen generado mediante IA a partir de Hugging Face (original en inglés). Naturaleza de la información: declaración de parte interesada.
Análisis Por qué importa
Reduce la fricción para equipos que usan PyTorch y quieren entrenar o servir modelos fuera de GPU, con menos código específico que mantener. Aun así, las cifras de rendimiento son del propio proveedor y conviene validarlas en cargas reales.
- Quién se ve afectado
- Equipos de ML e ingeniería que despliegan modelos de código abierto en Google Cloud.
- Qué puede cambiar
- Podría facilitar elegir TPU como alternativa a GPU para inferencia y entrenamiento de modelos de Hugging Face, sin mantener una bifurcación del código.
Análisis generado a partir de la información disponible; no procede de la fuente.
Predicción Qué observar a continuación
Evolución de la cobertura de pruebas en TPU, cierre de las incidencias abiertas y disponibilidad de TPU en Google Cloud a precios competitivos frente a GPU.
Recomendación Qué debería hacer una empresa
Evaluar en los próximos 3-6 meses un piloto de inferencia en TPU con uno de los modelos de producción para comparar coste y latencia frente a la infraestructura actual.
Recomendación generada por IA con la evidencia disponible; no es asesoramiento profesional.
Enviar esta noticia por correo
Enviado. Revisa que llegue a la bandeja de entrada de quien lo reciba.
La dirección no parece válida.
Has enviado varios correos seguidos. Espera un rato.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
No se ha podido enviar. Inténtalo de nuevo en unos minutos.
Fuente original: Hugging Face (fuente primaria). La referencia es siempre el artículo original.
Ver fuente original ↗PyTorchTPUTransformersDiffuserskernels Pallas Hugging FaceGoogle Google Cloud Hugging Face PyTorch TorchTPU TPU
Relacionadas
Hugging Face recomienda usar Transformers y TRL directamente en Trainium con TorchNeuron
Hugging Face anuncia que TorchNeuron, un plugin de PyTorch con un nuevo backend para los chips Trainium de AWS, llegará en beta pública el 20 de octubre de…
Por qué importaReduce la necesidad de forks específicos del modelo y de código propio de Neuron, lo que simplifica el mantenimiento de pipelines de entrenamiento y…
Hugging Face publica guía sobre optimización de atención en PyTorch
Hugging Face ha publicado el tercer artículo de su serie "Profiling in PyTorch" dedicado a la perfilación y optimización del mecanismo de atención en redes…
Por qué importaPara ingenieros y equipos de ML que optimizan modelos de transformers en producción, entender cómo perfilar y analizar cuellos de botella en atención…
Agentes de IA generan kernels CUDA optimizados para transformers y diffusers
Hugging Face ha desarrollado una habilidad (skill) para agentes de codificación que les permite escribir kernels CUDA de producción. Los agentes Claude y…
Por qué importaLa capacidad de automatizar la escritura de kernels CUDA especializados reduce significativamente la barrera técnica para optimizar modelos en…
Hugging Face publica guía de optimización de MLPs en PyTorch con perfilado
Hugging Face publica la segunda parte de su serie 'Profiling in PyTorch', dedicada a profundizar en la optimización de capas lineales (nn.Linear) y…
Por qué importaLos directivos y equipos de ingeniería que construyen o despliegan modelos de IA en producción necesitan entender estos mecanismos internos para…
Tu opinión
Te hemos enviado un correo para confirmar tu dirección. El comentario se procesará cuando pulses el enlace.
Gracias. Tu comentario se publicará cuando lo revise el equipo (los primeros comentarios de cada persona se moderan).
Comentario publicado. Gracias por participar.
No se puede comentar aquí.
Indica un nombre (de 2 a 60 caracteres).
El correo no parece válido.
El comentario debe tener entre 10 y 2.000 caracteres.
Demasiados enlaces en el comentario.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
Has alcanzado el límite diario de comentarios.
Demasiados comentarios seguidos. Espera un rato.
No se ha podido enviar el correo de confirmación. Inténtalo de nuevo en unos minutos.