PyTorch 2.15 añade FP8 y decodificación de LLM más rápida en Mac con chips Apple silicon
Hecho Qué ha ocurrido
Hugging Face describe las novedades de PyTorch 2.15 para el backend MPS, que permite ejecutar y entrenar modelos en Macs con Apple silicon y macOS 15 o posterior. Incluye tensores FP8, kernels GEMV y de multiplicación agrupada para acelerar la decodificación de LLM, y nuevos kernels de Metal para operaciones como softmax, álgebra lineal compleja y atención. Los datos de rendimiento, como un 1,23× de media en capas lineales o un 1,3× más de tokens por segundo en un M3 Ultra, son mediciones propias de los autores.
Resumen generado mediante IA a partir de Hugging Face (original en inglés). Naturaleza de la información: declaración de parte interesada.
Análisis Por qué importa
Para equipos que prototipan o despliegan modelos en portátiles Mac, reduce la dependencia de la nube en pruebas y ejecuciones locales. Las mejoras de memoria y velocidad pueden hacer viable ejecutar modelos más grandes en hardware que ya tienen los empleados.
- Quién se ve afectado
- Desarrolladores y científicos de datos que usan PyTorch en Mac, y equipos de I+D que trabajan con modelos locales.
- Qué puede cambiar
- Quien pruebe modelos en Mac podría ejecutar LLM y modelos de difusión con menos memoria y mayor velocidad, sin cambiar de código de forma sustancial.
Análisis generado a partir de la información disponible; no procede de la fuente.
Predicción Qué observar a continuación
Conviene vigilar si la versión final mantiene las cifras de la release candidate en modelos reales y cómo avanza la eliminación de MPSGraph prevista para PyTorch 2.16.
Enviar esta noticia por correo
Enviado. Revisa que llegue a la bandeja de entrada de quien lo reciba.
La dirección no parece válida.
Has enviado varios correos seguidos. Espera un rato.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
No se ha podido enviar. Inténtalo de nuevo en unos minutos.
Fuente original: Hugging Face (fuente primaria). La referencia es siempre el artículo original.
Ver fuente original ↗LLMFP8inferencia localmodelos de difusión Hugging FacePyTorch Apple SiliconFP8Hugging FaceMPSPyTorch
Tu opinión
Te hemos enviado un correo para confirmar tu dirección. El comentario se procesará cuando pulses el enlace.
Gracias. Tu comentario se publicará cuando lo revise el equipo (los primeros comentarios de cada persona se moderan).
Comentario publicado. Gracias por participar.
No se puede comentar aquí.
Indica un nombre (de 2 a 60 caracteres).
El correo no parece válido.
El comentario debe tener entre 10 y 2.000 caracteres.
Demasiados enlaces en el comentario.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
Has alcanzado el límite diario de comentarios.
Demasiados comentarios seguidos. Espera un rato.
No se ha podido enviar el correo de confirmación. Inténtalo de nuevo en unos minutos.
0 comentarios
Relacionadas
Yelp añade agentes de voz que llaman a restaurantes para consultar esperas y un asistente con memoria
Yelp incorpora a su app la función Check for Me, un agente de voz que llama a un restaurante para consultar el tiempo de espera y envía el resultado al usuario…
Por qué importaMuestra cómo los agentes de voz empiezan a actuar en nombre de los consumidores frente a los negocios, lo que obliga a las empresas de servicios a…
Waymo anuncia que sus robotaxis sin conductor llegarán a Madrid en 2027
Waymo, la compañía de conducción autónoma de Alphabet, anunció su expansión a la Comunidad de Madrid con viajes de pasajeros sin conductor previstos para 2027…
Por qué importaEs el primer destino español de un operador de robotaxis con servicio comercial en EEUU, lo que anticipa cómo se trasladarán la movilidad urbana y la…
Google despliega en Madrid sus primeros robotaxis autónomos Waymo
Waymo, filial de Google, empezará a operar robotaxis sin conductor en los próximos días en Alcobendas, Getafe y Madrid capital. La comercialización de viajes…
Por qué importaEs un caso concreto de despliegue de conducción autónoma en una ciudad europea, con calendario comercial anunciado. Sirve como referencia para…
Waymo llevará sus robotaxis a Madrid y prevé abrir el servicio a usuarios en 2027
Waymo ha anunciado que llevará sus robotaxis a la Comunidad de Madrid, con la intención de abrir el servicio a los primeros usuarios en 2027. Según la empresa…
Por qué importaEs la primera vez que Waymo, con flota sin conductor en varias ciudades estadounidenses, opera en España, lo que puede marcar el ritmo de la…