Streaming de pesos permite ejecutar modelos gigantes en hardware de consumo
Resumen En qué punto está
Desarrolladores independientes han logrado ejecutar modelos de lenguaje masivos (hasta 1 billón de parámetros) en hardware limitado mediante técnicas de streaming de pesos desde SSD, aprovechando arquitecturas Mixture-of-Experts que solo cargan en RAM los expertos activados. Comenzó con Qwen3.5-397B-A17B en un MacBook Pro con 48GB de RAM usando técnicas derivadas de investigación de Apple, y se extendió a Kimi K2.5 (1B parámetros) e incluso a ejecución en iPhone. Las cuantizaciones agresivas (2-4 bits) y el uso de herramientas de codificación asistidas por IA permitieron optimizar el rendimiento hasta varios tokens por segundo.
Resumen generado mediante IA a partir de las 2 noticias de la historia. Última actualización: 10 sep.
Enviar esta historia por correo
Enviado. Revisa que llegue a la bandeja de entrada de quien lo reciba.
La dirección no parece válida.
Has enviado varios correos seguidos. Espera un rato.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
No se ha podido enviar. Inténtalo de nuevo en unos minutos.
Línea temporal
-
Técnica de streaming expande acceso a modelos gigantes en hardware limitado
Desarrolladores independientes han logrado ejecutar modelos de lenguaje extremadamente grandes mediante una técnica de streaming de pesos desde almacenamiento SSD, evitando la limitación de RAM. En concreto, se han…
-
Ejecutar el modelo Qwen de 397B localmente en MacBook usando técnicas de Apple
Dan Woods consiguió ejecutar una versión personalizada del modelo Qwen3.5-397B-A17B a 5.5+ tokens/segundo en un MacBook Pro M3 Max de 48GB, usando técnicas de la investigación "LLM in a Flash" de Apple de 2023. El…
Tu opinión
Te hemos enviado un correo para confirmar tu dirección. El comentario se procesará cuando pulses el enlace.
Gracias. Tu comentario se publicará cuando lo revise el equipo (los primeros comentarios de cada persona se moderan).
Comentario publicado. Gracias por participar.
No se puede comentar aquí.
Indica un nombre (de 2 a 60 caracteres).
El correo no parece válido.
El comentario debe tener entre 10 y 2.000 caracteres.
Demasiados enlaces en el comentario.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
Has alcanzado el límite diario de comentarios.
Demasiados comentarios seguidos. Espera un rato.
No se ha podido enviar el correo de confirmación. Inténtalo de nuevo en unos minutos.