Chinchilla: la ratio óptima entre parámetros y datos en LLM
Resumen En qué punto está
DeepMind publicó en 2022 un estudio que demuestra que los grandes modelos de lenguaje de la época estaban sobredimensionados en parámetros respecto a los datos de entrenamiento usados. Su modelo Chinchilla, con 70 mil millones de parámetros y 1.3 billones de tokens, superó a Gopher (280 mil millones de parámetros) usando el mismo presupuesto computacional. El hallazgo estableció una nueva ley de escalado: aproximadamente 4 veces menos parámetros con 4 veces más datos. El trabajo fue presentado también en NeurIPS 2022 junto con otras 46 investigaciones de DeepMind, incluyendo el modelo multimodal Flamingo.
Resumen generado mediante IA a partir de las 2 noticias de la historia. Última actualización: 10 sep.
Enviar esta historia por correo
Enviado. Revisa que llegue a la bandeja de entrada de quien lo reciba.
La dirección no parece válida.
Has enviado varios correos seguidos. Espera un rato.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
No se ha podido enviar. Inténtalo de nuevo en unos minutos.
Línea temporal
-
DeepMind presenta 47 trabajos en NeurIPS 2022, incluyendo Chinchilla y Flamingo
DeepMind presentó 47 artículos en la conferencia NeurIPS 2022 (28 de noviembre - 9 de diciembre), con 35 colaboraciones externas. Destaca Chinchilla, un modelo de lenguaje de 70 mil millones de parámetros que supera a…
-
DeepMind: modelos más pequeños con más datos superan a gigantes en eficiencia
DeepMind publicó un análisis empírico sobre el entrenamiento óptimo de modelos de lenguaje, concluyendo que los LLM actuales son demasiado grandes para su presupuesto computacional y reciben insuficientes datos de…
Tu opinión
Te hemos enviado un correo para confirmar tu dirección. El comentario se procesará cuando pulses el enlace.
Gracias. Tu comentario se publicará cuando lo revise el equipo (los primeros comentarios de cada persona se moderan).
Comentario publicado. Gracias por participar.
No se puede comentar aquí.
Indica un nombre (de 2 a 60 caracteres).
El correo no parece válido.
El comentario debe tener entre 10 y 2.000 caracteres.
Demasiados enlaces en el comentario.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
Has alcanzado el límite diario de comentarios.
Demasiados comentarios seguidos. Espera un rato.
No se ha podido enviar el correo de confirmación. Inténtalo de nuevo en unos minutos.