DeepMind presenta RETRO y Gopher: eficiencia mediante recuperación de texto
Resumen En qué punto está
En diciembre de 2021, Google DeepMind publicó tres investigaciones relacionadas: el modelo de lenguaje Gopher (280 mil millones de parámetros), una taxonomía de riesgos éticos de los LLMs, y RETRO, una arquitectura que combina modelos más pequeños con búsqueda en una base de datos de hasta dos billones de tokens. RETRO, con solo 7,5 mil millones de parámetros, igualó o superó a modelos mucho más grandes como Gopher y Jurassic-1 en varios benchmarks. El hallazgo clave es que aumentar el tamaño de la base de recuperación mejora el rendimiento de forma continua, ofreciendo una vía alternativa al simple escalado de parámetros.
Resumen generado mediante IA a partir de las 2 noticias de la historia. Última actualización: 10 sep.
Enviar esta historia por correo
Enviado. Revisa que llegue a la bandeja de entrada de quien lo reciba.
La dirección no parece válida.
Has enviado varios correos seguidos. Espera un rato.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
No se ha podido enviar. Inténtalo de nuevo en unos minutos.
Línea temporal
-
Google DeepMind publica RETRO: modelos de lenguaje mejorados con búsqueda en billones de tokens
Google DeepMind presenta RETRO (Retrieval Enhanced TRansfOrmers), un método que aumenta transformers con búsqueda sobre una base de datos de pasajes de texto que incluye páginas web, libros, noticias y código. Un modelo…
-
DeepMind publica Gopher y RETRO: avances en modelos de lenguaje y seguridad
DeepMind ha publicado tres papers sobre modelos de lenguaje: uno detallado sobre Gopher, un modelo de 280 mil millones de parámetros; otro que presenta una taxonomía sistemática de 21 riesgos éticos y sociales asociados…
Tu opinión
Te hemos enviado un correo para confirmar tu dirección. El comentario se procesará cuando pulses el enlace.
Gracias. Tu comentario se publicará cuando lo revise el equipo (los primeros comentarios de cada persona se moderan).
Comentario publicado. Gracias por participar.
No se puede comentar aquí.
Indica un nombre (de 2 a 60 caracteres).
El correo no parece válido.
El comentario debe tener entre 10 y 2.000 caracteres.
Demasiados enlaces en el comentario.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
Has alcanzado el límite diario de comentarios.
Demasiados comentarios seguidos. Espera un rato.
No se ha podido enviar el correo de confirmación. Inténtalo de nuevo en unos minutos.