RETRO: recuperación masiva en modelos de lenguaje

Línea temporal

1. 6 jul
   Google DeepMindFiabilidad confirmado por varias fuentes

   Google DeepMind publica RETRO: modelos de lenguaje mejorados con búsqueda en billones de tokens

   Google DeepMind presenta RETRO (Retrieval Enhanced TRansfOrmers), un método que aumenta transformers con búsqueda sobre una base de datos de pasajes de texto que incluye páginas web, libros, noticias y código. Un modelo…

2. 6 jul
   Google DeepMindFiabilidad confirmado por varias fuentes

   DeepMind publica Gopher y RETRO: avances en modelos de lenguaje y seguridad

   DeepMind ha publicado tres papers sobre modelos de lenguaje: uno detallado sobre Gopher, un modelo de 280 mil millones de parámetros; otro que presenta una taxonomía sistemática de 21 riesgos éticos y sociales asociados…