Talkie: modelo de lenguaje de 13B entrenado solo con textos anteriores a 1931
Hecho Qué ha ocurrido
Nick Levine, David Duvenaud y Alec Radford han lanzado talkie, un modelo de lenguaje de 13 mil millones de parámetros entrenado exclusivamente con 260 mil millones de tokens de texto en inglés anterior a 1931. Se ofrecen dos versiones bajo licencia Apache 2.0: una base y otra afinada para chat mediante instrucciones extraídas de obras de referencia pre-1931, con licencia de dominio público en EE.UU.
Resumen generado mediante IA a partir de Simon Willison (original en inglés). Naturaleza de la información: hecho documentado.
Análisis Por qué importa
El proyecto explora un enfoque alternativo a los datos de entrenamiento: usar únicamente información de dominio público y verificable, evitando litigios sobre derechos de autor. Además, abre investigaciones sobre cómo los modelos pueden extrapolar más allá de su conocimiento histórico y si podrían redescubrir avances científicos como la relatividad general.
- Quién se ve afectado
- Investigadores de IA, desarrolladores de modelos open source, organizaciones preocupadas por la sostenibilidad legal de datos de entrenamiento y equipos que buscan entrenar modelos sin contaminar con información anacrrónica.
- Qué puede cambiar
- Si se generaliza el enfoque de entrenar con datos de dominio público verificable, podría reducir dependencia de grandes corpus de datos de copyright disputado. Los proyectos posteriores podrían replicar este método para entrenar modelos especializados sin riesgos legales.
Análisis generado a partir de la información disponible; no procede de la fuente.
Predicción Qué observar a continuación
Si publican el corpus de entrenamiento y sus scripts de reproducción; adopción del método en otros proyectos académicos o de código abierto; si logran resolver el dilema de post-entrenamiento sin contaminación anacrrónica usando solo modelos vintage como jueces; y evolución de modelos similares como Mr. Chatterbox.
Recomendación Qué debería hacer una empresa
Equipos de cumplimiento legal en empresas de IA deberían evaluar en 6-12 meses si este enfoque de datos públicos reduce riesgos de litigio en sus pipelines de entrenamiento, aunque la viabilidad comercial aún es limitada.
Recomendación generada por IA con la evidencia disponible; no es asesoramiento profesional.
Enviar esta noticia por correo
Enviado. Revisa que llegue a la bandeja de entrada de quien lo reciba.
La dirección no parece válida.
Has enviado varios correos seguidos. Espera un rato.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
No se ha podido enviar. Inténtalo de nuevo en unos minutos.
Fuente original: Simon Willison. La referencia es siempre el artículo original.
Ver fuente original ↗LLMpre-entrenamientofine-tuning datos de entrenamiento dominio público IA histórica modelos de código abierto reproducibilidad
Relacionadas
Mr. Chatterbox: modelo entrenado con textos victorianos de dominio público
Trip Venturella lanzó Mr. Chatterbox, un modelo de lenguaje de 340 millones de parámetros entrenado únicamente con 28.035 textos británicos del siglo XIX…
Por qué importaRepresenta un experimento validado sobre entrenar modelos útiles sin scraping ilegal de datos: demuestra la viabilidad de usar textos de dominio…
Thinking Machines lanza Inkling: modelo abierto multimodal de 975B parámetros con contexto de 1M
Thinking Machines ha lanzado Inkling, un modelo de lenguaje abierto con 975B parámetros totales (41B activos) que procesa de forma nativa imagen, texto y…
Por qué importaInkling representa un avance significativo en modelos multimodales abiertos de gran escala, demostrando que la capacidad nativa de razonamiento entre…
Por qué la IA inventa respuestas: el origen de las alucinaciones según un paper de OpenAI
Un paper de OpenAI y Georgia Tech, publicado en septiembre de 2025, atribuye las alucinaciones de los modelos de lenguaje a dos causas: el entrenamiento para…
Por qué importaPara un directivo, la cifra de precisión de un modelo puede ocultar que inventa con seguridad si las pruebas no penalizan el error. Conviene evaluar…
Microsoft asegura que su IA de diagnóstico supera a médicos generalistas en casos clínicos complejos
Microsoft afirma que su sistema MAI-DxO, que coordina varios agentes de IA, acertó el 83% de los casos complejos de una simulación con casos del New England…
Por qué importaSi los resultados se confirman en entornos clínicos reales, la IA de diagnóstico podría pasar de herramienta de apoyo a parte del proceso de decisión…
Tu opinión
Te hemos enviado un correo para confirmar tu dirección. El comentario se procesará cuando pulses el enlace.
Gracias. Tu comentario se publicará cuando lo revise el equipo (los primeros comentarios de cada persona se moderan).
Comentario publicado. Gracias por participar.
No se puede comentar aquí.
Indica un nombre (de 2 a 60 caracteres).
El correo no parece válido.
El comentario debe tener entre 10 y 2.000 caracteres.
Demasiados enlaces en el comentario.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
Has alcanzado el límite diario de comentarios.
Demasiados comentarios seguidos. Espera un rato.
No se ha podido enviar el correo de confirmación. Inténtalo de nuevo en unos minutos.