NVIDIA y AI4Bharat presentan Nemotron-pretraining-Indic-v1, con 2,8 billones de tokens en 22 idiomas indios
Hecho Qué ha ocurrido
NVIDIA, con IIT Madras y su laboratorio AI4Bharat, anuncia Nemotron-pretraining-Indic-v1, un corpus de unos 2,8 billones de tokens en los 22 idiomas listados en la Constitución de la India, que se publicará próximamente junto con un pipeline abierto de generación de datos sintéticos. Según el texto, el corpus contiene 2.601.000 millones de tokens en escritura nativa y 224.600 millones romanizados. Nemotron 3.5 Super VL añadió 10.000 millones de tokens indios en su preentrenamiento continuado.
Resumen generado mediante IA a partir de Hugging Face (original en inglés). Naturaleza de la información: declaración de parte interesada.
Análisis Por qué importa
Los idiomas indios cuentan con poco material de entrenamiento, y un corpus abierto y auditable reduce esa barrera para crear modelos en esas lenguas. Para empresas con operaciones o clientes en la India, también facilita futuras opciones de modelos locales.
- Quién se ve afectado
- Desarrolladores de modelos, equipos de IA en empresas con presencia en la India y centros de investigación en lenguas de baja disponibilidad de datos.
- Qué puede cambiar
- Si el corpus y el pipeline se publican como se describen, los equipos podrán entrenar o adaptar modelos en lenguas indias sin generar todo el dato desde cero, y reproducir o modificar el proceso de generación con sus propios documentos.
Análisis generado a partir de la información disponible; no procede de la fuente.
Predicción Qué observar a continuación
Conviene vigilar la fecha real de publicación, la licencia de uso, la calidad de los modelos que se entrenen con este corpus y los resultados de evaluación independientes en tareas reales en idiomas indios.
Enviar esta noticia por correo
Fuente original: Hugging Face (fuente primaria). La referencia es siempre el artículo original.
Ver fuente original ↗LLMdatos sintéticospreentrenamiento NVIDIAIIT MadrasAI4Bharat AI4Bharatcódigo abiertodatos sintéticosidiomas indiosNvidia
Tu opinión
0 comentarios
Relacionadas
Meta publica los pesos de Muse Spark Open, su modelo abierto de 816.000 millones de parámetros
Meta publicó los pesos de Muse Spark Open, un modelo de mezcla de expertos de 816.000 millones de parámetros que puede descargarse desde Hugging Face. Según la…
Por qué importaUn modelo de este tamaño con pesos abiertos y licencia comercial amplía las opciones para desarrollar aplicaciones y agentes sin depender de una API…
IBM presenta Granite Switch 4.1, modelos que combinan chat, decisiones y voz en un solo endpoint
IBM presentó Granite-Switch-4.1-8B y 30B, modelos que integran en una sola arquitectura chat, modelos de decisión y reconocimiento de voz mediante adaptadores…
Por qué importaSi los resultados se confirman, una sola GPU podría cubrir tareas que hoy requieren varios modelos o servicios separados, lo que afecta a costes de…
Meta lanza Muse Spark Open, un modelo abierto de 816.000 millones de parámetros que puede ejecutarse en Mac
Meta ha lanzado Muse Spark Open, que la compañía describe como el modelo de pesos abiertos más capaz de Estados Unidos, con 816.000 millones de parámetros y…
Por qué importaUn modelo abierto de esta escala amplía las opciones de las empresas que quieren control sobre sus datos y costes, aunque el requisito de memoria…
Meta publica Muse Spark Open, un modelo de pesos abiertos de 816.000 millones de parámetros
Meta ha presentado Muse Spark Open, un modelo de pesos abiertos con 816.000 millones de parámetros (42.000 millones activos), hasta un millón de tokens de…
Por qué importaEs una de las opciones de pesos abiertos más grandes de un fabricante estadounidense, lo que da a las empresas una alternativa local frente a los…