Integración de paralelismo de secuencias Ulysses en Hugging Face
Enviar esta historia por correo
Línea temporal
-
Hugging Face integra paralelismo de secuencias Ulysses para entrenar con contextos de millones de tokens
Hugging Face ha integrado Ulysses Sequence Parallelism (SP), una técnica desarrollada por Snowflake AI Research en colaboración con DeepSpeed, en su ecosistema de herramientas (Accelerate, Transformers Trainer y TRL)…