compute-optimal training

DeepMind: modelos más pequeños con más datos superan a gigantes en eficiencia

DeepMind publicó un análisis empírico sobre el entrenamiento óptimo de modelos de lenguaje, concluyendo que los LLM actuales son demasiado grandes para su…

Por qué importaEste hallazgo desafía la estrategia dominante de maximizar parámetros y establece que la proporción óptima es 4x menos parámetros con 4x más datos…