Hugging Face lanza versión 1 de la librería tokenizers con mejoras de rendimiento

Línea temporal

1. hace 18 h
   Hugging FaceFiabilidad fuente primaria

   Hugging Face lanza tokenizers v1 con mejoras de velocidad de hasta 30 veces

   Hugging Face presenta la versión 1 de su librería tokenizers, enfocada en rendimiento. Según sus benchmarks, en un Apple M4 Max con un solo hilo, v1 codifica texto entre 3 y 30 veces más rápido que v0.23, dependiendo…