Microsoft publica Differential Transformer V2 para mejorar eficiencia de atención

Línea temporal

1. 20 ene
   Hugging FaceFiabilidad fuente primaria

   Microsoft presenta Differential Transformer V2 con mejora de eficiencia en decodificación

   Microsoft ha publicado Differential Transformer V2, una evolución de su arquitectura de atención que duplica el número de cabezas de consulta mientras mantiene las cabezas de clave-valor, eliminando la normalización por…