AWS P-EAGLE: decodificación especulativa paralela en SageMaker

Línea temporal

1. 16 jun
   AWS Machine Learning BlogFiabilidad fuente primaria

   AWS lanza P-EAGLE, decodificación especulativa paralela para acelerar LLMs en SageMaker

   AWS ha desarrollado y publicado P-EAGLE (Parallel-EAGLE), un método de decodificación especulativa que paraleliza completamente la generación de tokens de borrador, eliminando el proceso secuencial de EAGLE-3. El nuevo…