Nuevas herramientas para evaluar el rendimiento real de modelos de IA
Resumen En qué punto está
AWS y Hugging Face han lanzado en los últimos días sistemas para evaluar de forma más fiable el desempeño de los modelos de lenguaje. AWS integró Amazon Nova LLM-as-a-Judge en SageMaker, un juez automático entrenado con datos humanos en más de 90 idiomas. Hugging Face, por su parte, presentó Community Evals, una plataforma descentralizada donde la comunidad reporta resultados verificables usando benchmarks estandarizados como MMLU-Pro, GPQA y HLE. Ambas iniciativas responden a un mismo problema: los benchmarks tradicionales están saturados y no reflejan el rendimiento real de los modelos en tareas prácticas.
Resumen generado mediante IA a partir de las 2 noticias de la historia. Última actualización: 10 sep.
Enviar esta historia por correo
Enviado. Revisa que llegue a la bandeja de entrada de quien lo reciba.
La dirección no parece válida.
Has enviado varios correos seguidos. Espera un rato.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
No se ha podido enviar. Inténtalo de nuevo en unos minutos.
Línea temporal
-
Hugging Face descentraliza evaluaciones de modelos con resultados verificables de la comunidad
Hugging Face ha lanzado Community Evals, una plataforma que permite a cualquier usuario reportar resultados de evaluación de modelos de IA de forma descentralizada y verificable. Los repositorios de datasets ahora…
-
AWS lanza Amazon Nova LLM-as-a-Judge para evaluar modelos IA en SageMaker
AWS ha introducido Amazon Nova LLM-as-a-Judge, una capacidad integrada en SageMaker AI para evaluar el rendimiento de modelos de lenguaje de forma automática mediante comparación de pares. El modelo ha sido entrenado…
Tu opinión
Te hemos enviado un correo para confirmar tu dirección. El comentario se procesará cuando pulses el enlace.
Gracias. Tu comentario se publicará cuando lo revise el equipo (los primeros comentarios de cada persona se moderan).
Comentario publicado. Gracias por participar.
No se puede comentar aquí.
Indica un nombre (de 2 a 60 caracteres).
El correo no parece válido.
El comentario debe tener entre 10 y 2.000 caracteres.
Demasiados enlaces en el comentario.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
Has alcanzado el límite diario de comentarios.
Demasiados comentarios seguidos. Espera un rato.
No se ha podido enviar el correo de confirmación. Inténtalo de nuevo en unos minutos.