Noticias etiquetadas con «metodología»
4 noticias
Un editorial de Nature Computational Science señala que los LLM añaden nuevas dificultades a la reproducibilidad científica en machine learning. Cita la…
Por qué importaLa falta de reproducibilidad debilita la validez de estudios científicos y aplicaciones empresariales basadas en LLM, afectando la confianza en…
Allen Institute for AI ha presentado BenchMIRT, una metodología que aplica teoría de respuesta a items multidimensional (MIRT) para analizar benchmarks de…
Por qué importaPara equipos de investigación y empresas que evalúan modelos, comprender qué mide realmente cada benchmark es crítico para elegir las herramientas de…
Investigadores de Google Research (Flip Korn y Chris Welty) publican un estudio que desafía la práctica estándar de usar 1 a 5 evaluadores humanos por elemento…
Por qué importaLa reproducibilidad y confiabilidad de las evaluaciones de IA dependen de cómo se recogen y estructuran los datos de verdad base. Los hallazgos…
DeepMind ha publicado un nuevo enfoque de evaluación llamado Standardised Test Suite (STS) para medir el desempeño de agentes de inteligencia artificial en…
Por qué importaEvaluar agentes interactivos es un problema crítico aún no resuelto: las métricas actuales no correlacionan bien con el rendimiento real en…
