Noticias etiquetadas con «benchmarks»
4 noticias
Google DeepMind, junto al Singapore AI Safety Institute, OpenMined, AVERI y MLCommons, ha realizado la primera evaluación 'doble ciego' de un modelo…
Por qué importaLa fiabilidad de los benchmarks es clave para que empresas, reguladores e investigadores confíen en las afirmaciones de capacidad y seguridad de los…
MIT Technology Review recopila una serie de pruebas y benchmarks (rotación mental, Knights and Knaves, SimpleBench, ARC-AGI, Torre de Hanói, logic grids) donde…
Por qué importaIlustra que el progreso de la IA en benchmarks no es uniforme: sobresale en tareas memorísticas o de patrones conocidos pero falla en razonamiento…
OpenAI ha publicado un análisis que identifica problemas en SWE-Bench Pro, un benchmark ampliamente utilizado para evaluar modelos de IA en tareas de…
Por qué importaLa validez de los benchmarks es crucial para comparar objetivamente el rendimiento de modelos de IA; si SWE-Bench Pro es deficiente, las decisiones…
Google DeepMind ha presentado AlphaStar, un sistema de IA que ha derrotado 5-0 al jugador profesional Grzegorz "MaNa" Komincz de Team Liquid en StarCraft II…
Por qué importaAlphaStar demuestra un avance significativo en capacidades de IA para problemas complejos que requieren equilibrio entre decisiones a largo y corto…
