Noticias etiquetadas con «benchmarks»
74 noticias
Microsoft Research ha presentado SocialReasoning-Bench, un benchmark que evalúa si los agentes de IA pueden negociar y razonar socialmente en nombre de un…
Por qué importaA medida que los agentes de IA asumen tareas reales—gestionar calendarios, negociar compras, representar usuarios ante terceros—surge la pregunta…
METR y Epoch han lanzado MirrorCode, un benchmark que mide la capacidad de los modelos de IA para reimplementar programas complejos sin acceso al código…
Por qué importaDemuestra que los modelos actuales ya pueden realizar tareas de ingeniería de software complejas de forma autónoma en tiempos que compiten con…
Microsoft Research, en colaboración con Princeton University y Universitat Politècnica de València, ha publicado en Nature un método llamado ADeLe (AI…
Por qué importaADeLe resuelve un problema crítico en evaluación de IA: los benchmarks tradicionales reportan resultados en tareas específicas pero no explican por…
Investigadores de Google Research (Flip Korn y Chris Welty) publican un estudio que desafía la práctica estándar de usar 1 a 5 evaluadores humanos por elemento…
Por qué importaLa reproducibilidad y confiabilidad de las evaluaciones de IA dependen de cómo se recogen y estructuran los datos de verdad base. Los hallazgos…
Microsoft Research ha publicado AsgardBench, un benchmark diseñado para evaluar si los agentes de IA encarnada pueden ajustar sus planes basándose en…
Por qué importaEste benchmark aborda un problema real en la IA encarnada: evaluar si los agentes realmente utilizan lo que observan para tomar mejores decisiones o…
Microsoft Research ha publicado GroundedPlanBench, un benchmark con 1.009 tareas de manipulación robótica basado en 308 escenas del dataset DROID, diseñado…
Por qué importaLa integración de planificación y razonamiento espacial en un único modelo directo es un avance crítico para que los robots ejecuten tareas complejas…
OpenAI ha presentado dos nuevos modelos de la serie GPT-5.4: mini y nano, que se suman al modelo GPT-5.4 lanzado hace dos semanas. Según los benchmarks…
Por qué importaLa disponibilidad de modelos más pequeños y baratos amplía el acceso a IA generativa de calidad para empresas con presupuestos limitados y casos de…
OpenAI ha publicado un análisis técnico indicando que SWE-bench Verified, un benchmark estándar para evaluar capacidades de codificación en modelos de IA…
Por qué importaLos benchmarks son referentes clave para comparar y validar el desempeño real de modelos de IA frontier en tareas técnicas; si los tests están…
Google DeepMind ha lanzado Gemini 3.1 Pro, una versión mejorada de su modelo de base con capacidades de razonamiento avanzado. El modelo alcanza un 77,1%…
Por qué importaEl avance en razonamiento compacto y síntesis compleja amplía el rango de tareas empresariales que la IA puede resolver sin intervención humana…
El SWE-bench acaba de publicar resultados independientes (no auto-reportados por los laboratorios) de su benchmark de resolución de problemas de código contra…
Por qué importaEs relevante para directivos de empresas que invierten en IA para desarrollo porque muestra qué modelos son más efectivos en automatización de código…
Investigadores de ETH Zurich publican un estudio que prueba la efectividad de archivos de contexto (como AGENTS.md) en agentes de código usando 138 tareas de…
Por qué importaPara equipos que desarrollan o implementan agentes de codificación, este hallazgo contradice la práctica común de usar archivos de contexto…
OpenAI ha lanzado GPT-5.3-Codex, descrito como su modelo más potente para tareas de ingeniería de software automatizada. Según la empresa, el nuevo modelo…
Por qué importaEste lanzamiento marca un salto significativo en las capacidades de IA para desarrollo de software, afectando directamente la productividad de…
Hugging Face ha lanzado Community Evals, una plataforma que permite a cualquier usuario reportar resultados de evaluación de modelos de IA de forma…
Por qué importaExiste una falta de alineación en las puntuaciones reportadas de modelos: distintas fuentes publican resultados diferentes sin una fuente única de…
H Company ha presentado Holo2-235B-A22B Preview, un modelo de localización de elementos de interfaz de usuario que alcanza puntuaciones récord de 78,5% en…
Por qué importaLa localización precisa de elementos UI es fundamental para agentes IA que interactúan autónomamente con aplicaciones, afectando directamente a la…
Investigadores de la Universidad Carnegie Mellon y Fujitsu presentaron tres nuevos benchmarks el 26 de enero en la conferencia AAAI 2026 de Singapur para…
Por qué importaPara empresas que consideran automatizar operaciones críticas con agentes IA (finanzas, cadena de suministro, manufactura), contar con benchmarks…
Un equipo de investigadores de la Universidad de Montreal comparó la creatividad de más de 100.000 humanos con modelos de IA líderes (GPT-4, Claude, Gemini)…
Por qué importaEste estudio proporciona evidencia cuantitativa sobre las capacidades y límites reales de la IA en creatividad, crucial para directivos que evalúan…
El Technology Innovation Institute ha presentado Alyah, un benchmark específico para evaluar cómo los modelos de lenguaje árabe comprenden el dialecto emiratí…
Por qué importaRevela una brecha crítica en la evaluación de modelos de IA para lenguas no inglesas: la mayoría de benchmarks se centran en árabe estándar moderno…
Mercor, plataforma de datos de entrenamiento, ha publicado APEX-Agents, un benchmark que evalúa a los principales modelos IA en tareas reales de trabajo…
Por qué importaContradice la predicción de Satya Nadella (hace dos años) de que la IA reemplazaría rápidamente el trabajo de conocimiento. El benchmark evidencia…
IBM Research ha presentado AssetOpsBench, un nuevo marco de evaluación diseñado específicamente para medir el desempeño de agentes IA en operaciones…
Por qué importaPara cualquier empresa que planee desplegar agentes IA en operaciones críticas o con riesgos industriales, este benchmark define por primera vez un…
Google DeepMind ha lanzado el Perception Test, un benchmark basado en videos reales del mundo para evaluar las capacidades perceptivas de modelos de IA…
Por qué importaLos benchmarks son instrumentos clave para definir objetivos de investigación y medir progreso en IA. El Perception Test aborda una brecha…
Google DeepMind ha publicado un estudio en Nature Human Behavior sobre PLATO, un modelo que aprende conceptos de física intuitiva mediante representaciones…
Por qué importaLa capacidad de los sistemas IA para comprender la física intuitiva es fundamental para desplegar modelos seguros y útiles en el mundo real. Este…
Google DeepMind ha publicado SVO-Probes, un conjunto de datos de 48.000 pares imagen-oración para evaluar la comprensión de verbos en transformers multimodales…
Por qué importaLa comprensión de verbos es crítica para sistemas reales como recuperación de imágenes, generación de descripciones y respuesta a preguntas visuales…
Google DeepMind ha presentado RL Unplugged, un conjunto de benchmarks y datasets diseñados para evaluar métodos de aprendizaje reforzado sin conexión (offline…
Por qué importaOffline RL es fundamental para aplicaciones reales (plantas de energía, robots, salud, vehículos autónomos) donde la exploración online es costosa o…
Google DeepMind ha presentado AlphaStar, un sistema de IA que ha derrotado 5-0 al jugador profesional Grzegorz "MaNa" Komincz de Team Liquid en StarCraft II…
Por qué importaAlphaStar demuestra un avance significativo en capacidades de IA para problemas complejos que requieren equilibrio entre decisiones a largo y corto…
