Noticias etiquetadas con «benchmark»
31 noticias
Ai2 ha publicado FairStress, un benchmark de 300 escenarios de decisión entre dos candidatos en 29 dominios, como contratación, préstamos y sanidad, que mide…
Por qué importaUna evaluación que solo mira la decisión final puede ocultar que un modelo cambia de criterio según el grupo demográfico al que favorezca un…
Investigadores de Microsoft y City University of Hong Kong presentan Taste-Bench, un benchmark de 502 preguntas que evalúa si los agentes de IA eligen bien…
Por qué importaLos agentes que ejecutan tareas de varios pasos pueden acumular malas decisiones que solo se detectan al final, cuando el coste ya es alto. Medir la…
Google DeepMind presentó Gemini 4 Argon, que alcanza 97,5 % en el benchmark ARC-AGI-3 usando un arnés de prueba con funciones específicas del proveedor, con un…
Por qué importaLas cifras de un benchmark dependen mucho de la configuración de la prueba, así que una puntuación alta no equivale a mejor rendimiento en un caso de…
Un equipo de 35 investigadores, con participación de ICTS, Harvard, KU Leuven y Google DeepMind, presentó TheoPhysEval, un benchmark de 50 problemas de física…
Por qué importaSi los resultados se confirman, los cálculos de nivel de investigación que antes requerían expertos y varios días podrían delegarse en agentes a bajo…
P-Zero Research presentó TasteVal, un benchmark que evalúa si los modelos de IA diseñan experimentos y extraen conclusiones de sus resultados en ocho tareas de…
Por qué importaSi la capacidad de investigar de los modelos crece tan rápido, el ritmo de mejora de los propios sistemas de IA podría acelerarse. Para directivos y…
Según Artificial Analysis, Claude Opus 5.5 encabeza el índice AA-Omniscience con 46 puntos y una precisión del 66 % en preguntas de hechos concretos sin acceso…
Por qué importaMuestra que incluso los mejores modelos fallan en una de cada cinco preguntas difíciles sin apoyo externo, por lo que la búsqueda en la web sigue…
Microsoft publicó ThinkingBox, un benchmark de 507 flujos de trabajo empresariales ejecutados 20 veces cada uno contra 12 modelos LLM, que evalúa el estado…
Por qué importaRevela que medir agentes por respuestas finales o llamadas a herramientas válidas oculta errores reales en los sistemas backend que tocan datos de…
Hugging Face presentó el Open TTS Leaderboard, que evalúa modelos de texto a voz mediante métricas objetivas como tasa de error de palabra (WER), similitud de…
Por qué importaOfrece a empresas y desarrolladores un método rápido y escalable para elegir modelos de voz según necesidades concretas (latencia, calidad…
El Frontier Red Team de Anthropic evaluó varios modelos en 100 tareas de un benchmark interno de explotación binaria. GLM-5.3 logró secuestros completos de…
Por qué importaEl salto de 0% a niveles de éxito no nulos en explotación automatizada de vulnerabilidades sugiere que capacidades ofensivas avanzadas ya no son…
Epoch AI creó el Furniture Assembly Benchmark (FAB), que pide a modelos de IA verificar si muebles de IKEA fueron montados correctamente usando fotos y el…
Por qué importaEl benchmark mide razonamiento abstracto y visión aplicada a instrucciones del mundo real, una capacidad clave para que la IA asista en tareas…
El benchmark FAB de Epoch AI evalúa modelos de IA para identificar errores en el montaje de muebles IKEA comparando fotos con instrucciones. GPT-6 Astra de…
Por qué importaEl avance muestra una mejora acelerada en razonamiento visual multimodal aplicado a tareas prácticas de verificación física, un tipo de capacidad con…
OpenAI ha anunciado MentalHealthBench, un benchmark desarrollado con expertos para evaluar la utilidad y seguridad de las respuestas de modelos de IA en…
Por qué importaLa seguridad de las respuestas de IA en temas sensibles como salud mental es un área crítica de riesgo reputacional y legal para empresas que…
Un informe de Mozilla sobre modelos de IA de pesos abiertos concluye que el mejor modelo abierto (como Kimi K3, Qwen o DeepSeek) queda tres puntos por detrás…
Por qué importaLa reducción de la brecha entre modelos abiertos y cerrados, junto con su menor coste, amplía las opciones reales para empresas que buscan desplegar…
Andon Labs evaluó GPT-6 Astra de OpenAI en dos benchmarks: Vending-Bench, donde gestiona un negocio simulado, y Drone-Bench, donde controla un dron DJI Tello…
Por qué importaEstos resultados muestran avances concretos en la capacidad de los modelos de IA para operar de forma autónoma en tareas económicas y físicas…
El nuevo benchmark StationeryBench comparó a GPT-6 Astra de OpenAI y MolmoAct2 de Ai2 en tareas de manipulación con robots de doble brazo YAM. Astra completó 7…
Por qué importaUn salto en razonamiento espacial de un modelo generalista tiene implicaciones directas para robótica industrial y automatización física, áreas donde…
AWS publicó un harness de benchmarking de código abierto que compara modelos OpenAI (gpt-5.6-luna, gpt-5.6-terra, gpt-5.6-sol) disponibles en Amazon Bedrock…
Por qué importaMuestra que comparar modelos solo por precio por token puede llevar a decisiones equivocadas, ya que el número de reintentos, turnos de conversación…
Investigadores de Oxford, Google DeepMind y el UK AI Security Institute crearon CivBench, un benchmark que enfrenta a GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro…
Por qué importaEl experimento revela limitaciones concretas de los agentes de IA para mantener coherencia estratégica y ejecutar planes durante tareas largas y…
Booz Allen Hamilton probó 18 modelos de IA (9 estadounidenses, 9 chinos) contra una red corporativa real con defensa activa, sin herramientas de soporte…
Por qué importaDemuestra que el riesgo ofensivo de la IA no depende solo del modelo sino de la infraestructura ('harness') que lo rodea, lo que cambia cómo deben…
Investigadores de Google Research presentan un marco de 'perfilado de conocimiento' y el benchmark WikiProfile (2.150 hechos de Wikipedia) para distinguir si…
Por qué importaEl hallazgo sugiere que mejorar la factualidad de los LLM ya no depende tanto de escalar tamaño o datos, sino de técnicas de post-entrenamiento e…
Simon Willison comparó la capacidad de dos modelos de IA para crear un videojuego 2D funcional a partir del mismo prompt: Claude Fable 5 y GPT-5.6 Sol Ultra…
Por qué importaDemuestra que los agentes de IA con delegación de sub-tareas logran resultados superiores en tareas creativas y de codificación complejas respecto a…
OpenAI ha publicado que ajustes en dos configuraciones de su API han triplicado el rendimiento de GPT-5.6 en el benchmark ARC-AGI-3. Los cambios implican…
Por qué importaLas mejoras en benchmarks de razonamiento como ARC-AGI-3 indican progreso en capacidades fundamentales de resolución de problemas. Para empresas…
Dharma-AI publicó resultados comparativos de su modelo DharmaOCR, especializado en portugués brasileño, contra dos modelos multilingües recientes: Mistral OCR4…
Por qué importaEl análisis plantea una pregunta estratégica relevante para empresas con necesidades de OCR en idiomas específicos: si la especialización en dominio…
Hugging Face ha presentado Real World VoiceEQ, un benchmark diseñado para evaluar la calidad humana de la interacción por voz en sistemas de IA. El benchmark…
Por qué importaLos modelos de voz tradicionales se evalúan por métricas técnicas como tasa de error de palabras (WER), que ya están saturadas y no capturan lo que…
OpenAI ha puesto en disponibilidad general la familia GPT-5.6 en tres tamaños: Luna, Terra y Sol, con precios de $1/$6, $2.50/$15 y $5/$30 por millón de tokens…
Por qué importaLa disponibilidad de modelos más pequeños y eficientes a precios significativamente menores puede acelerar la adopción de IA en empresas medianas y…
