Realtime-Bench mide la dificultad de los LLM en tareas en tiempo real y en espacio de sus límites
Hecho Qué ha ocurrido
Investigadores de varias universidades y de NVIDIA presentaron Realtime-Bench, un banco de pruebas de 50 tareas interactivas de juegos y web en las que las acciones tardías afectan al resultado. Según el artículo, el mejor modelo evaluado alcanza un 36% de éxito con reloj real, frente a cerca del 70-80% con el reloj pausado en configuraciones de razonamiento alto.
Resumen generado mediante IA a partir de Import AI (Jack Clark) (original en inglés). Naturaleza de la información: declaración de parte interesada.
Análisis Por qué importa
Muestra que los agentes de IA todavía no son fiables en procesos que exigen decidir con rapidez, como compras con plazo o subastas en línea.
- Quién se ve afectado
- Empresas que planean desplegar agentes de IA en comercio electrónico, atención al cliente o procesos con ventanas temporales.
- Qué puede cambiar
- Las pruebas de rendimiento de agentes deberían incluir la latencia real, y los planes que dependan de respuestas instantáneas requieren cautela.
Análisis generado a partir de la información disponible; no procede de la fuente.
Predicción Qué observar a continuación
Si los próximos modelos reducen esta brecha entre reloj real y reloj pausado y si los proveedores publican resultados en este tipo de pruebas.
Enviar esta noticia por correo
Enviado. Revisa que llegue a la bandeja de entrada de quien lo reciba.
La dirección no parece válida.
Has enviado varios correos seguidos. Espera un rato.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
No se ha podido enviar. Inténtalo de nuevo en unos minutos.
Fuente original: Import AI (Jack Clark). La referencia es siempre el artículo original.
Ver fuente original ↗LLMagentesbenchmark OpenAIAnthropicGoogleNVIDIADeepSeek agentes de IA benchmark latencia Nvidia Realtime-Bench
Relacionadas
Benchmark RLI muestra que los mejores modelos de IA fallan en el 85% de encargos profesionales reales
El Remote Labor Index, desarrollado por Center for AI Safety y Scale Labs, mide la 'tasa de automatización' comparando entregas de IA con trabajos freelance…
Por qué importaPese a la percepción de que los modelos avanzan rápido, siguen siendo poco fiables para trabajos profesionales completos y verificables, lo que…
Microsoft presenta ThinkingBox, benchmark que mide si los agentes de IA realmente completan tareas en bases de datos reales
Microsoft publicó ThinkingBox, un benchmark de 507 flujos de trabajo empresariales ejecutados 20 veces cada uno contra 12 modelos LLM, que evalúa el estado…
Por qué importaRevela que medir agentes por respuestas finales o llamadas a herramientas válidas oculta errores reales en los sistemas backend que tocan datos de…
Un nuevo benchmark muestra que los agentes de IA aciertan menos del 60 % en decisiones a largo plazo
Investigadores de Microsoft y City University of Hong Kong presentan Taste-Bench, un benchmark de 502 preguntas que evalúa si los agentes de IA eligen bien…
Por qué importaLos agentes que ejecutan tareas de varios pasos pueden acumular malas decisiones que solo se detectan al final, cuando el coste ya es alto. Medir la…
Nuevo benchmark CivBench mide agentes de IA jugando Civilization VI durante cientos de turnos
Investigadores de Oxford, Google DeepMind y el UK AI Security Institute crearon CivBench, un benchmark que enfrenta a GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro…
Por qué importaEl experimento revela limitaciones concretas de los agentes de IA para mantener coherencia estratégica y ejecutar planes durante tareas largas y…
Tu opinión
Te hemos enviado un correo para confirmar tu dirección. El comentario se procesará cuando pulses el enlace.
Gracias. Tu comentario se publicará cuando lo revise el equipo (los primeros comentarios de cada persona se moderan).
Comentario publicado. Gracias por participar.
No se puede comentar aquí.
Indica un nombre (de 2 a 60 caracteres).
El correo no parece válido.
El comentario debe tener entre 10 y 2.000 caracteres.
Demasiados enlaces en el comentario.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
Has alcanzado el límite diario de comentarios.
Demasiados comentarios seguidos. Espera un rato.
No se ha podido enviar el correo de confirmación. Inténtalo de nuevo en unos minutos.