IBM Research compara harnesses de agentes con el mismo modelo y atribuye a CUGA mejor tasa en AppWorld
Hecho Qué ha ocurrido
IBM Research comparó tres harnesses de agentes (CUGA, Hermes y Deep Agents) con el mismo modelo abierto GLM-5.3-flash sobre 90 tareas de AppWorld en 30 escenarios. Según el texto, la tasa de tareas completadas varió entre 30% y 81% según el harness, y CUGA logró 20 escenarios con las tres variantes superadas frente a 8 de Hermes y 2 de Deep Agents. Los propios autores señalan que las configuraciones no fueron idénticas y que el estudio no mide la aplicación de políticas.
Resumen generado mediante IA a partir de Hugging Face (original en inglés). Naturaleza de la información: declaración de parte interesada.
Análisis Por qué importa
El texto sugiere que el arnés de ejecución del agente puede pesar tanto como el modelo elegido, algo relevante al seleccionar herramientas para automatizar procesos empresariales.
- Quién se ve afectado
- Equipos de ingeniería y transformación digital que construyen o evalúan agentes de IA sobre sistemas empresariales.
- Qué puede cambiar
- Si el resultado se confirma en otros benchmarks, la elección del harness pasaría a evaluarse con la misma atención que la del modelo, junto con los requisitos de gobernanza.
Análisis generado a partir de la información disponible; no procede de la fuente.
Predicción Qué observar a continuación
Conviene vigilar si otros equipos reproducen la comparación con configuraciones propias de Hermes y Deep Agents, como propone IBM, y si aparecen evaluaciones independientes de las políticas de CUGA.
Recomendación Qué debería hacer una empresa
Antes de elegir un framework de agentes para automatización empresarial, evaluar varios harnesses con el mismo modelo y tus propias tareas en los próximos 3-6 meses.
Recomendación generada por IA con la evidencia disponible; no es asesoramiento profesional.
Enviar esta noticia por correo
Enviado. Revisa que llegue a la bandeja de entrada de quien lo reciba.
La dirección no parece válida.
Has enviado varios correos seguidos. Espera un rato.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
No se ha podido enviar. Inténtalo de nuevo en unos minutos.
Fuente original: Hugging Face (fuente primaria). La referencia es siempre el artículo original.
Ver fuente original ↗agentesLLMharness de agentes IBM ResearchNous ResearchLangChain AppWorld CUGA Deep Agents Hermes IBM
Relacionadas
IBM Research presenta ALTK-Evolve para medir y mejorar la consistencia de agentes de IA
IBM Research publicó un método llamado 'consistency guidelines' dentro de su sistema ALTK-Evolve, que detecta pasos de decisión inestables en agentes LLM…
Por qué importaMuchos benchmarks reportan solo el promedio de éxito, ocultando que un agente puede fallar en tareas idénticas repetidas, lo que es crítico para…
IBM demuestra agentes con lógica mejorada para adopción empresarial de IA
IBM Research ha publicado un análisis sobre cómo la lógica de agentes —software con grafos de conocimiento, análisis de programas y bibliotecas especializadas—…
Por qué importaDemuestra que la adopción de IA a escala en empresas requiere algo más que LLMs grandes: necesita "guía inteligente" (lógica de agentes) integrada en…
IBM Research logra un 67,5% en τ²-bench de atención al cliente con reglas aprendidas y GPT-4.1
IBM Research presenta ALTK-Evolve, un método que usa el propio modelo para extraer reglas de comportamiento de los intentos de entrenamiento y añadirlas al…
Por qué importaSugiere que parte de la mejora de los agentes de atención al cliente puede venir de la memoria y las instrucciones aprendidas, no solo de modelos más…
Realtime-Bench mide la dificultad de los LLM en tareas en tiempo real y en espacio de sus límites
Investigadores de varias universidades y de NVIDIA presentaron Realtime-Bench, un banco de pruebas de 50 tareas interactivas de juegos y web en las que las…
Por qué importaMuestra que los agentes de IA todavía no son fiables en procesos que exigen decidir con rapidez, como compras con plazo o subastas en línea.
Tu opinión
Te hemos enviado un correo para confirmar tu dirección. El comentario se procesará cuando pulses el enlace.
Gracias. Tu comentario se publicará cuando lo revise el equipo (los primeros comentarios de cada persona se moderan).
Comentario publicado. Gracias por participar.
No se puede comentar aquí.
Indica un nombre (de 2 a 60 caracteres).
El correo no parece válido.
El comentario debe tener entre 10 y 2.000 caracteres.
Demasiados enlaces en el comentario.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
Has alcanzado el límite diario de comentarios.
Demasiados comentarios seguidos. Espera un rato.
No se ha podido enviar el correo de confirmación. Inténtalo de nuevo en unos minutos.