Agentes de programación con IA resuelven menos del 10% de tareas en un entorno laboral simulado

Hecho Qué ha ocurrido
Un nuevo experimento colocó a agentes de programación con IA en una empresa de software simulada, con compañeros, tableros de proyecto e historiales de chat. Incluso Claude Opus 5.5 y GPT-6 Astra completan del todo menos de una de cada diez tareas. Los mismos modelos superan con rapidez los benchmarks estándar, como SWE-bench, que está casi saturado.
Resumen generado mediante IA a partir de The Decoder (original en inglés). Naturaleza de la información: hecho documentado.
Análisis Por qué importa
Las cifras de los benchmarks aislados no predicen el rendimiento de un agente que debe trabajar de forma continuada sobre tareas abiertas. Conviene separar la capacidad demostrada en pruebas acotadas de la autonomía real en un flujo de trabajo.
- Quién se ve afectado
- Equipos de desarrollo que planean delegar tareas en agentes de programación y responsables de su adopción.
- Qué puede cambiar
- Si los resultados se confirman, la evaluación de agentes tendrá que medir flujos de trabajo completos y no solo tareas independientes, y las expectativas de automatización de desarrollo deberían ajustarse.
Análisis generado a partir de la información disponible; no procede de la fuente.
Predicción Qué observar a continuación
Qué métricas de evaluación de agentes adoptan los laboratorios, si nuevas versiones mejoran la tasa de cierre de tickets y si otros grupos reproducen el experimento con protocolos similares.
Enviar esta noticia por correo
Enviado. Revisa que llegue a la bandeja de entrada de quien lo reciba.
La dirección no parece válida.
Has enviado varios correos seguidos. Espera un rato.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
No se ha podido enviar. Inténtalo de nuevo en unos minutos.
Fuente original: The Decoder. La referencia es siempre el artículo original.
Ver fuente original ↗agentesLLMcoding AnthropicOpenAI agentes de programación benchmark Claude Opus 5.5 GPT-6 Astra SWE-bench
Relacionadas
Un nuevo benchmark de Alibaba muestra que los agentes de programación solo completan el 26 % de las tareas reales
Investigadores de Alibaba y universidades asiáticas presentaron Co-Design Bench, un benchmark con peticiones reales de cambio en aplicaciones web. El mejor de…
Por qué importaLas cifras de los rankings habituales sobreestiman la autonomía real de los agentes de programación. Los equipos que los adopten deben contar con…
OpenAI afirma que sus agentes resuelven el 46% de tareas de investigación de 2 a 4 horas
OpenAI publicó el 18 de noviembre un informe interno en el que estima que sus agentes completan de forma autónoma tareas de investigación y desarrollo de…
Por qué importaSi las cifras se confirman, los laboratorios líderes ya están reorganizando su desarrollo en torno a sus propios agentes, lo que acelera la mejora de…
SemiAnalysis presenta GDPx, un benchmark de trabajo real donde ningún agente de IA supera el 12 %
SemiAnalysis ha publicado GDPx, un benchmark con 206 tareas en once dominios, como diseño de chips, biología, trading cuantitativo, ciberseguridad y derecho…
Por qué importaLos resultados sugieren que la fiabilidad de los agentes en trabajo especializado sigue muy por debajo de lo que sugieren otros tests, lo que importa…
Claude Opus 5.5 resuelve el 18,5% de las tareas de ProgramBench, frente al 0% de su lanzamiento en mayo
Según el newsletter Import AI, Claude Opus 5.5 (xhigh) obtiene un 18,5% de tareas resueltas en ProgramBench, un benchmark publicado en mayo en el que ningún…
Por qué importaEl avance en pocos meses muestra que la generación de software de extremo a extremo por agentes se acerca más rápido de lo que suelen asumir muchas…
Tu opinión
Te hemos enviado un correo para confirmar tu dirección. El comentario se procesará cuando pulses el enlace.
Gracias. Tu comentario se publicará cuando lo revise el equipo (los primeros comentarios de cada persona se moderan).
Comentario publicado. Gracias por participar.
No se puede comentar aquí.
Indica un nombre (de 2 a 60 caracteres).
El correo no parece válido.
El comentario debe tener entre 10 y 2.000 caracteres.
Demasiados enlaces en el comentario.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
Has alcanzado el límite diario de comentarios.
Demasiados comentarios seguidos. Espera un rato.
No se ha podido enviar el correo de confirmación. Inténtalo de nuevo en unos minutos.



