Ir al contenido
IA para hoy
Investigación Investigación 2/5 · Declaración interesada

Agentes de programación con IA resuelven menos del 10% de tareas en un entorno laboral simulado

Fotografía de archivo que ilustra: Agentes de programación con IA resuelven menos del 10% de tareas en un entorno laboral simulado
Foto: Sadi Hockmuller · Licencia Pexels · Pexels

Hecho Qué ha ocurrido

Un nuevo experimento colocó a agentes de programación con IA en una empresa de software simulada, con compañeros, tableros de proyecto e historiales de chat. Incluso Claude Opus 5.5 y GPT-6 Astra completan del todo menos de una de cada diez tareas. Los mismos modelos superan con rapidez los benchmarks estándar, como SWE-bench, que está casi saturado.

Resumen generado mediante IA a partir de The Decoder (original en inglés). Naturaleza de la información: hecho documentado.

Análisis Por qué importa

Las cifras de los benchmarks aislados no predicen el rendimiento de un agente que debe trabajar de forma continuada sobre tareas abiertas. Conviene separar la capacidad demostrada en pruebas acotadas de la autonomía real en un flujo de trabajo.

Quién se ve afectado
Equipos de desarrollo que planean delegar tareas en agentes de programación y responsables de su adopción.
Qué puede cambiar
Si los resultados se confirman, la evaluación de agentes tendrá que medir flujos de trabajo completos y no solo tareas independientes, y las expectativas de automatización de desarrollo deberían ajustarse.

Análisis generado a partir de la información disponible; no procede de la fuente.

Predicción Qué observar a continuación

Qué métricas de evaluación de agentes adoptan los laboratorios, si nuevas versiones mejoran la tasa de cierre de tickets y si otros grupos reproducen el experimento con protocolos similares.

Compartir WhatsApp LinkedIn X Bluesky Telegram
Enviar esta noticia por correo

Se envía esta noticia con su análisis. La dirección se usa solo para ese envío y no se guarda.

Protección de datos. Responsable: Fernando Lobato, PhD. Finalidad: hacer el envío que pides. Base: nuestro interés legítimo. Lo envía Resend; la comprobación de robots es de Cloudflare. Puedes acceder a tus datos, pedir que los borremos y ejercer tus demás derechos como explica la política de privacidad.

Fuente original: The Decoder. La referencia es siempre el artículo original.

Ver fuente original ↗

agentesLLMcoding AnthropicOpenAI agentes de programación benchmark Claude Opus 5.5 GPT-6 Astra SWE-bench

Relacionadas

Un nuevo benchmark de Alibaba muestra que los agentes de programación solo completan el 26 % de las tareas reales

Investigadores de Alibaba y universidades asiáticas presentaron Co-Design Bench, un benchmark con peticiones reales de cambio en aplicaciones web. El mejor de…

Por qué importaLas cifras de los rankings habituales sobreestiman la autonomía real de los agentes de programación. Los equipos que los adopten deben contar con…

Impacto medio Fiabilidad declaración interesada Relevancia 7/10 The Decoder
Modelos y avances

OpenAI afirma que sus agentes resuelven el 46% de tareas de investigación de 2 a 4 horas

OpenAI publicó el 18 de noviembre un informe interno en el que estima que sus agentes completan de forma autónoma tareas de investigación y desarrollo de…

Por qué importaSi las cifras se confirman, los laboratorios líderes ya están reorganizando su desarrollo en torno a sus propios agentes, lo que acelera la mejora de…

Impacto medio Fiabilidad declaración interesada Relevancia 8/10 Infobae Tecno

SemiAnalysis presenta GDPx, un benchmark de trabajo real donde ningún agente de IA supera el 12 %

SemiAnalysis ha publicado GDPx, un benchmark con 206 tareas en once dominios, como diseño de chips, biología, trading cuantitativo, ciberseguridad y derecho…

Por qué importaLos resultados sugieren que la fiabilidad de los agentes en trabajo especializado sigue muy por debajo de lo que sugieren otros tests, lo que importa…

Impacto bajo Fiabilidad declaración interesada The Decoder

Claude Opus 5.5 resuelve el 18,5% de las tareas de ProgramBench, frente al 0% de su lanzamiento en mayo

Según el newsletter Import AI, Claude Opus 5.5 (xhigh) obtiene un 18,5% de tareas resueltas en ProgramBench, un benchmark publicado en mayo en el que ningún…

Por qué importaEl avance en pocos meses muestra que la generación de software de extremo a extremo por agentes se acerca más rápido de lo que suelen asumir muchas…

Impacto medio Fiabilidad una fuente fiable Import AI (Jack Clark)

Tu opinión

0 comentarios

Escribe un comentario

Sin registro. La primera vez te pediremos confirmar el correo y el comentario pasará por moderación; después se publican al momento si cumplen las normas y firmas con el mismo nombre.

Protección de datos. Responsable: Fernando Lobato, PhD. Finalidad: publicar y moderar tu comentario y evitar abusos. Base: tu consentimiento y, contra los abusos, nuestro interés legítimo. Se publica tu nombre, no tu correo. El texto pasa por un filtro con IA de Anthropic, en Estados Unidos, sin tu nombre ni tu correo, y se guarda un resumen de tu IP 90 días. La comprobación de robots es de Cloudflare. Puedes acceder a tus datos, pedir que los borremos y ejercer tus demás derechos como explica la política de privacidad.