Un nuevo benchmark de Alibaba muestra que los agentes de programación solo completan el 26 % de las tareas reales
Hecho Qué ha ocurrido
Investigadores de Alibaba y universidades asiáticas presentaron Co-Design Bench, un benchmark con peticiones reales de cambio en aplicaciones web. El mejor de los diez modelos probados, GPT-6 Astra, cumple de media alrededor del 70 % de los requisitos y solo completa de forma totalmente correcta el 26,4 % de las tareas. En benchmarks anteriores, los mismos modelos superan el 99 %.
Resumen generado mediante IA a partir de The Decoder (original en inglés). Naturaleza de la información: hecho documentado.
Análisis Por qué importa
Las cifras de los rankings habituales sobreestiman la autonomía real de los agentes de programación. Los equipos que los adopten deben contar con revisión humana en una parte considerable del trabajo.
- Quién se ve afectado
- Equipos de desarrollo y responsables de software que evalúan o despliegan agentes de programación.
- Qué puede cambiar
- La elección de un agente de código debería basarse en pruebas propias con tareas reales y en el entorno de trabajo completo, no solo en el ranking del modelo.
Análisis generado a partir de la información disponible; no procede de la fuente.
Predicción Qué observar a continuación
Si otros laboratorios adoptan benchmarks basados en peticiones reales y si los resultados se replican fuera del artículo original.
Recomendación Qué debería hacer una empresa
Evaluar en los próximos 3-6 meses el agente de código candidato y su entorno de ejecución con tareas reales de la propia empresa antes de asignarle trabajo sin revisión.
Recomendación generada por IA con la evidencia disponible; no es asesoramiento profesional.
Enviar esta noticia por correo
Enviado. Revisa que llegue a la bandeja de entrada de quien lo reciba.
La dirección no parece válida.
Has enviado varios correos seguidos. Espera un rato.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
No se ha podido enviar. Inténtalo de nuevo en unos minutos.
Fuente original: The Decoder. La referencia es siempre el artículo original.
Ver fuente original ↗agentescoding Alibaba agentes de programación Alibaba benchmark Co-Design Bench GPT-6 Astra
Relacionadas
Claude Opus 5.5 resuelve el 18,5% de las tareas de ProgramBench, frente al 0% de su lanzamiento en mayo
Según el newsletter Import AI, Claude Opus 5.5 (xhigh) obtiene un 18,5% de tareas resueltas en ProgramBench, un benchmark publicado en mayo en el que ningún…
Por qué importaEl avance en pocos meses muestra que la generación de software de extremo a extremo por agentes se acerca más rápido de lo que suelen asumir muchas…
Un nuevo benchmark muestra que los agentes de IA aciertan menos del 60 % en decisiones a largo plazo
Investigadores de Microsoft y City University of Hong Kong presentan Taste-Bench, un benchmark de 502 preguntas que evalúa si los agentes de IA eligen bien…
Por qué importaLos agentes que ejecutan tareas de varios pasos pueden acumular malas decisiones que solo se detectan al final, cuando el coste ya es alto. Medir la…
SemiAnalysis presenta GDPx, un benchmark de trabajo real donde ningún agente de IA supera el 12 %
SemiAnalysis ha publicado GDPx, un benchmark con 206 tareas en once dominios, como diseño de chips, biología, trading cuantitativo, ciberseguridad y derecho…
Por qué importaLos resultados sugieren que la fiabilidad de los agentes en trabajo especializado sigue muy por debajo de lo que sugieren otros tests, lo que importa…
Realtime-Bench mide la dificultad de los LLM en tareas en tiempo real y en espacio de sus límites
Investigadores de varias universidades y de NVIDIA presentaron Realtime-Bench, un banco de pruebas de 50 tareas interactivas de juegos y web en las que las…
Por qué importaMuestra que los agentes de IA todavía no son fiables en procesos que exigen decidir con rapidez, como compras con plazo o subastas en línea.
Tu opinión
Te hemos enviado un correo para confirmar tu dirección. El comentario se procesará cuando pulses el enlace.
Gracias. Tu comentario se publicará cuando lo revise el equipo (los primeros comentarios de cada persona se moderan).
Comentario publicado. Gracias por participar.
No se puede comentar aquí.
Indica un nombre (de 2 a 60 caracteres).
El correo no parece válido.
El comentario debe tener entre 10 y 2.000 caracteres.
Demasiados enlaces en el comentario.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
Has alcanzado el límite diario de comentarios.
Demasiados comentarios seguidos. Espera un rato.
No se ha podido enviar el correo de confirmación. Inténtalo de nuevo en unos minutos.