Hugging Face publica CWE-bench v2, un benchmark abierto de 100 tareas de ciberseguridad para agentes de IA
Hecho Qué ha ocurrido
Collinear AI publica CWE-bench v2, con 100 tareas públicas en las que un agente debe encontrar y corregir una vulnerabilidad en un repositorio open source sin romper la funcionalidad existente. Las tareas cubren 91 CWE y la puntuación es programática. Según el artículo, Gemini 4 Argon obtiene 67,8% pass@1 entre 11 modelos evaluados, por delante de Claude Opus 5.5 con 67,3%.
Resumen generado mediante IA a partir de Hugging Face (original en inglés). Naturaleza de la información: declaración de parte interesada.
Análisis Por qué importa
Ofrece a equipos de seguridad y de IA una forma reproducible y de bajo coste para medir si un agente sirve para tareas defensivas reales. Los propios resultados indican que todavía no está resuelto: el mejor modelo falla el 19% de las tareas en todos los intentos.
- Quién se ve afectado
- Equipos de ciberseguridad, desarrolladores de agentes y laboratorios que evalúan modelos.
- Qué puede cambiar
- Las comparativas de capacidades de ciberseguridad podrán hacerse con un criterio común y reproducible, en lugar de con pruebas propias no verificables.
Análisis generado a partir de la información disponible; no procede de la fuente.
Predicción Qué observar a continuación
Qué modelos se añaden al leaderboard y si los resultados se reproducen de forma independiente. Conviene vigilar también el uso de las mismas tareas para entrenar agentes defensivos, que el artículo menciona como posibilidad.
Recomendación Qué debería hacer una empresa
Evaluar los agentes de código que use la empresa frente a un benchmark de seguridad similar en los próximos 3-6 meses, antes de darles acceso a repositorios críticos.
Recomendación generada por IA con la evidencia disponible; no es asesoramiento profesional.
Enviar esta noticia por correo
Enviado. Revisa que llegue a la bandeja de entrada de quien lo reciba.
La dirección no parece válida.
Has enviado varios correos seguidos. Espera un rato.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
No se ha podido enviar. Inténtalo de nuevo en unos minutos.
Fuente original: Hugging Face (fuente primaria). La referencia es siempre el artículo original.
Ver fuente original ↗agentesLLM Collinear AIHugging Face benchmark ciberseguridad Collinear AI CWE-bench Hugging Face
Relacionadas
Claude Opus 4.5 lidera el benchmark SWE-bench de febrero 2026
El SWE-bench acaba de publicar resultados independientes (no auto-reportados por los laboratorios) de su benchmark de resolución de problemas de código contra…
Por qué importaEs relevante para directivos de empresas que invierten en IA para desarrollo porque muestra qué modelos son más efectivos en automatización de código…
Realtime-Bench mide la dificultad de los LLM en tareas en tiempo real y en espacio de sus límites
Investigadores de varias universidades y de NVIDIA presentaron Realtime-Bench, un banco de pruebas de 50 tareas interactivas de juegos y web en las que las…
Por qué importaMuestra que los agentes de IA todavía no son fiables en procesos que exigen decidir con rapidez, como compras con plazo o subastas en línea.
Nuevo benchmark CivBench mide agentes de IA jugando Civilization VI durante cientos de turnos
Investigadores de Oxford, Google DeepMind y el UK AI Security Institute crearon CivBench, un benchmark que enfrenta a GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro…
Por qué importaEl experimento revela limitaciones concretas de los agentes de IA para mantener coherencia estratégica y ejecutar planes durante tareas largas y…
Hugging Face propone benchmark de agentes para optimizar librerías de IA
Hugging Face ha publicado una metodología de benchmark para evaluar cómo los agentes de IA usan las librerías de software, no solo si obtienen el resultado…
Por qué importaEsta investigación establece un nuevo estándar para diseñar software pensando en agentes, no en humanos. Para empresas que desarrollan librerías o…
Tu opinión
Te hemos enviado un correo para confirmar tu dirección. El comentario se procesará cuando pulses el enlace.
Gracias. Tu comentario se publicará cuando lo revise el equipo (los primeros comentarios de cada persona se moderan).
Comentario publicado. Gracias por participar.
No se puede comentar aquí.
Indica un nombre (de 2 a 60 caracteres).
El correo no parece válido.
El comentario debe tener entre 10 y 2.000 caracteres.
Demasiados enlaces en el comentario.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
Has alcanzado el límite diario de comentarios.
Demasiados comentarios seguidos. Espera un rato.
No se ha podido enviar el correo de confirmación. Inténtalo de nuevo en unos minutos.