Anthropic y OpenAI proponen integrar evaluadores de seguridad independientes en sus laboratorios
Hecho Qué ha ocurrido
Dario Amodei (Anthropic) propuso embeber evaluadores externos como METR y Redwood Research dentro de los laboratorios de IA con acceso a checkpoints de entrenamiento e informes sin control editorial; Sam Altman dijo que OpenAI también se comprometerá. Evaluadores consultados por TechCrunch piden detalles concretos sobre acceso, tiempo y capacidad de publicación, y señalan casos previos (como GPT-6 Astra, evaluado por Apollo Research en solo tres días) donde el tiempo fue insuficiente. Meta, SpaceXAI y Google DeepMind no se han sumado; California y la UE ya exigen algunas formas de evaluación de riesgo.
Resumen generado mediante IA a partir de TechCrunch AI (original en inglés). Naturaleza de la información: declaración de parte interesada.
Análisis Por qué importa
Si se implementa con independencia real, cambiaría la forma en que se verifica la seguridad de modelos de frontera, actualmente basada en confianza y evaluaciones superficiales previas al lanzamiento.
- Quién se ve afectado
- Laboratorios de IA de frontera, reguladores, firmas de auditoría de seguridad y empresas que dependen de modelos de estos proveedores.
- Qué puede cambiar
- Podría pasar de evaluaciones puntuales pre-lanzamiento a auditorías continuas con acceso a datos de entrenamiento intermedio, aumentando la transparencia sobre alineación real de los modelos.
Análisis generado a partir de la información disponible; no procede de la fuente.
Predicción Qué observar a continuación
Vigilar si Anthropic y OpenAI concretan qué evaluadores, con qué acceso y capacidad de publicación sin censura, y si surge regulación (como SB 813 en California) que obligue a todos los laboratorios por igual.
Recomendación Qué debería hacer una empresa
Las empresas que dependen de modelos de frontera deberían seguir de cerca los marcos de evaluación independiente en los próximos 6-12 meses antes de comprometerse a integraciones críticas basadas solo en las afirmaciones de seguridad de los proveedores.
Recomendación generada por IA con la evidencia disponible; no es asesoramiento profesional.
Enviar esta noticia por correo
Enviado. Revisa que llegue a la bandeja de entrada de quien lo reciba.
La dirección no parece válida.
Has enviado varios correos seguidos. Espera un rato.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
No se ha podido enviar. Inténtalo de nuevo en unos minutos.
Fuente original: TechCrunch AI. La referencia es siempre el artículo original.
Ver fuente original ↗LLMevaluación de alineación AnthropicOpenAIMETRRedwood ResearchApollo Research Anthropic evaluadores independientes OpenAI regulación seguridad de IA
Forma parte de la historia Auditorías externas de IA frente a fallos básicos de seguridad de red (2 noticias, estado: alto impacto).
Relacionadas
Expertos en ciberseguridad piden reforzar controles básicos de red antes que auditorías externas de IA
Tras propuestas de Anthropic y otros laboratorios de crear auditores externos de seguridad de IA, expertos en ciberseguridad como Kate Moussouris (Luta…
Por qué importaMuestra que los grandes laboratorios de IA carecen de prácticas de seguridad informática básicas pese a construir sistemas autónomos cada vez más…
OpenAI anuncia acceso de evaluadores externos durante el entrenamiento de sus modelos
OpenAI publicó un anuncio sobre conversaciones con evaluadores externos, incluyendo METR y Redwood Research, para darles acceso a sus modelos durante la fase…
Por qué importaEl acceso durante el entrenamiento permitiría detectar comportamientos problemáticos antes de que el modelo esté completo y sea costoso corregirlo, a…
OpenAI y Anthropic quieren controlar qué fallos publican los evaluadores externos de IA
Según una investigación de Reuters, OpenAI y Anthropic quieren ejercer un «control significativo» sobre lo que publican los evaluadores externos, por temor a…
Por qué importaLa independencia de las evaluaciones de seguridad determina qué riesgos de los modelos llegan a conocerse. Las empresas que usan estos modelos…
Amodei, Altman y Musk piden ralentizar el ritmo de desarrollo de la IA para reforzar la seguridad
Dario Amodei (Anthropic) publicó un blog pidiendo introducir una pausa entre el momento en que un modelo se vuelve más potente y su despliegue, y anunció que…
Por qué importaEs la primera vez que los tres principales rivales de la carrera de IA coinciden públicamente en pedir más controles de seguridad antes del…
Tu opinión
Te hemos enviado un correo para confirmar tu dirección. El comentario se procesará cuando pulses el enlace.
Gracias. Tu comentario se publicará cuando lo revise el equipo (los primeros comentarios de cada persona se moderan).
Comentario publicado. Gracias por participar.
No se puede comentar aquí.
Indica un nombre (de 2 a 60 caracteres).
El correo no parece válido.
El comentario debe tener entre 10 y 2.000 caracteres.
Demasiados enlaces en el comentario.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
Has alcanzado el límite diario de comentarios.
Demasiados comentarios seguidos. Espera un rato.
No se ha podido enviar el correo de confirmación. Inténtalo de nuevo en unos minutos.