OpenAI integrará a seis evaluadores de Apollo Research para investigar si sus modelos sabotean la supervisión

Hecho Qué ha ocurrido
Apollo Research anunció que OpenAI incorporará a seis evaluadores de seguridad de Apollo en su organización como parte de un piloto, sin fecha de inicio confirmada. El objetivo es comprobar si sus modelos intentan eludir las reglas de seguridad o los mecanismos de control, propios o de sus versiones futuras. Según el texto, OpenAI aceptó que Apollo pueda explicar públicamente las condiciones y limitaciones del trabajo, pero se reserva el derecho a retener información por motivos técnicos, de seguridad o de propiedad intelectual.
Resumen generado mediante IA a partir de TechCrunch AI (original en inglés). Naturaleza de la información: declaración de parte interesada.
Análisis Por qué importa
Es uno de los primeros casos en que un laboratorio admite evaluadores externos dentro de su propia organización durante el entrenamiento, no solo antes del lanzamiento. Para empresas que usan modelos de frontera, la independencia y el alcance real de estas evaluaciones determinan cuánto se puede confiar en las garantías de seguridad.
- Quién se ve afectado
- Laboratorios de IA de frontera, equipos de cumplimiento y seguridad, y empresas que despliegan modelos de OpenAI en procesos críticos.
- Qué puede cambiar
- Si el piloto prospera, las evaluaciones externas podrían moverse hacia el entrenamiento y el despliegue interno, y no quedarse en pruebas finales antes de publicar un modelo. Las restricciones de acceso y divulgación, sin embargo, limitan lo que los evaluadores pueden verificar de forma independiente.
Análisis generado a partir de la información disponible; no procede de la fuente.
Predicción Qué observar a continuación
Conviene vigilar la fecha de inicio del piloto, el alcance real de acceso a datos y registros de entrenamiento, y si OpenAI permite publicar hallazgos desfavorables. También será relevante si otros laboratorios replican el modelo.
Enviar esta noticia por correo
Enviado. Revisa que llegue a la bandeja de entrada de quien lo reciba.
La dirección no parece válida.
Has enviado varios correos seguidos. Espera un rato.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
No se ha podido enviar. Inténtalo de nuevo en unos minutos.
Fuente original: TechCrunch AI. La referencia es siempre el artículo original.
Ver fuente original ↗modelos de fronteraagentes de IA OpenAIApollo ResearchMETRPalisade ResearchAnthropic alineamiento Apollo Research evaluaciones externas OpenAI seguridad de la IA
Forma parte de la historia OpenAI abre sus modelos a evaluadores externos de seguridad (2 noticias, estado: en evolución).
Relacionadas
OpenAI inicia evaluaciones externas de alineación, salvaguardas y monitorización con cuatro entidades
OpenAI ha iniciado su primera fase de evaluaciones embebidas con Apollo Research, METR, Transluce y Goodfire. Según el extracto, estas entidades evaluarán de…
Por qué importaQue un laboratorio abra la comprobación de seguridad de sus modelos a terceros independientes es una señal de la práctica de gobernanza que empresas…
Anthropic y OpenAI proponen integrar evaluadores de seguridad independientes en sus laboratorios
Dario Amodei (Anthropic) propuso embeber evaluadores externos como METR y Redwood Research dentro de los laboratorios de IA con acceso a checkpoints de…
Por qué importaSi se implementa con independencia real, cambiaría la forma en que se verifica la seguridad de modelos de frontera, actualmente basada en confianza y…
OpenAI anuncia acceso de evaluadores externos durante el entrenamiento de sus modelos
OpenAI publicó un anuncio sobre conversaciones con evaluadores externos, incluyendo METR y Redwood Research, para darles acceso a sus modelos durante la fase…
Por qué importaEl acceso durante el entrenamiento permitiría detectar comportamientos problemáticos antes de que el modelo esté completo y sea costoso corregirlo, a…
OpenAI y Anthropic quieren controlar qué fallos publican los evaluadores externos de IA
Según una investigación de Reuters, OpenAI y Anthropic quieren ejercer un «control significativo» sobre lo que publican los evaluadores externos, por temor a…
Por qué importaLa independencia de las evaluaciones de seguridad determina qué riesgos de los modelos llegan a conocerse. Las empresas que usan estos modelos…
Tu opinión
Te hemos enviado un correo para confirmar tu dirección. El comentario se procesará cuando pulses el enlace.
Gracias. Tu comentario se publicará cuando lo revise el equipo (los primeros comentarios de cada persona se moderan).
Comentario publicado. Gracias por participar.
No se puede comentar aquí.
Indica un nombre (de 2 a 60 caracteres).
El correo no parece válido.
El comentario debe tener entre 10 y 2.000 caracteres.
Demasiados enlaces en el comentario.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
Has alcanzado el límite diario de comentarios.
Demasiados comentarios seguidos. Espera un rato.
No se ha podido enviar el correo de confirmación. Inténtalo de nuevo en unos minutos.



