Ir al contenido
IA para hoy
Regulación y ética Empresa 4/5 · Varias fuentes

OpenAI integrará a seis evaluadores de Apollo Research para investigar si sus modelos sabotean la supervisión

Fotografía de archivo que ilustra: OpenAI integrará a seis evaluadores de Apollo Research para investigar si sus modelos sabotean la supervisión
Foto: contact me +923323219715 · Licencia Pexels · Pexels

Hecho Qué ha ocurrido

Apollo Research anunció que OpenAI incorporará a seis evaluadores de seguridad de Apollo en su organización como parte de un piloto, sin fecha de inicio confirmada. El objetivo es comprobar si sus modelos intentan eludir las reglas de seguridad o los mecanismos de control, propios o de sus versiones futuras. Según el texto, OpenAI aceptó que Apollo pueda explicar públicamente las condiciones y limitaciones del trabajo, pero se reserva el derecho a retener información por motivos técnicos, de seguridad o de propiedad intelectual.

Resumen generado mediante IA a partir de TechCrunch AI (original en inglés). Naturaleza de la información: declaración de parte interesada.

Análisis Por qué importa

Es uno de los primeros casos en que un laboratorio admite evaluadores externos dentro de su propia organización durante el entrenamiento, no solo antes del lanzamiento. Para empresas que usan modelos de frontera, la independencia y el alcance real de estas evaluaciones determinan cuánto se puede confiar en las garantías de seguridad.

Quién se ve afectado
Laboratorios de IA de frontera, equipos de cumplimiento y seguridad, y empresas que despliegan modelos de OpenAI en procesos críticos.
Qué puede cambiar
Si el piloto prospera, las evaluaciones externas podrían moverse hacia el entrenamiento y el despliegue interno, y no quedarse en pruebas finales antes de publicar un modelo. Las restricciones de acceso y divulgación, sin embargo, limitan lo que los evaluadores pueden verificar de forma independiente.

Análisis generado a partir de la información disponible; no procede de la fuente.

Predicción Qué observar a continuación

Conviene vigilar la fecha de inicio del piloto, el alcance real de acceso a datos y registros de entrenamiento, y si OpenAI permite publicar hallazgos desfavorables. También será relevante si otros laboratorios replican el modelo.

Compartir WhatsApp LinkedIn X Bluesky Telegram
Enviar esta noticia por correo

Se envía esta noticia con su análisis. La dirección se usa solo para ese envío y no se guarda.

Protección de datos. Responsable: Fernando Lobato, PhD. Finalidad: hacer el envío que pides. Base: nuestro interés legítimo. Lo envía Resend; la comprobación de robots es de Cloudflare. Puedes acceder a tus datos, pedir que los borremos y ejercer tus demás derechos como explica la política de privacidad.

Fuente original: TechCrunch AI. La referencia es siempre el artículo original.

Ver fuente original ↗

modelos de fronteraagentes de IA OpenAIApollo ResearchMETRPalisade ResearchAnthropic alineamiento Apollo Research evaluaciones externas OpenAI seguridad de la IA

Fuentes de esta historia

Esta noticia forma parte de una historia cubierta por 2 publicaciones. La fiabilidad sube cuando varias fuentes independientes la confirman.

  1. OpenAI
    · varias fuentes · artículo original ↗
  2. TechCrunch AI estás leyendo esta
    · varias fuentes · artículo original ↗

Ver la historia completa con su línea temporal →

Relacionadas

Regulación y ética

OpenAI inicia evaluaciones externas de alineación, salvaguardas y monitorización con cuatro entidades

OpenAI ha iniciado su primera fase de evaluaciones embebidas con Apollo Research, METR, Transluce y Goodfire. Según el extracto, estas entidades evaluarán de…

Por qué importaQue un laboratorio abra la comprobación de seguridad de sus modelos a terceros independientes es una señal de la práctica de gobernanza que empresas…

Impacto bajo Fiabilidad varias fuentes OpenAI
Regulación y ética

Anthropic y OpenAI proponen integrar evaluadores de seguridad independientes en sus laboratorios

Dario Amodei (Anthropic) propuso embeber evaluadores externos como METR y Redwood Research dentro de los laboratorios de IA con acceso a checkpoints de…

Por qué importaSi se implementa con independencia real, cambiaría la forma en que se verifica la seguridad de modelos de frontera, actualmente basada en confianza y…

Impacto medio Fiabilidad una fuente fiable Relevancia 7/10 TechCrunch AI

OpenAI anuncia acceso de evaluadores externos durante el entrenamiento de sus modelos

OpenAI publicó un anuncio sobre conversaciones con evaluadores externos, incluyendo METR y Redwood Research, para darles acceso a sus modelos durante la fase…

Por qué importaEl acceso durante el entrenamiento permitiría detectar comportamientos problemáticos antes de que el modelo esté completo y sea costoso corregirlo, a…

Impacto bajo Fiabilidad declaración interesada WWWhat's new

OpenAI y Anthropic quieren controlar qué fallos publican los evaluadores externos de IA

Según una investigación de Reuters, OpenAI y Anthropic quieren ejercer un «control significativo» sobre lo que publican los evaluadores externos, por temor a…

Por qué importaLa independencia de las evaluaciones de seguridad determina qué riesgos de los modelos llegan a conocerse. Las empresas que usan estos modelos…

Impacto medio Fiabilidad declaración interesada Relevancia 7/10 20minutos Tecnología

Tu opinión

0 comentarios

Escribe un comentario

Sin registro. La primera vez te pediremos confirmar el correo y el comentario pasará por moderación; después se publican al momento si cumplen las normas y firmas con el mismo nombre.

Protección de datos. Responsable: Fernando Lobato, PhD. Finalidad: publicar y moderar tu comentario y evitar abusos. Base: tu consentimiento y, contra los abusos, nuestro interés legítimo. Se publica tu nombre, no tu correo. El texto pasa por un filtro con IA de Anthropic, en Estados Unidos, sin tu nombre ni tu correo, y se guarda un resumen de tu IP 90 días. La comprobación de robots es de Cloudflare. Puedes acceder a tus datos, pedir que los borremos y ejercer tus demás derechos como explica la política de privacidad.