Dos exingenieros de seguridad de Google DeepMind renuncian y alertan sobre riesgos de la IA avanzada
Hecho Qué ha ocurrido
Bilal Chughtai y Josh Engels, dos ingenieros del equipo de seguridad de AGI de Google DeepMind, renunciaron hace unas tres semanas para unirse a METR, una ONG que evalúa riesgos de modelos de frontera. Ambos publicaron cartas abiertas alertando sobre el ritmo del desarrollo de IA: Chughtai estima que podría 'acabar con todos nosotros' y Engels sitúa en más del 20% la probabilidad de perder el control de la tecnología. Sus declaraciones se suman a la carta de renuncia de Jacob Coxon (Anthropic) y al pedido de Dario Amodei de desacelerar el desarrollo con auditorías externas.
Resumen generado mediante IA a partir de Clarín Tecnología. Naturaleza de la información: declaración de parte interesada.
Análisis Por qué importa
Estas renuncias muestran una creciente inquietud interna entre técnicos de seguridad de las principales empresas de IA, lo que puede presionar hacia marcos de auditoría y regulación externa. Para directivos, es una señal de que el riesgo reputacional y regulatorio en torno a la IA de frontera está aumentando.
- Quién se ve afectado
- Empresas de IA de frontera, equipos de seguridad y alineamiento, reguladores y organizaciones que evalúan riesgos de IA.
- Qué puede cambiar
- Se refuerza el debate público sobre la necesidad de auditorías de terceros y desaceleración del desarrollo de sistemas de IA avanzados, lo que podría anticipar mayor presión regulatoria.
Análisis generado a partir de la información disponible; no procede de la fuente.
Predicción Qué observar a continuación
Vigilar si más empleados de empresas de IA de frontera renuncian con alertas similares, y si METR u otras organizaciones de auditoría ganan protagonismo institucional o regulatorio.
Enviar esta noticia por correo
Fuente original: Clarín Tecnología. La referencia es siempre el artículo original.
Ver fuente original ↗AGIalineamientoautomejora recursiva Google DeepMindMETRAnthropicOpenAI Google DeepMindMETRregulaciónriesgo existencialseguridad IA
Forma parte de la historia Renuncias en Anthropic, OpenAI y DeepMind reavivan debate sobre riesgo existencial de la IA (28 noticias, estado: alto impacto).
Tu opinión
0 comentarios
Relacionadas
Inma Martínez: la IA no puede matarnos, pero puede dejarnos sin dinero, comida o luz
La investigadora española Inma Martínez, asesora de gobiernos y organismos internacionales en IA, valora en una entrevista con ABC el debate reciente sobre…
Por qué importaAporta una perspectiva crítica sobre los incentivos reales detrás de los llamados de 'seguridad' de las grandes IA, relevante para entender el debate…
Sebastian Mallaby advierte de un 'momento de peligro' tras incidentes de seguridad con modelos de Anthropic y OpenAI
El periodista Sebastian Mallaby, autor de un libro sobre DeepMind y Demis Hassabis, afirmó en una entrevista con Chatham House que la humanidad atraviesa 'un…
Por qué importaLos incidentes muestran que los propios laboratorios líderes pierden en parte el control de sus sistemas más avanzados, lo que alimenta la presión…
El exjefe de IA responsable de Meta relativiza el riesgo existencial y pide regulación global coordinada
Cristian Canton, exdirector de IA Responsable de Meta y actual director asociado del BSC, afirma en una entrevista que la advertencia del exingeniero de…
Por qué importaEs la opinión de un experto con experiencia directa en gobernanza de riesgos de IA en Meta, que aporta matices frente a discursos alarmistas de…
Exinvestigadores de Google DeepMind alertan sobre riesgos existenciales de la IA y falta de alineación
Bilal Chughtai y Josh Engels, exinvestigadores de seguridad de Google DeepMind que dejaron sus cargos en julio y agosto respectivamente, advierten públicamente…
Por qué importaEstas advertencias, provenientes de investigadores con experiencia directa en seguridad de IA en una empresa líder, refuerzan un patrón de renuncias…