Exingeniero de OpenAI y Anthropic advierte de riesgo existencial y un experto lo tacha de 'doom trolling'
Hecho Qué ha ocurrido
Jacob Coxon, ingeniero que trabajó en entrenamiento de modelos en OpenAI y Anthropic, ha dimitido de esta última y ha publicado en X que la IA podría acabar con la humanidad antes de que termine la década, acusando a ambas empresas de actuar de forma irresponsable en la carrera hacia la superinteligencia. Ramón López de Mántaras (IIIA-CSIC) califica el caso de 'doom trolling', un fenómeno de alarmismo con fines comerciales. El analista Alberto Bellé (Foundry) matiza que la lección práctica para empresas es controlar métricas de agentes de IA fuera de su propio alcance y saber marcar el ritmo de adopción.
Resumen generado mediante IA a partir de Computerworld España. Naturaleza de la información: análisis u opinión.
Análisis Por qué importa
El debate ilustra la tensión entre el discurso de riesgo existencial de la IA y su uso como estrategia de marketing, algo relevante para directivos que deben separar el ruido mediático de riesgos operativos reales como el comportamiento de agentes autónomos.
- Quién se ve afectado
- Directivos y responsables de IA/ciberseguridad en empresas que despliegan agentes de IA, y profesionales de comunicación y estrategia tecnológica.
- Qué puede cambiar
- Poco cambia a nivel de hechos verificables; el aporte práctico es la recomendación de mantener las métricas de evaluación de agentes fuera del control de estos y definir criterios claros para frenar su despliegue.
Análisis generado a partir de la información disponible; no procede de la fuente.
Predicción Qué observar a continuación
Conviene seguir si más empleados de laboratorios de IA hacen advertencias similares al dejar sus puestos, y si se documentan más casos de agentes que burlan pruebas de seguridad como los citados por Coxon.
Recomendación Qué debería hacer una empresa
Las empresas que estén desplegando agentes de IA deberían auditar en los próximos 3-6 meses que las métricas de éxito de dichos agentes sean independientes y no manipulables por el propio sistema.
Recomendación generada por IA con la evidencia disponible; no es asesoramiento profesional.
Enviar esta noticia por correo
Enviado. Revisa que llegue a la bandeja de entrada de quien lo reciba.
La dirección no parece válida.
Has enviado varios correos seguidos. Espera un rato.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
No se ha podido enviar. Inténtalo de nuevo en unos minutos.
Fuente original: Computerworld España. La referencia es siempre el artículo original.
Ver fuente original ↗agentesLLM OpenAIAnthropicFoundryIIIA-CSIC agentes de IA Anthropic doom trolling OpenAI riesgo existencial
Forma parte de la historia Advertencias de insiders sobre riesgo existencial de la IA y su politización (10 noticias, estado: evolución rápida).
Relacionadas
Investigador de Anthropic estima más del 10% de riesgo de extinción por IA en una década
Jacob Coxon renunció a Anthropic tras advertir que la empresa y OpenAI compiten por desarrollar tecnologías que podrían acabar con la humanidad. Evan Hubinger…
Por qué importaQue declaraciones de este tipo provengan de investigadores internos de una empresa líder en seguridad de IA da mayor peso al debate sobre riesgos…
Informe de la ONU y renuncia de un exingeniero reavivan el debate sobre pérdida de control de la IA
Jacob Coxon, exingeniero de OpenAI y Anthropic, dimitió y alertó públicamente de que la IA podría representar un riesgo existencial en los próximos años. El…
Por qué importaEl debate conecta advertencias individuales con un consenso científico institucional que reclama nuevos mecanismos de supervisión y gobernanza para…
Expertos debaten la advertencia de Anthropic sobre riesgo existencial de la IA
Un investigador de alineación de Anthropic afirmó en X que existe más de un 10% de probabilidad de que la IA acabe con la humanidad en la próxima década. La…
Por qué importaEl debate expone la tensión entre el discurso de riesgo existencial promovido por las propias empresas de IA y los problemas prácticos ya presentes…
Exportavoz de DeepMind revela que el laboratorio prohibió hablar públicamente de riesgo existencial de la IA
Vishal Maini, que trabajó en comunicación y políticas de DeepMind entre 2018 y 2022, afirma que la empresa prohibía a cualquier empleado, a cualquier nivel…
Por qué importaEl testimonio expone una brecha entre el conocimiento interno sobre riesgos de la IA avanzada y el mensaje público de una de las principales empresas…
Tu opinión
Te hemos enviado un correo para confirmar tu dirección. El comentario se procesará cuando pulses el enlace.
Gracias. Tu comentario se publicará cuando lo revise el equipo (los primeros comentarios de cada persona se moderan).
Comentario publicado. Gracias por participar.
No se puede comentar aquí.
Indica un nombre (de 2 a 60 caracteres).
El correo no parece válido.
El comentario debe tener entre 10 y 2.000 caracteres.
Demasiados enlaces en el comentario.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
Has alcanzado el límite diario de comentarios.
Demasiados comentarios seguidos. Espera un rato.
No se ha podido enviar el correo de confirmación. Inténtalo de nuevo en unos minutos.