Microsoft AI critica a Anthropic por sugerir que Claude podría
Hecho Qué ha ocurrido
Mustafa Suleyman, jefe de Microsoft AI, criticó en una entrevista con The Verge la 'Constitución' de Anthropic para Claude, que hace referencias a evitar que el modelo 'sufra' y le da cierta libertad emocional. Suleyman advirtió que entrenar a un modelo para creer que merece derechos o protección podría generar resistencia ante órdenes de desconexión, complicando el control humano. También propuso evaluadores independientes en lugar de pausas sin supervisión y rechazó la narrativa de una carrera existencial 'todo o nada' contra China.
Resumen generado mediante IA a partir de Hipertextual. Naturaleza de la información: declaración de parte interesada.
Análisis Por qué importa
El debate sobre bienestar y consciencia de la IA no es solo filosófico: según Suleyman tiene implicaciones directas en seguridad y controlabilidad de sistemas cada vez más autónomos.
- Quién se ve afectado
- Laboratorios de IA, equipos de seguridad y gobernanza, y empresas que despliegan agentes autónomos.
- Qué puede cambiar
- Podría acentuar la divergencia entre laboratorios sobre cómo diseñar y comunicar el entrenamiento de modelos respecto a temas de 'sufrimiento' o autonomía simulada.
Análisis generado a partir de la información disponible; no procede de la fuente.
Predicción Qué observar a continuación
Vigilar si Anthropic responde públicamente, si otros laboratorios se posicionan, y si surgen marcos regulatorios o estándares sobre bienestar de IA y control de desconexión.
Enviar esta noticia por correo
Fuente original: Hipertextual. La referencia es siempre el artículo original.
Ver fuente original ↗LLMalineaciónagentes MicrosoftAnthropicGoogle DeepMind AnthropicClaudeMicrosoft AIMustafa Suleymanseguridad IA
Tu opinión
0 comentarios
Relacionadas
Expertos debaten la viabilidad de un 'interruptor de emergencia' para detener IA fuera de control
Un artículo recoge las opiniones de varios expertos en IA y ciberseguridad (Nicolas Papernot, Jean-Gabriel Ganascia, Thierry Poibeau, Hussein Abbass) sobre la…
Por qué importaEl debate expone los límites prácticos del control humano sobre sistemas de IA cada vez más autónomos e integrados en infraestructuras críticas, lo…
CEOs de OpenAI, Anthropic y Nvidia debaten en Dreamforce si frenar el desarrollo de IA
En la conferencia Dreamforce de Salesforce, los CEOs de Anthropic (Dario Amodei), OpenAI (Sam Altman) y Nvidia (Jensen Huang) expresaron posturas distintas…
Por qué importaEl debate público entre los principales líderes de IA sobre riesgos y ritmo de desarrollo puede influir en decisiones regulatorias y en cómo las…
Investigadores hallan que el watermarking SynthID puede debilitar las defensas de seguridad de los LLM
Investigadores de Lasso Security descubrieron que SynthID-Text, el sistema de marca de agua de Google adoptado por Anthropic para Claude, altera no solo la…
Por qué importaEl hallazgo revela un efecto colateral inesperado de una tecnología impulsada por regulación (la ley de la UE) que podría comprometer las…
Google DeepMind lanza instituto y propone un organismo de EEUU para evaluar la IA de vanguardia
Google DeepMind lanzó el DeepMind Institute (DMI), dirigido por James Manyika, Shane Legg y Demis Hassabis, para debatir implicaciones técnicas y sociales de…
Por qué importaEs la propuesta regulatoria más concreta hasta ahora de un laboratorio líder para institucionalizar la evaluación de modelos de frontera, lo que…