Ir al contenido
IA para hoy
Regulación y ética Seguridad Del archivo 3/5 · Una fuente fiable

Investigadores extraen razonamientos ocultos de modelos propietarios mediante trazas cifradas

Fotografía de archivo que ilustra: Investigadores extraen razonamientos ocultos de modelos propietarios mediante trazas cifradas
Foto: cottonbro studio · Licencia Pexels · Pexels

Hecho Qué ha ocurrido

Investigadores descubrieron una vulnerabilidad que permitía extraer las cadenas de razonamiento ocultas (chain-of-thought) cifradas devueltas por APIs de OpenAI, Anthropic y Google. El exploit funcionaba replicando trazas de modelos fuertes en versiones más débiles para forzarlas a revelar el razonamiento en texto plano; todos los modelos de una familia utilizaban la misma clave de cifrado. Claude Haiku 4.5 fue el más vulnerable. Tras reportar responsablemente, los proveedores confirmaron el problema y lo corrigieron.

Resumen generado mediante IA a partir de Simon Willison (original en inglés). Naturaleza de la información: hecho documentado.

Análisis Por qué importa

Esta vulnerabilidad expone cómo el "pensamiento" de los modelos más avanzados puede ser interceptado y reutilizado, comprometiendo tanto la privacidad de los procesos de razonamiento como la seguridad de sistemas basados en estos modelos. Además, demuestra un vector de inyección de prompts más sofisticado: insertar instrucciones maliciosas dentro de las propias trazas de pensamiento que los modelos tienden a ejecutar sin cuestionamiento.

Quién se ve afectado
Empresas que utilizan APIs de OpenAI, Anthropic o Google con modelos de razonamiento extendido; desarrolladores que dependen de la confidencialidad de los procesos de razonamiento de modelos propietarios; cualquier aplicación que procese información sensible con estos modelos.
Qué puede cambiar
Si esta clase de vulnerabilidades persiste en futuras versiones, la confianza en que el razonamiento oculto permanece privado se verá comprometida. Podría obligar a un rediseño fundamental de cómo se cifran y distribuyen las trazas de razonamiento, o cambiar el modelo de negocio hacia sistemas donde ese pensamiento se procesa completamente en servidores del proveedor sin retorno al cliente.

Análisis generado a partir de la información disponible; no procede de la fuente.

Ilustración generada con IA sobre: Investigadores extraen razonamientos ocultos de modelos propietarios mediante trazas cifradas
Ilustración generada con IA por IA para hoy

Predicción Qué observar a continuación

Vigilar si aparecen nuevas variantes de ataque una vez que los parches estén más extendidos; monitorear cambios en las políticas de acceso a razonamientos en futuras versiones de APIs (Claude 4.6+, GPT-5.6, etc.); observar si otros proveedores implementan mitigaciones similares; seguir publicaciones académicas que profundicen en la seguridad de trazas de razonamiento.

Recomendación Qué debería hacer una empresa

Equipos técnicos que integren razonamientos extendidos en aplicaciones críticas deben evaluar en los próximos 3-6 meses el impacto de este hallazgo en su modelo de seguridad y considerar implementar capas adicionales de protección o restricciones de acceso a estas trazas mientras los proveedores refinan sus defensas.

Recomendación generada por IA con la evidencia disponible; no es asesoramiento profesional.

Compartir WhatsApp LinkedIn X Bluesky Telegram
Enviar esta noticia por correo

Se envía esta noticia con su análisis. La dirección se usa solo para ese envío y no se guarda.

Fuente original: Simon Willison. La referencia es siempre el artículo original.

Ver fuente original ↗

LLMrazonamiento extendidochain-of-thoughtcifrado OpenAIAnthropicGoogle DeepMind APIs propietarias ciberseguridad razonamiento seguridad vulnerabilidad

Relacionadas

Investigadores descubren método para extraer razonamientos ocultos de Claude, GPT y Gemini

Investigadores de universidades alemanas y centros de seguridad han identificado una técnica para extraer los "razonamientos ocultos" que utilizan modelos de…

Por qué importaEste descubrimiento expone un riesgo de seguridad crítico en la infraestructura de APIs de los líderes del mercado y amplifica las preocupaciones…

Impacto alto Fiabilidad una fuente fiable Relevancia 8/10 Wired AI
Regulación y ética

DeepMind advierte que la transparencia del razonamiento visible de los modelos de IA está en riesgo

Investigadores de Google DeepMind Institute, Rohin Shah y Anca Dragan, afirman que la cadena de pensamiento visible (chain of thought) es una ventaja de…

Por qué importaSi los modelos dejan de exponer su razonamiento de forma legible, se pierde una herramienta central para auditar comportamientos engañosos o…

Impacto medio Fiabilidad declaración interesada Relevancia 7/10 The Decoder

Investigadores demuestran vulnerabilidad fundamental en LLMs imposible de resolver completamente

Un equipo de investigadores presentó en la Conferencia Internacional de Aprendizaje Automático (ICML) un artículo que argumenta que es imposible asegurar…

Por qué importaEsta investigación revela que las defensas actuales basadas en etiquetado de roles y red-teaming no pueden resolver completamente el problema de…

Impacto alto Fiabilidad una fuente fiable Relevancia 9/10 MIT Technology Review

OpenAI y Anthropic reconocen que sus últimos modelos son más difíciles de monitorizar internamente

OpenAI y Anthropic han lanzado sus modelos más avanzados, GPT-6 Astra y Claude Fable 5.1, respectivamente. OpenAI reconoce en su evaluación de seguridad del 3…

Por qué importaLa pérdida de transparencia en el razonamiento interno de los modelos frontera dificulta garantizar su alineación con intereses humanos justo cuando…

Impacto medio Fiabilidad una fuente fiable Relevancia 7/10 Xataka

Tu opinión

0 comentarios

Escribe un comentario

Sin registro. La primera vez te pediremos confirmar el correo y el comentario pasará por moderación; después se publican al momento si cumplen las normas y firmas con el mismo nombre. Se guarda un resumen de tu IP para evitar abusos.