Estudio de la Universidad de Arizona halla fallas de fiabilidad en chatbots durante diálogos largos
Hecho Qué ha ocurrido
Un estudio de la Universidad de Arizona, publicado en Scientific Reports, evaluó siete chatbots (GPT-3.5, GPT-4o, GPT-4o-mini, Claude 3.5 Sonnet, Gemini 1.5 Pro, Llama-3-70B y DeepSeek-R1) en conversaciones de múltiples turnos, midiendo falibilidad, persuadibilidad y capacidad de autocorrección. Encontró que todos los modelos son más vulnerables a la desinformación en temas poco conocidos, que ChatGPT 3.5 fue el más propenso a reafirmar información falsa y Claude 3.5 Sonnet el menos vulnerable, y que algunos modelos muestran un fenómeno de 'reverberación' donde oscilan entre aceptar y rechazar la misma afirmación falsa. DeepSeek resultó el más persuadible ante argumentos insistentes.
Resumen generado mediante IA a partir de Infobae Tecno. Naturaleza de la información: hecho documentado.
Análisis Por qué importa
Estas fallas son especialmente riesgosas en aplicaciones críticas (salud, finanzas, defensa) donde decisiones basadas en un chatbot podrían variar según el momento exacto de la consulta, generando resultados inconsistentes y potencialmente peligrosos.
- Quién se ve afectado
- Empresas que integran chatbots en procesos de decisión crítica, equipos de IT, legal y de cumplimiento, y desarrolladores de aplicaciones basadas en LLM.
- Qué puede cambiar
- Refuerza la necesidad de supervisión humana y validación adicional en usos de alto riesgo, y presiona por mayor transparencia en modelos cerrados para poder diagnosticar estas inestabilidades.
Análisis generado a partir de la información disponible; no procede de la fuente.
Predicción Qué observar a continuación
Vigilar si surgen nuevas herramientas de diagnóstico como el AI Pathology Lab de ACABI, si los proveedores de modelos cerrados ofrecen mayor transparencia, y si reguladores retoman el impulso normativo mencionado por el autor principal.
Recomendación Qué debería hacer una empresa
Las empresas que usen chatbots en decisiones críticas deberían implementar controles de validación humana y pruebas de consistencia en diálogos largos antes de escalar su uso en los próximos 6-12 meses.
Recomendación generada por IA con la evidencia disponible; no es asesoramiento profesional.
Enviar esta noticia por correo
Fuente original: Infobae Tecno. La referencia es siempre el artículo original.
Ver fuente original ↗LLMchatbots OpenAIAnthropicGoogle DeepMindDeepSeekMeta chatbotsdesinformaciónfiabilidad IAseguridad IAUniversidad de Arizona
Tu opinión
0 comentarios
Relacionadas
DeepMind lanza AlphaGenome Atlas con predicciones de 9.000 millones de variantes del genoma humano
Google DeepMind ha publicado el AlphaGenome Atlas, un conjunto de datos de un petabyte que predice el efecto molecular de cada una de las aproximadamente nueve…
Por qué importaEsta base de datos podría acelerar drásticamente el diagnóstico de enfermedades raras y la investigación genética al reducir el tiempo necesario para…
Debate sobre el papel de la IA de OpenAI en la solución del problema de Navier-Stokes
OpenAI afirmó que su IA ayudó a resolver aspectos del problema matemático de Navier-Stokes, uno de los enigmas abiertos de la matemática desde hace casi 200…
Por qué importaEl caso ilustra la disputa creciente sobre atribución y verificación de resultados científicos cuando intervienen sistemas de IA, algo relevante para…
OpenAI afirma resolver parte del problema del milenio Navier-Stokes con IA, pero surge disputa de prioridad
OpenAI anunció el 8 de septiembre que un modelo interno más capaz que GPT-6 Astra produjo una prueba formal en Lean que resuelve dos de los cuatro enunciados…
Por qué importaEs el avance más significativo hasta ahora de IA en matemáticas de investigación de frontera, con verificación formal objetiva vía Lean, pero también…
OpenAI dice haber resuelto Navier-Stokes con IA, pero enfrenta acusaciones de plagio
OpenAI afirma que 10.000 agentes de IA resolvieron en 88 horas el problema de existencia y suavidad de las ecuaciones de Navier-Stokes, uno de los Siete…
Por qué importaEl caso pone en duda la fiabilidad de los anuncios de 'descubrimientos' de IA y reabre el debate sobre cómo se entrenan los modelos con contenido de…