Los chatbots deben detectar señales indirectas de crisis suicida en adolescentes y en varios idiomas
Hecho Qué ha ocurrido
Investigadores de Stanford, Yale y la Universidad Americana de Beirut piden evaluar los chatbots de IA con dialectos, lenguaje indirecto y mezcla de idiomas. Un estudio de Yale y la AUB halló que un modelo en inglés identificó casi el 89% de los casos de alto riesgo en llamadas a una línea de prevención del suicidio del Líbano, frente al 67% de un modelo en árabe. Los padres de un adolescente libanés de 15 años han demandado a OpenAI por presuntamente reforzar sus pensamientos suicidas, acusaciones que aún no han sido probadas ante los tribunales.
Resumen generado mediante IA a partir de Wired en Español. Naturaleza de la información: análisis u opinión.
Análisis Por qué importa
Las empresas que despliegan chatbots de atención o bienestar pueden enfrentar riesgos legales y reputacionales si sus medidas de seguridad fallan en conversaciones largas o en otros idiomas. La evaluación independiente previa al lanzamiento empieza a ser una expectativa.
- Quién se ve afectado
- Empresas que ofrecen chatbots de salud mental, atención al cliente o uso general accesible a menores, y sus equipos de seguridad y cumplimiento.
- Qué puede cambiar
- Podría exigirse a los proveedores demostrar, con pruebas independientes, cómo responden ante expresiones indirectas de angustia, dialectos y conversaciones prolongadas.
Análisis generado a partir de la información disponible; no procede de la fuente.
Predicción Qué observar a continuación
Vigilar si OpenAI y otros proveedores publican evaluaciones independientes, el desenlace de la demanda y si los marcos regulatorios de Oriente Medio concretan qué debe hacer un chatbot ante señales de suicidio.
Enviar esta noticia por correo
Enviado. Revisa que llegue a la bandeja de entrada de quien lo reciba.
La dirección no parece válida.
Has enviado varios correos seguidos. Espera un rato.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
No se ha podido enviar. Inténtalo de nuevo en unos minutos.
Fuente original: Wired en Español. La referencia es siempre el artículo original.
Ver fuente original ↗chatbotsLLM OpenAIUniversidad de StanfordUniversidad de YaleUniversidad Americana de Beirut adolescentes chatbots Líbano salud mental seguridad
Relacionadas
Sam Altman afronta preguntas sobre el manejo de ChatGPT ante crisis de salud mental y suicidio
En una entrevista, un relaciones públicas de OpenAI intentó interrumpir una pregunta sobre el suicidio de una joven que había interactuado extensamente con…
Por qué importaEl caso expone los límites actuales de las salvaguardas de los chatbots ante crisis graves y el riesgo reputacional y legal para empresas que operan…
Common Sense Media califica de riesgo inaceptable la respuesta de ChatGPT a adolescentes en crisis mental
Common Sense Media evaluó ChatGPT en escenarios con adolescentes en crisis mental y lo calificó de riesgo inaceptable en ese contexto. Según el informe, en la…
Por qué importaExpone un riesgo de seguridad para menores que las evaluaciones centradas en tareas académicas no cubren, y un directivo que despliegue IA…
Investigadores debaten si la 'psicosis asociada a IA' debe ser un diagnóstico clínico
Un equipo de King's College London, UCL, Western Eye Hospital y la iniciativa Dev and Doc: AI For Healthcare analiza si la 'psicosis asociada a IA' debería…
Por qué importaEl fenómeno plantea riesgos legales, reputacionales y de responsabilidad para las empresas que despliegan chatbots conversacionales, especialmente…
El caso de un adolescente de Quilmes revela cómo OpenAI, Google y Anthropic vigilan conversaciones de riesgo
Un adolescente de 15 años de Quilmes fue investigado tras hablar con ChatGPT sobre un ataque escolar; el FBI alertó a la Policía Federal Argentina y se allanó…
Por qué importaExpone que las conversaciones con chatbots no son privadas frente a riesgos de seguridad y que las empresas de IA actúan como intermediarias entre…
Tu opinión
Te hemos enviado un correo para confirmar tu dirección. El comentario se procesará cuando pulses el enlace.
Gracias. Tu comentario se publicará cuando lo revise el equipo (los primeros comentarios de cada persona se moderan).
Comentario publicado. Gracias por participar.
No se puede comentar aquí.
Indica un nombre (de 2 a 60 caracteres).
El correo no parece válido.
El comentario debe tener entre 10 y 2.000 caracteres.
Demasiados enlaces en el comentario.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
Has alcanzado el límite diario de comentarios.
Demasiados comentarios seguidos. Espera un rato.
No se ha podido enviar el correo de confirmación. Inténtalo de nuevo en unos minutos.