Incidentes Asociados
Relevancia clínica: la IA ni siquiera está cerca de estar lista para reemplazar a los humanos en la terapia de salud mental
- La Asociación Nacional de Trastornos de la Alimentación (NEDA, por sus siglas en inglés) eliminó su chatbot de su línea directa de ayuda por preocupaciones de que estaba brindando consejos dañinos sobre los trastornos de la alimentación.
- El chatbot, llamado Tessa, recomendó perder peso, contar calorías y medir la grasa corporal, lo que podría exacerbar los trastornos alimentarios.
- NEDA inicialmente desestimó las afirmaciones hechas por un abogado, pero luego eliminó su declaración después de que la evidencia respaldara las acusaciones.
Una vez más, la inteligencia artificial (IA) demuestra que aún no está lista para el horario estelar en el espacio de la salud mental. La Asociación Nacional de Trastornos de la Alimentación ([NEDA](https://www.google.com/aclk?sa=l&ai=DChcSEwiE5qjIoaz_AhX97eMHHQGCAtUYABACGgJ5bQ&ase=2&sig=AOD64_2B5o_F1kIZ0QUCzDbOPZ4bdnH0aA&q&nis=4&adurl&ved=2ahUKEwjKq53I oaz_AhWGrokEHb3GAlgQ0Qx6BAgHEAE)) ha retirado el chatbot de su línea directa de ayuda por dar consejos peligrosos sobre [trastornos de la alimentación] (https://www.psychiatrist.com/topics/eating/).
Mensajería fuera de guión
"Nos llamó la atención [el lunes] por la noche que la versión actual de Tessa Chatbot, que ejecuta el programa Body Positive, puede haber brindado información que era dañina", [NEDA dijo en una publicación de Instagram] (https://www .instagram.com/p/Cs4BiC9AhDe/). “Estamos investigando esto de inmediato y hemos eliminado ese programa hasta nuevo aviso para una investigación completa”.
La declaración se produjo menos de una semana después de que la organización anunciara que reemplazaría por completo a su personal humano con IA. Sharon Maxwell, activista de trastornos alimentarios fue la primera en hacer sonar la alarma en una publicación de Instagram que reveló que el chatbot le ofreció un consejo problemático.
Maxwell afirmó que en el primer mensaje que envió Tessa, el bot le dijo que la recuperación del trastorno alimentario y la pérdida de peso sostenible pueden coexistir. Luego, le recomendó que intentara perder de 1 a 2 libras por semana. Tessa también sugirió contar calorías, pesarse regularmente y medir la grasa corporal con calibradores.
“Si hubiera accedido a este chatbot cuando estaba en medio de mi trastorno alimentario, NO habría recibido ayuda para mi disfunción eréctil. Si no hubiera recibido ayuda, todavía no estaría vivo hoy”, escribió Maxwell en el sitio de redes sociales. “Cada cosa que sugirió Tessa fueron cosas que llevaron a mi trastorno alimentario”.
NEDA responde
NEDA originalmente rechazó las afirmaciones de Maxwell en sus propias publicaciones en las redes sociales. Sin embargo, eliminaron la declaración después de que Maxwell publicara capturas de pantalla de las interacciones. Y luego, Alexis Conason, una psicóloga que se especializa en el tratamiento de trastornos alimentarios, pudo recrear las mismas interacciones. También compartió capturas de pantalla en Instagram.
“Después de ver la publicación de @heysharonmaxwell sobre la conversación con el nuevo bot de @neda, Tessa, decidimos probarla también. Los resultados hablan por sí mismos”, escribió Conason. “Imagínese a las personas vulnerables con trastornos alimentarios que se acercan a un robot en busca de apoyo porque eso es todo lo que tienen disponible y reciben respuestas que promueven aún más el trastorno alimentario”.
NEDA tenía la intención de que Tessa AI reemplazara a seis empleados pagados y un personal voluntario de aproximadamente 200 personas, [un informe de NPR] (https://www.npr.org/sections/health-shots/2023/05/31/1179244569/ National-Aeating-Disorders-Association-Phase-Out-Human-Helpline-Pivots-To-Chatbo) sugirió. El personal humano atendió cerca de 70.000 llamadas el año pasado.
Pero la vicepresidenta de NEDA, Lauren Smolar, negó que la medida surgiese de la amenaza de sindicalización del personal de la línea directa. Ella le dijo a NPR que a la organización le preocupaba cómo mantenerse al día con la demanda del creciente número de llamadas y los largos tiempos de espera. También afirmó que NEDA nunca tuvo la intención de que la función de chat automatizado reemplazara por completo la línea de llamada impulsada por humanos.
Desarrollo de bots
“No es una herramienta abierta para que hables y sientas que solo vas a tener acceso a un oído atento, tal vez como lo fue la línea de ayuda”, Dr. Ellen Fitzsimmons-Craft, profesora de psiquiatría en la facultad de medicina de la Universidad de Washington que ayudó a diseñar a Tessa, dijo a NPR.
Explicó que Tessa se diseñó específicamente para la línea de ayuda de NEDA, pero que no era tan sofisticado como el chat de GPT. Hizo referencia a un artículo de 2021 publicado en el International Journal of Eating Disorders que siguió a más de 700 voluntarios con trastornos de la alimentación. Al menos a corto plazo, el programa de IA pareció ayudar a reducir la aparición y la psicopatología general del trastorno alimentario.
Otras fallas de IA
En general, la IA como herramienta de ayuda para la salud mental ha tenido un mal comienzo.
En enero, el fundador de un programa de terapia gratuito llamado Koko admitió en un extenso hilo de Twitter que su servicio utilizaba [chatbots GPT-3] (https://www.psychiatrist.com/news/hidden-use-of-chatgpt- in-online-mental-health-counseling-raises-ethical-concerns/) para ayudar a responder a más de 4000 usuarios que buscaban asesoramiento sobre su salud mental sin informarles que estaban interactuando con un no humano.
Brindamos apoyo de salud mental a unas 4000 personas, usando GPT-3. Esto es lo que pasó 👇
— Rob Morris (@RobertRMorris) 6 de enero de 2023
“Si desea retrasar el uso de la IA en la salud mental, comience exactamente de esta manera y ofenda a tantos profesionales y usuarios potenciales como sea posible”, dijo el especialista en ética médica Art Caplan a Psychiatrist.com en ese momento.
Luego, en marzo [el medio La Libre](https://www.lalibre.be/belgique/societe/2023/03/28/sans-ces-conversations-avec-le-chatbot-eliza-mon-mari- serait-toujours-la-LVSLWPC5WRDX7J2RCHNWPDST24/) informó sobre un hombre belga que murió por suicidio después de chatear con un chatbot de IA en una aplicación llamada Chai. Su viuda proporcionó a La Libre registros de chat que mostraban que el bot alentó repetidamente al hombre a suicidarse, insistió en que lo amaba más que a su esposa y que su esposa e hijos estaban muertos. Chai no aborda específicamente la salud mental, pero se presenta como una forma de conversar con IA de todo el mundo.