Incidentes Asociados
La Asociación Nacional de Trastornos de la Alimentación (Neda) eliminó un chatbot de inteligencia artificial, "Tessa", luego de informes de que el chatbot estaba brindando consejos dañinos.
Neda ha sido objeto de críticas en los últimos meses después de que despidió a cuatro empleados en marzo que trabajaban para su línea de ayuda y habían formado un sindicato. La línea de ayuda permitió a las personas llamar, enviar mensajes de texto o enviar mensajes a voluntarios que ofrecieron apoyo y recursos a las personas preocupadas por un trastorno alimentario.
Los miembros del sindicato, Helpline Associates United, dicen que fueron despedidos días después de que se certificara su elección sindical. El sindicato ha presentado cargos por prácticas laborales injustas ante la Junta Nacional de Relaciones Laborales.
Tessa, que según Neda nunca tuvo la intención de reemplazar a los trabajadores de la línea de ayuda, tuvo problemas casi de inmediato.
El lunes, la activista Sharon Maxwell publicó en Instagram que Tessa le ofreció "consejos de alimentación saludable" y consejos sobre cómo perder peso. El chatbot recomendó un déficit de calorías de 500 a 1,000 calorías por día y pesaje y medición semanales para realizar un seguimiento del peso.
“Si hubiera accedido a este chatbot cuando estaba en medio de mi trastorno alimentario, NO habría recibido ayuda para mi disfunción eréctil. Si no hubiera recibido ayuda, hoy no estaría vivo”, escribió Maxwell. "Ya es hora de que Neda se haga a un lado".
La propia Neda ha informado que aquellos que hacen una dieta moderada tienen cinco veces más probabilidades de desarrollar un trastorno alimentario, mientras que aquellos que hacen una restricción extrema tienen 18 veces más. propensos a formar un trastorno.
“Anoche nos llamó la atención que la versión actual de Tessa Chatbot, que ejecuta el programa Body Positivity, puede haber brindado información dañina y no relacionada con el programa”, dijo Neda en un comunicado público el martes. “Estamos investigando esto de inmediato y hemos eliminado ese programa hasta nuevo aviso para una investigación completa”.
En una [entrada de blog] del 4 de mayo (https://www.labornotes.org/blogs/2023/05/union-busting-chatbot-eating-disorders-nonprofit-puts-ai-retaliation), la exempleada de la línea de ayuda Abbie Harper dijo que línea de ayuda había visto un aumento del 107% en llamadas y mensajes desde el comienzo de la pandemia. Los informes de pensamientos suicidas, autolesiones y abuso y negligencia infantil casi se triplicaron. El sindicato, escribió Harper, “pidió personal adecuado y capacitación continua para mantenerse al día con las necesidades de la línea directa”.
“Ni siquiera pedimos más dinero”, escribió Harper. “Algunos de nosotros nos hemos recuperado personalmente de trastornos alimentarios y aportamos esa invaluable experiencia a nuestro trabajo. Todos llegamos a este trabajo debido a nuestra pasión por los trastornos alimentarios y la defensa de la salud mental y nuestro deseo de marcar la diferencia”.
Lauren Smolar, vicepresidenta de Neda, le dijo a [NPR](https://www.npr.org/2023/05/24/1177847298/can-a-chatbot-help-people-with-eating-disorders-as -well-as-another-human?fbclid=PAAaYI6p0IlLmQ7UON4L2MFk8u0DeQoQoqPr80IsnODxuFP29lFMsBVnftJj4) en mayo que la afluencia de llamadas que informaban de graves crisis de salud mental había presentado una responsabilidad legal para la organización.
“Nuestros voluntarios son voluntarios. No son profesionales. No tienen entrenamiento de crisis. Y realmente no podemos aceptar ese tipo de responsabilidad. Realmente necesitamos que vayan a los servicios que son apropiados”, dijo.
Neda trabajó con investigadores de psicología y Cass AI, una empresa que desarrolla chatbots de IA centrados en la salud mental, para desarrollar el chatbot. En una publicación en el sitio web de Neda sobre el chatbot que ya fue retirado, Ellen Fitzsimmons-Craft, psicóloga de la Universidad de Washington en St. Louis que ayudó a desarrollar el chatbot, dijo que "Tessa" se pensó como una solución para hacer que el trastorno alimentario prevención más ampliamente disponible.
“Los programas que requieren tiempo y recursos humanos para implementarlos son difíciles de escalar, particularmente en nuestro entorno actual en los EE. UU. donde hay una inversión limitada en prevención”, [escribió] Fitzsimmons-Craft (http://web.archive.org/) web/20230524113339/https://www.nationaleatingdisorders.org/blog/tessa-chatbot), y agregó que se ha demostrado que el apoyo de un entrenador humano hace que la prevención sea más efectiva. “Aunque el chatbot era un robot, pensamos que podría brindar algo de esa motivación, retroalimentación y apoyo… y tal vez incluso entregar el contenido de nuestro programa efectivo de una manera que haría que las personas realmente quisieran participar”.
En una declaración a The Guardian, la directora ejecutiva de Neda, Liz Thompson, dijo que el chatbot no estaba destinado a reemplazar la línea de ayuda, sino que se creó como un programa separado. Thompson aclaró que el chatbot no es ejecutado por ChatGPT y "no es un sistema de IA altamente funcional".
“Teníamos razones comerciales para cerrar la línea de ayuda y habíamos estado en el proceso de esa evaluación durante tres años”, dijo Thompson. “Un chatbot, incluso un programa altamente intuitivo, no puede reemplazar la interacción humana.
“Con respecto a los problemas de retroalimentación sobre la pérdida de peso y la limitación de calorías en un chat el lunes, estamos preocupados y estamos trabajando con el equipo de tecnología y el equipo de investigación para investigar esto más a fondo; ese lenguaje va en contra de nuestras políticas y creencias fundamentales como organización de trastornos alimentarios”, dijo, y agregó que 2500 personas se han involucrado con el chatbot y “no habíamos visto ese tipo de comentarios o interacción”.