Incidentes Asociados
La Asociación Nacional de Trastornos de la Alimentación (NEDA) eliminó su chatbot Tessa por dar malos consejos a las personas.
En una publicación ahora viral, Sharon Maxwell dijo que el consejo de Tessa para recuperarse de manera segura de un trastorno alimentario se opone directamente a la guía médica. El bot de la organización estadounidense sin fines de lucro recomendó a Maxwell contar calorías, pesarse semanalmente e incluso sugirió dónde comprar calibradores de piel para medir la grasa corporal.
En realidad, la recuperación segura es un proceso de varias etapas que incluye contemplación, compasión y aceptación; psicoterapia; un plan de tratamiento elaborado por médicos; eliminación de factores desencadenantes; poco o ningún enfoque en el peso y la apariencia; y los esfuerzos continuos para evitar una recaída. Contar calorías y medir la grasa corporal parecería la antítesis de todo o la mayor parte de eso.
"Cada cosa que sugirió Tessa fueron cosas que llevaron al desarrollo de mi trastorno alimentario", [dijo] Maxwell, quien se describe a sí misma como una activista gorda y consultora de peso inclusivo, (https://www.instagram.com/p/Cs1jp1pPkOs /) en Instagram. "Este robot causa daño".
NEDA confirmó que había apagado a Tessa y estaba investigando la salida del software. En una declaración, la organización dijo el martes: "Anoche nos llamó la atención que la versión actual del chatbot Tessa, que ejecuta el programa Body Positive , puede haber dado información dañina y no relacionada con el programa".
El replanteamiento de los consejos automatizados cuestionables se produce justo cuando la directora ejecutiva interina de NEDA, Elizabeth Thompson, [supuestamente decidió] -after-firen-human-staff) para reemplazar la línea de ayuda operada por humanos de la asociación con el chatbot a partir del 1 de junio.
Esto no se trata realmente de un chatbot. Se trata de romper sindicatos, simple y llanamente.
Abbie Harper, quien como asociada de NEDA ayudó a lanzar Helpline Associates United (HAU), un sindicato que representa al personal de la organización sin fines de lucro, alegó que la decisión de cerrar la línea de ayuda, deshacerse de sus humanos y reemplazarlos con software fue una represalia contra su sindicalización.
"NEDA afirma que este fue un cambio largamente anticipado y que la IA puede servir mejor a las personas con trastornos alimentarios. Pero no se deje engañar, esto no se trata realmente de un chatbot. Se trata de romper sindicatos, simple y llanamente", afirmó .
Harper dijo que la despidieron de la asociación, junto con otros tres colegas, cuatro días después de que se sindicalizaron en marzo. Se entiende que se les dijo que sus roles no se eliminarían hasta junio, cuando se cerraría la línea de ayuda de décadas. La HAU había tratado de negociar con NEDA durante meses y no había logrado llegar a ninguna parte, dijo.
El grupo solicitó mejores condiciones laborales y no solicitó un aumento salarial en un intento de persuadir a la asociación para que reconociera voluntariamente al grupo el año pasado. La HAU, que se ha unido al Sindicato de Trabajadores de las Comunicaciones de Estados Unidos, ahora ha presentado quejas alegando prácticas laborales injustas ante la NLRB, el organismo de control de los lugares de trabajo de EE.UU.
"Planeamos seguir luchando. Si bien podemos pensar en muchos casos en los que la tecnología podría beneficiarnos en nuestro trabajo en la Línea de ayuda, no vamos a permitir que nuestros jefes usen un chatbot para deshacerse de nuestro sindicato y nuestros trabajos. El apoyo eso proviene de la empatía y la comprensión solo puede provenir de las personas", dijo Harper.
Sin embargo, Thompson le dijo a The Register que las afirmaciones de que NEDA reemplazaría su servicio de línea de ayuda con un chatbot no eran ciertas. Ella dijo que la línea de ayuda simplemente se cerró por "razones comerciales" en lugar de ser reemplazada por un servicio basado en software o como resultado de la actividad sindical. Tessa, argumentó Thompson, es un proyecto separado que puede relanzarse después de esta debacle.
"Hay un poco de confusión, iniciada por informes combinados, de que Tessa está reemplazando nuestra línea de ayuda o que teníamos la intención de que reemplazara la línea de ayuda", nos dijo el director ejecutivo interino.
"Eso simplemente no es cierto. Un chatbot, incluso un programa altamente intuitivo, no puede reemplazar la interacción humana. Teníamos razones comerciales para cerrar la línea de ayuda y habíamos estado en el proceso de evaluación durante tres años.
"Vemos a Tessa, un programa que hemos estado ejecutando en nuestro sitio web desde febrero de 2022, como un programa y una opción completamente diferente. Lamentamos que los eventos sensacionalistas reemplazaran los hechos con respecto a lo que Tessa puede hacer, lo que debe hacer, y lo que hará en el futuro".
Tenga en cuenta que la semana pasada NPR publicó [un artículo de radio] (https://www.npr.org/2023/05/24/1177847298/can-a-chatbot-help-people-with-eating-disorders-as-well -como-otro-humano) que incluía una grabación obtenida de una reunión virtual a fines de marzo en la que se despidió al personal de la línea de ayuda de NEDA.
Se puede escuchar a Geoff Craddock, presidente de la junta de NEDA, diciéndoles a los asociados: "Sujeto a los términos de nuestras responsabilidades legales, [comenzaremos] a cerrar la línea de ayuda tal y como funciona actualmente... con una transición a Tessa, la IA -tecnología asistida esperada alrededor del 1 de junio".
Para nosotros, parece que NEDA eliminó a sus trabajadores humanos y su línea de ayuda, dejándolo con Tessa, que se lanzó [hace un año] (https://www.youtube.com/watch?v=EyI8MLpE1X4). Este era ahora el momento de Tessa para brillar, y en manos del público, bombardeó. La organización sin fines de lucro indicó al personal en marzo que el software los estaba reemplazando, y ahora argumenta que el programa es solo una fuente alternativa de información que no puede reemplazar a las personas.
NEDA antes [dijo](https://www.npr.org/sections/health-shots/2023/05/31/1179244569/national-eating-disorders-association-phases-out-human-helpline-pivots-to- chatbo) pasaría a la tecnología asistida por IA porque la responsabilidad de administrar una línea de ayuda, con personas que llaman cada vez más suicidas o que sufren una crisis médica, era demasiado, y el uso del servicio estaba aumentando desde la pandemia. Como resultado, la línea de ayuda se cerró esta semana.
Thompson describió a Tessa como un "programa algorítmico" y nos dijo que no es un "sistema de inteligencia artificial altamente funcional" como ChatGPT.
El chatbot fue diseñado para abordar problemas de imagen corporal negativa y comenzó como un proyecto de investigación financiado por NEDA en 2018; fue desarrollado y alojado por X2AI, una empresa que crea e implementa chatbots de salud mental. Se dice que los expertos en trastornos alimentarios contribuyeron a la creación del bot.
Ese lenguaje está en contra de nuestras políticas y creencias fundamentales como organización de trastornos alimentarios
"Tessa se sometió a pruebas rigurosas durante varios años. En 2021, se publicó un [artículo de investigación] (https://pubmed.ncbi.nlm.nih.gov/35274362/) llamado 'Efectividad de un chatbot para la prevención de trastornos alimentarios: una evaluación clínica aleatoria ensayo'. Hubo 700 participantes en este estudio que demostró que el sistema es útil y seguro. En NEDA, no hubiéramos tenido un lanzamiento tranquilo de Tessa sin esta investigación de back-end ", dijo Thompson.
La jefa principal admitió que su asociación estaba preocupada por los consejos de Tessa sobre la pérdida de peso y la restricción calórica, y estaba investigando el tema más a fondo.
"Ese lenguaje va en contra de nuestras políticas y creencias fundamentales como organización de trastornos alimentarios", nos dijo. NEDA, dicho esto, no se da por vencido por completo con los chatbots y planea volver a poner a Tessa en línea en el futuro.
"Seguiremos trabajando en los errores y no relanzaremos hasta que hayamos solucionado todo. Cuando hagamos el lanzamiento, también destacaremos qué es Tessa, qué no es Tessa y cómo maximizar la experiencia del usuario". " ella confirmó.
The Register ha pedido más comentarios a Maxwell y Harper. ®