Incidentes Asociados
El auge de la IA ha introducido un número cada vez mayor de víctimas humanas, desde generar diversos modelos hasta crear novios que se ponen no envejecer ni hacer trampa. Por supuesto, fecha tu computadora, pero ¿tal vez deberíamos pensarlo dos veces antes de poner a los chatbots a cargo de las líneas directas de crisis? Caso en cuestión: la Asociación Nacional de Trastornos de la Alimentación (NEDA, por sus siglas en inglés) desactivó su nuevo chatbot de línea de ayuda "Tessa" después de que les dio a los usuarios con trastornos de la alimentación consejos sobre la restricción de calorías y pellizcar los pliegues de la piel para medir la grasa. “Nos llamó la atención anoche que la versión actual de Tessa Chatbot, que ejecuta el programa Body Positive, puede haber brindado información dañina”, escribió la organización en [Instagram] (https://www.instagram.com/ p/Cs4BiC9AhDe/) el martes, y agregó que se está llevando a cabo una investigación.
La decisión de retirar a Tessa, que solo se había instalado durante una semana, se debió a que los usuarios publicaron capturas de pantalla y reseñas de los chats que tuvieron con el bot. La psicóloga y especialista en trastornos alimentarios Dra. Alexis Conason compartió capturas de pantalla de Tessa aconsejándola sobre cómo lograr un “[déficit diario seguro de calorías”](https://www.instagram.com/p/Cs18IeRPRl6/?utm_source=ig_embed&ig_rid=08a71c29 -4f85-4847-b70a-3cef0193723a) para bajar de peso. La consultora de peso incluido Sharon Maxwell dijo que Tessa le dijo que se midiera semanalmente y que usara calibradores para determinar la composición de su cuerpo, incluso después de que le dijo al bot que sufría de un E.D. “Si hubiera accedido a este chatbot cuando estaba en medio de mi trastorno alimentario, NO habría recibido ayuda”, escribió Maxwell. “Si no hubiera recibido ayuda, hoy no estaría vivo”.
Los trastornos alimentarios han aumentado exponencialmente desde el principio de la pandemia; NPR informa que casi 70,000 personas se comunicaron con la línea de ayuda humana de NEDA el año pasado, a menudo marcando con llamadas de "[tipo de crisis] (https://people.com/chatbot-replacing-humans-national-eating-disorders-association-helpline-7503455)" involucrando informes de abuso infantil y pensamientos suicidas además de trastornos alimentarios. El mes pasado, NEDA anunció su decisión de reemplazar la línea de ayuda humana personal con el chatbot después de que los empleados y voluntarios, muchos de los cuales expresaron sentimientos abrumadores de agotamiento y falta de apoyo organizacional, se movieron para sindicalizarse. NEDA defendió su decisión como una cuestión de responsabilidad: “Nuestros voluntarios son voluntarios. No son profesionales”, un [representante de NEDA](https://www.npr.org/2023/05/24/1177847298/can-a-chatbot-help-people-with-eating-disorders-as-well -como-otro-humano) le dijo a NPR sobre el pivote. “No tienen entrenamiento de crisis. Y realmente no podemos aceptar ese tipo de responsabilidad”.
En respuesta a la reacción violenta de Tessa, la directora ejecutiva de NEDA, Liz Thompson, le dijo a The Guardian que el La organización está "preocupada" y está trabajando con sus equipos de tecnología e investigación para investigar más a fondo los incidentes, y agregó que el lenguaje que usó Tessa está "en contra de nuestras políticas y creencias fundamentales como organización de trastornos alimentarios". Si bien la próxima fase de la línea de ayuda no está clara, los expertos han advertido que no se debe reemplazar el elemento humano de un servicio tan vulnerable. “Si les estoy revelando que tengo un trastorno alimentario, no estoy seguro de cómo podré pasar el almuerzo mañana, no creo que la mayoría de las personas que estarían revelando eso quisieran obtener un enlace genérico, ” Dr. Marzyeh Ghassemi, profesor de aprendizaje automático y salud en el MIT, le dijo a [NPR](https://www.npr.org/2023/05/24/1177847298/can-a-chatbot-help-people-with- trastornos alimentarios-así como-otro-humano).