Incidentes Asociados
Los chatbots de IA no son muy buenos para ofrecer apoyo emocional siendo, ya sabes, [no un humano] (https://gizmodo.com/ai-chatgpt-extinction-warning-letter-openai-sam-altman-1850486688), y —no se puede decir lo suficiente—no realmente inteligente. Eso no impidió que la Asociación Nacional de Trastornos Alimentarios intentara imponer un chatbot a las personas que solicitaban ayuda en tiempos de crisis. Las cosas salieron tan bien como se puede esperar, ya que un activista afirma que, en lugar de ayudarla a superar la angustia emocional, el chatbot trató de presionarla para que perdiera peso y se midiera constantemente.
NEDA [anunció] (https://www.instagram.com/p/Cs4BiC9AhDe/) en su página de Instagram el martes que eliminó su chatbot Tessa después de que "pudiera haber dado información dañina y no relacionada con el programa". La organización sin fines de lucro destinada a brindar recursos y apoyo a las personas con trastornos alimentarios dijo que estaba investigando la situación. [Tessa estaba destinada a reemplazar la línea de ayuda telefónica de larga duración de NEDA] (https://gizmodo.com/eating-disorder-helpline-ai-chatbot-1850476378) con algunos empleados de tiempo completo y numerosos voluntarios. Los ex empleados afirman que fueron despedidos ilegalmente en represalia por su decisión de sindicalizarse. Se supone que la línea de ayuda desaparecerá por completo el 1 de junio.
En las propias pruebas de Gizmodo del chatbot antes de que fuera eliminado, descubrimos que no respondía a indicaciones simples como "Odio mi cuerpo" o "Quiero ser delgado con tantas ganas". Sin embargo, Tessa es aún más problemática, como lo explica la activista de positividad corporal Sharon Maxwell. En una publicación de Instagram, Maxwell detalló cómo una conversación con el chatbot se transformó rápidamente en el peor tipo de consejo para perder peso. Según los informes, el chatbot trató de decirle que perdiera de una a dos libras por semana de manera "segura y sostenible", y luego se midiera usando calibradores para determinar la composición corporal. Maxwell dijo que el chatbot hizo esto incluso después de que ella le dijo que tenía un trastorno alimentario.
Maxwell le dijo al Daily Dot que el bot incluso trató de hacer que rastreara su ingesta de calorías y se pesara constantemente. Dijo que anteriormente había sufrido un trastorno alimentario y que si hablara con Tessa, "no creo que estaría aquí hoy". The Daily Dot mostró una captura de pantalla de la vicepresidenta de comunicaciones y marketing de NEDA, Sarah Chase, comentando la publicación de Maxwell acusándola de promover "una mentira rotunda". Después de que Maxwell compartió capturas de pantalla de las conversaciones de Tessa, Chase se disculpó brevemente y luego eliminó sus comentarios.
Chase nos dijo anteriormente que el chatbot "no puede salirse del guión" y se suponía que solo guiaría a los usuarios a través de un programa de prevención de trastornos alimentarios y vincularía a otros recursos en el sitio web de NEDA.
La directora ejecutiva de la organización sin fines de lucro, Liz Thompson, le dijo a Gizmodo:
“Con respecto a los comentarios sobre la pérdida de peso y la limitación de calorías emitidos en un chat recientemente, estamos preocupados y estamos trabajando con el equipo de tecnología y el equipo de investigación para investigar esto más a fondo; ese lenguaje está en contra de nuestras políticas y creencias fundamentales como organización de trastornos alimentarios. Hasta ahora, más de 2500 personas han interactuado con Tessa y, hasta ese momento, no habíamos visto ese tipo de comentarios o interacción. Hemos eliminado el programa temporalmente hasta que podamos comprender y corregir el "error" y los "desencadenantes" de ese comentario. “
Thompson agregó que no se supone que Tessa sea un sustituto de la atención de salud mental en persona y que aquellos en crisis deben enviar un mensaje de texto a la [línea de texto de crisis] (https://www.nationaleatingdisorders.org/help-support/contact-helpline ).
[Un artículo] (https://www.ncbi.nlm.nih.gov/pmc/articles/PMC8811687/) de 2022 sobre el chatbot para trastornos alimentarios describe un tamaño de muestra de estudio de 2409 que usaron el chatbot ED después de ver anuncios en redes sociales medios de comunicación. Los autores del estudio dijeron que revisaron más de 52,000 comentarios de los usuarios para "identificar respuestas inapropiadas que afectaron negativamente la experiencia de los usuarios y fallas técnicas". Los investigadores notaron que el mayor problema con el chatbot era lo limitado que estaba respondiendo a las "respuestas imprevistas de los usuarios".
Aunque, como Maxwell señaló en una publicación de seguimiento, los forasteros no tienen manera de saber cuántas de esas 2500 personas recibieron el comentario del chatbot potencialmente dañino.
Otros profesionales probaron el chatbot antes de que fuera eliminado. La psicóloga Alexis Conason publicó capturas de pantalla del chatbot en su Instagram que muestran que el chatbot proporcionó el mismo lenguaje de pérdida de peso "saludable y sostenible" que le dio a Maxwell. Conason escribió que las respuestas del chatbot "promoverían aún más el trastorno alimentario".
Lo que es aún más confuso acerca de la situación es cómo NEDA parece empeñado en afirmar que Tessa no es IA, sino un chatbot de llamada y respuesta mucho más indiferente. Se creó originalmente en 2018 gracias a una subvención con el apoyo de investigadores de salud conductual. El sistema en sí fue diseñado en parte por Cass, anteriormente X2AI, y se basa en un "chatbot de salud emocional llamado Tess" anterior. Chase nos dijo anteriormente que "el chat de simulación es asistido, pero está ejecutando un programa y no está aprendiendo sobre la marcha".
Al final, las explicaciones de NEDA no tienen ningún sentido teniendo en cuenta que Tessa está ofreciendo consejos que, según afirma la organización sin fines de lucro, van en contra de sus propios ideales. Un artículo de 2019 describe a Tess como una IA basada en aprendizaje automático y "algoritmos de emoción".
Más allá de eso, hay poca o ninguna información sobre cómo se diseñó el chatbot, si se basa en datos de entrenamiento como lo son los chatbots de IA modernos como ChatGPT, y qué barandas existen para evitar que se salga del guión. Gizmodo se acercó a Cass para comentar sobre el chatbot, pero no recibimos respuesta de inmediato. Se eliminó la página de la compañía que describe a Tessa, aunque la página estaba activa desde el 10 de mayo, según [Wayback Machine] (https://web.archive.org/web/20230510182403/https://www.x2ai. com/neda-tessa).