Incidentes Asociados
Un chatbot de salud mental que se desvió del guión---que brinda consejos dietéticos a las personas que buscan ayuda de un grupo de trastornos alimentarios---fue programado con IA generativa sin el conocimiento del grupo.
El bot, llamado Tessa, fue el foco de atención de las redes sociales la semana pasada cuando los usuarios del sitio web de la Asociación Nacional de Trastornos Alimentarios informaron sobre el consejo deshonesto. El incidente del bot ilustra cómo los asistentes habilitados para IA pueden generar resultados inesperados y potencialmente peligrosos a medida que se vuelven una parte más importante de la vida diaria.
Michiel Rauws, director ejecutivo del desarrollador de software Cass de San Francisco, dijo que en 2022 su empresa lanzó un [componente de IA](https://www.wsj.com/articles/using-ai-shorten-work-day-b7e7126f? mod=article_inline) a sus chatbots, y eso incluía a Tessa.
Rauws dijo que Cass actuó de acuerdo con los términos de su contrato con NEDA. NEDA, que no pagó por el servicio, desconectó a Tessa la semana pasada.
"No nos consultaron sobre eso y no lo autorizamos", dijo la directora ejecutiva de NEDA, Liz Thompson, sobre la actualización de la IA.
Los asistentes de IA capacitados en el lenguaje de la terapia presentan una atractiva---[aunque arriesgada](https://www.wsj.com/articles/ai-threat-is-on-par-with-pandemics-nuclear-war-tech -executives-warn-39105eeb?mod=article_inline)---a medida que aumenta la demanda de atención de salud física y mental, y muchas personas no reciben tratamiento debido a la escasez mundial de médicos.
"Simplemente no tenemos suficientes enfermeras y médicos para brindar el nivel de atención al que estamos acostumbrados y necesitamos tecnología para ayudar a resolver eso", dijo Rich Birhanzel, líder mundial de la industria de la salud en la consultora [Accenture](https ://www.wsj.com/market-data/quotes/ACN).
Pero el uso de la tecnología para llenar los vacíos debe hacerse con cuidado, dijo.
Y desde el principio, se sabe que los chatbots de IA cometen errores. En un chat de prueba con Microsoft Bing chatbot impulsado por OpenAI -pone-caps-on-new-bing-usage-after-ai-chatbot-offered-unhinged-responses-39c3252f?mod=article_inline), el software dijo que le gustaría robar códigos nucleares. La versión de Google, Bard, [proporcionó información incorrecta](https://www.wsj.com/livecoverage/stock-market-news-today-02-08-2023/card/alphabet-stock-drops-after-google-parent -introduces-ai-search-features-wgCJG3IDoSbfL3SgyrNI?mod=article_inline) durante su primera demostración pública. Y los abogados que recientemente usaron ChatGPT de OpenAI para redactar documentos judiciales citaron casos legales inexistentes que aparentemente había inventado el bot.
Un sistema cerrado
Investigadores de varias universidades, incluidas la Facultad de Medicina de la Universidad de Washington y la Facultad de Medicina de la Universidad de Stanford, construyeron Tessa como un sistema cerrado. No podía salirse del guión, dijo Ellen Fitzsimmons-Craft, profesora asociada de psiquiatría en la Facultad de medicina de la Universidad de Washington, una de las investigadoras.
Los investigadores diseñaron un árbol de decisiones de respuestas a las preguntas que las personas podrían plantear sobre la imagen corporal, el peso y la alimentación. Inicialmente, el chatbot no podía generar nuevas respuestas a partir de la información ingerida, como lo hace ChatGPT.
Tessa se probó en un ensayo clínico y se consideró eficaz una vez que los investigadores consultaron con los usuarios seis meses después. En febrero de 2022, NEDA decidió ofrecerlo como un recurso para los visitantes en riesgo de su sitio web (aunque no para las personas que se considera que tienen trastornos alimentarios).
Cass administró el software para NEDA desde el comienzo de Tessa, pero el componente de IA se agregó más adelante en el año.
"En la mayoría de los casos funcionó muy bien e hizo y dijo las cosas correctas y ayudó a las personas a tener acceso a la atención", dijo Rauws. Dijo que en los casos en que los usuarios señalaron fallas, la compañía pudo solucionarlas en menos de una hora.
Rauws dijo que su conjunto de datos estaba restringido a fuentes autorizadas. Y como medida de seguridad, dijo, las respuestas generadas por IA venían con descargos de responsabilidad. En el caso de los consejos para perder peso, el bot recomendó consultar con un proveedor de atención médica.
Thompson dijo que NEDA no sabía que se había agregado IA generativa y que la organización pensaba que el chatbot todavía se estaba ejecutando en el sistema cerrado original.
Los trastornos alimentarios son trastornos físicos y mentales complejos, añadió, y cuando se habla con las personas que los padecen, "cada palabra importa".
Thompson dijo que Tessa permanecerá fuera de línea hasta que NEDA y los investigadores universitarios que inicialmente crearon a Tessa revaliden todo el contenido del chatbot.
"Todavía no podemos confiar en que la IA ofrezca buenos consejos sobre salud mental", dijo Fitzsimmons-Craft.
El consejo no autorizado de Tessa salió a la luz durante el fin de semana del Día de los Caídos, después de que los artículos de noticias dijeran que NEDA estaba reemplazando su línea de ayuda informativa con personal humano con Tessa. Si bien la organización cerró la línea de ayuda, Thompson dijo que la idea de que fue reemplazada por un bot es incorrecta.
Los artículos atrajeron a la gente al sitio web de NEDA, donde muchos probaron a Tessa, según Cass, llenando el bot con preguntas sobre la pérdida de peso y la alimentación saludable. Algunos recibieron las recomendaciones de dieta.
Empatía sintética
Los chatbots están desarrollando una habilidad especial para discutir situaciones médicas o terapéuticas. Investigadores de la Universidad de California en San Diego realizaron un estudio en el que los participantes dijeron que ChatGPT proporcionó [respuestas más empáticas que los médicos] (https://today.ucsd.edu/story/study-finds-chatgpt-outperforms-physicians-in- respuestas empáticas de alta calidad a las preguntas de los pacientes).
Agregar IA generativa a estos bots, es decir, la capacidad de salirse del guión, aumenta la dificultad de auditar dicho software, porque sus respuestas no tienen un origen claro. Los bots están entrenados en grandes cantidades de texto, pero no regurgitan pasajes de ese texto.
Para la atención médica, las fuentes de datos subyacentes deben ser examinadas y actualizadas, e incluso entonces, los bots entrenados en ellos deben estar bien diseñados y controlados, dijo Birhanzel de Accenture. Dijo que aconseja a los clientes que tengan una visibilidad completa del modelo de datos de cualquier chatbot que implementen y que lo prueben a fondo para asegurarse de que no se filtren respuestas no deseadas.
“La gente tiene que tener una confianza extrema si van a depender de algo que les está dando consejos”, dijo.
A pesar de los peligros inherentes, es probable que los bots de software proliferen en entornos clínicos, dijo Birhanzel. Si bien Thompson dijo que Tessa no tenía la intención de reemplazar al personal de la línea de ayuda, es el chatbot, no los humanos, el que probablemente regresará.
"No estamos cerrando la tecnología", dijo Thompson. "Pero tenemos que tener mucho cuidado con las personas a las que servimos".