Incidentes Asociados
Una organización de prevención de trastornos alimentarios dijo que tuvo que desconectar su chatbot impulsado por IA después de que algunos se quejaron de que la herramienta comenzó a ofrecer consejos "dañinos" y "no relacionados" a quienes acudían a ella en busca de apoyo.
La Asociación Nacional de Trastornos de la Alimentación (NEDA), una organización sin fines de lucro destinada a apoyar a las personas afectadas por trastornos de la alimentación, dijo el martes que eliminó su chatbot, apodado "Tessa", después de que algunos usuarios reportaran experiencias negativas con él.
“Nos llamó la atención anoche que la versión actual de Tessa Chatbot, que ejecuta el programa Body Positive, puede haber brindado información dañina y no relacionada con el programa”, dijo la organización en una [declaración] (https:// www.instagram.com/p/Cs4BiC9AhDe/) publicado en Instagram el martes. “Estamos investigando esto de inmediato y hemos eliminado ese programa hasta nuevo aviso para una investigación completa”.
Liz Thompson, directora ejecutiva de NEDA, dijo en un correo electrónico a CNN que el chatbot de Tessa tuvo un lanzamiento "silencioso" en febrero de 2022, antes de una cosecha más reciente de herramientas de IA que surgieron desde el lanzamiento de ChatGPT a fines del año pasado. (NEDA enfatizó en un correo electrónico que su herramienta Tessa "no es ChatGBT", en una aparente referencia al chatbot viral).
No obstante, las quejas resaltan las limitaciones y los riesgos actuales del uso de chatbots impulsados por IA, particularmente para interacciones delicadas como asuntos de salud mental, en un momento en que muchas empresas se apresuran a implementar las herramientas.
Thompson culpó del aparente fracaso de Tessa al comportamiento falso de los "malos actores" que intentaban engañarla y enfatizó que los malos consejos solo se enviaron a una pequeña fracción de los usuarios. NEDA no proporcionó ejemplos específicos de los consejos que ofreció Tessa, pero las publicaciones en las redes sociales indican que el chatbot [instó a un usuario] (https://www.instagram.com/p/Cs1jp1pPkOs/) a contar calorías y tratar de perder peso después de la El usuario le dijo a la herramienta que tenía un trastorno alimentario.
El movimiento de NEDA para desconectar el chatbot también se produce a raíz de que, según se informa, la organización [despidió a los empleados humanos] (https://www.npr.org/2023/05/24/1177847298/can-a-chatbot-help-people -con-trastornos-alimentarios-así-como-otro-humano) que manejó su línea de ayuda independiente para trastornos alimentarios después de que el personal votara a favor de sindicalizarse.
NPR informó el mes pasado que obtuvo el audio de una llamada en la que un ejecutivo de NEDA les dijo a los empleados que estaban siendo despedidos. En la llamada, el ejecutivo dijo que estaba "comenzando a reducir la línea de ayuda tal como funciona actualmente", y agregó que la organización estaba experimentando una "transición a Tessa". (CNN no ha confirmado de forma independiente el audio).
En un comunicado la semana pasada, el sindicato formado por los trabajadores de la línea de ayuda de NEDA advirtió: “Un bot de chat no sustituye a la empatía humana, y nosotros Creo que esta decisión causará un daño irreparable a la comunidad de trastornos alimentarios”.
NEDA le dijo previamente a CNN que la organización “no tenía la libertad de discutir asuntos laborales”. Thompson dijo que las dos herramientas, el chatbot impulsado por IA y la línea de ayuda operada por humanos, son parte de dos iniciativas diferentes de la empresa, y rechazó las sugerencias de que el chatbot estaba destinado a reemplazar a los empleados despedidos.
Incluso antes de que ChatGPT renovara el interés por los chatbots, herramientas similares generaron cierta controversia. Meta, por ejemplo, lanzó un chatbot en agosto de 2022 que [criticó abiertamente a Facebook e hizo comentarios antisemitas] (https://www.cnn.com/2022/08/11/tech/meta-chatbot-blenderbot/index. html).
La cosecha más reciente de chatbots de IA como ChatGPT, que están entrenados en una gran cantidad de datos en línea para generar respuestas escritas convincentes a las indicaciones de los usuarios, ha generado preocupación por su potencial para arrojar información errónea y perpetuar el sesgo.
A principios de este año, el medio de comunicación CNET fue llamado después de que usó una IA herramienta para generar historias que estaban plagadas de errores, incluida una que ofrecía algunos consejos de finanzas personales tremendamente inexactos. También se ha llamado a Microsoft y Google por herramientas de inteligencia artificial que brindan información insensible o [inexacta] (https://www.cnn.com/2023/02/16/tech/bing-dark-side/index.html).