Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 3126

Incidentes Asociados

Incidente 54546 Reportes
Chatbot Tessa gives unauthorized diet advice to users seeking help for eating disorders

Loading...
El chatbot de la línea directa de trastornos alimentarios se cerró debido a los consejos "dañinos" que ofreció después de reemplazar a los trabajadores
yahoo.com · 2023

Un [chatbot](https://go.redirectingat.com?id=74679X1524629&sref=https%3A%2F%2Fwww.buzzfeed.com%2Ftracewilliamcowen%2Feating-disorder-hotline-chatbot-shut-down-dañino-advice&url=https %3A%2F%2Fcomplex.com%2Ftag%2Ftech&xcust=7428125%7CBF-VERIZON&xs=1) que se ha informado que [trabajadores reemplazados](https://go.redirectingat.com?id=74679X1524629&sref=https%3A%2F %2Fwww.buzzfeed.com%2Ftracewilliamcowen%2Feating-disorder-hotline-chatbot-shut-down-dañino-advice&url=https%3A%2F%2Fcomplex.com%2Ftag%2Fcapitalism&xcust=7428125%7CBF-VERIZON&xs=1) en una comida El servicio de línea directa de trastornos se cerró, al menos por ahora, después de que se descubrió que había brindado consejos "perjudiciales y no relacionados".

En una [declaración](https://go.redirectingat.com?id=74679X1524629&sref=https%3A%2F%2Fwww.buzzfeed.com%2Ftracewilliamcowen%2Feating-disorder-hotline-chatbot-shut-down-dañino-advice&url= https%3A%2F%2Fwww.instagram.com%2Fp%2FCs4BiC9AhDe%2F&xcust=7428125%7CBF-VERIZON&xs=1) emitido esta semana, la Asociación Nacional de Trastornos de la Alimentación (NEDA) anunció que el bot, denominado "Tessa", está en el centro de una investigación.

"Nos llamó la atención anoche que la versión actual de Tessa Chatbot, que ejecuta el programa Body Positive, puede haber brindado información dañina y no relacionada con el programa", dijo un portavoz (https://go.redirectingat .com?id=74679X1524629&sref=https%3A%2F%2Fwww.buzzfeed.com%2Ftracewilliamcowen%2Feating-disorder-hotline-chatbot-shut-down-danny-advice&url=https%3A%2F%2Fwww.instagram.com%2Fp %2FCs4BiC9AhDe%2F&xcust=7428125%7CBF-VERIZON&xs=1). “Estamos investigando esto de inmediato y hemos eliminado ese programa hasta nuevo aviso para una investigación completa. Gracias a los miembros de la comunidad que nos llamaron la atención y compartieron sus experiencias”.

En mayo, el chatbot fue objeto de numerosos titulares a la luz de la noticia de que asumiría una mayor carga a partir del 1 de junio. En relación con esto, según un artículo reciente de NPR de Kate Wells, los trabajadores de la línea de ayuda [fueron informados] (https ://go.redirectingat.com?id=74679X1524629&sref=https%3A%2F%2Fwww.buzzfeed.com%2Ftracewilliamcowen%2Feating-disorder-hotline-chatbot-shut-down-dañino-advice&url=https%3A%2F%2Fwww .npr.org%2F2023%2F05%2F24%2F1177847298%2Fpuede-un-chatbot-ayudar-a-personas-con-trastornos-alimentarios-así como-a-otro-humano&xcust=7428125%7CBF-VERIZON&xs=1) estaban siendo despedido. De hecho, se informa que esta noticia llegó poco después de que los miembros del personal informaran a NEDA de su sindicalización.

En un [informe] de Vice separado (https://go.redirectingat.com?id=74679X1524629&sref=https%3A%2F%2Fwww.buzzfeed.com%2Ftracewilliamcowen%2Feating-disorder-hotline-chatbot-shut-down-harmful- asesoramiento&url=https%3A%2F%2Fwww.vice.com%2Fen%2Farticle%2Fn7ezkm%2Feating-disorder-helpline-fires-staff-transitions-to-chatbot-after-sindication&xcust=7428125%7CBF-VERIZON&xs=1) de Chloe Xiang en mayo, la Dra. Ellen Fitzsimmons-Craft, profesora de la Universidad de Washington cuyo equipo creó a Tessa después de ser contratada por NEDA, dijo que el chatbot se creó utilizando "décadas de investigación". Además, Fitzsimmons-Craft, quien también fue citado en el artículo original de NPR, abordó la subsiguiente cobertura del bot en Twitter al [señalar](https://go.redirectingat.com?id=74679X1524629&sref=https%3A%2F% 2Fwww.buzzfeed.com%2Ftracewilliamcowen%2Feating-disorder-hotline-chatbot-shut-down-dañino-advice&url=https%3A%2F%2Ftwitter.com%2Ffitzsimmonscraf%2Fstatus%2F1662633671172530176&xcust=7428125%7CBF-VERIZON&x s=1) que Tessa “nunca tuvo la intención de ser un reemplazo 1: 1 para la línea de ayuda”. Además, agregó, es un chatbot basado en reglas, es decir, "no un chatbot de IA".

En una [declaración] tuiteada (https://go.redirectingat.com?id=74679X1524629&sref=https%3A%2F%2Fwww.buzzfeed.com%2Ftracewilliamcowen%2Feating-disorder-hotline-chatbot-shut-down-dañino-advice&url =https%3A%2F%2Ftwitter.com%2FHLAUnited%2Fstatus%2F1664480098160979968&xcust=7428125%7CBF-VERIZON&xs=1) el jueves, el sindicato de asociados de la línea de ayuda de NEDA dijo que la "falla alarmante" del chatbot "sirve como una validación adicional de que quizás los humanos es mejor dejar la empatía a la humanidad”. En una declaración anterior, como se ve a continuación, los miembros del sindicato dijeron que “ahora y para siempre” condenan la “decisión irresponsable y peligrosa” de NEDA.

Y aunque se ha dicho que Tessa no fue diseñado como un chatbot de IA y, en cambio, está destinado a servir en una capacidad basada en reglas, esta historia habla de las mismas preocupaciones que muchos han planteado en medio de las críticas constantes de ejemplos completos de IA como [ChatGPT](https://go.redirectingat.com?id=74679X1524629&sref=https%3A%2F%2Fwww.buzzfeed.com%2Ftracewilliamcowen%2Feating-disorder-hotline-chatbot-shut-down-dañino-advice&url=https% 3A%2F%2Fcomplex.com%2Ftag%2Fchatgpt&xcust=7428125%7CBF-VERIZON&xs=1).

Por ejemplo, un abogado [recientemente apareció en los titulares](https://go.redirectingat.com?id=74679X1524629&sref=https%3A%2F%2Fwww.buzzfeed.com%2Ftracewilliamcowen%2Feating-disorder-hotline-chatbot-shut-down -advice-dañino&url=https%3A%2F%2Fwww.complex.com%2Flife%2Fa%2Ftracewilliamcowen%2Flawyer-regrets-using-chatgpt-lawsuit-nonexistent-cases&xcust=7428125%7CBF-VERIZON&xs=1) por decir que ahora “ se arrepiente mucho” de usar ChatGPT mientras trabajaba para un cliente que demandó a una aerolínea. En resumen, como informó por primera vez el New York Times [el mes pasado](https://go.redirectingat.com?id=74679X1524629&sref=https%3A%2F%2Fwww.buzzfeed.com%2Ftracewilliamcowen%2Feating-disorder-hotline- chatbot-cerrar-advice-dañino&url=https%3A%2F%2Fwww.nytimes.com%2F2023%2F05%2F27%2Fnyregion%2Favianca-airline-lawsuit-chatgpt.html%3Fsmid%3Dtw-nytimes%26smtyp%3Dcur&xcust= 7428125%7CBF-VERIZON&xs=1), la decisión del abogado de optar por la IA “para complementar la investigación legal” en el caso resultó en que al menos seis casos inexistentes fueran citados en un escrito.

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd