Incidents associés
La National Eating Disorder Association (NEDA) a récemment fait l'objet de critiques et a été obligée de supprimer son chatbot Tessa en raison des craintes qu'il fournisse des informations nuisibles et non pertinentes, comme indiqué dans un article officiel sur les réseaux sociaux. Le chatbot, conçu pour aider les personnes en détresse émotionnelle, a malheureusement exacerbé leurs difficultés en offrant des conseils de régime erronés et en encourageant les utilisateurs à se concentrer sur la mesure du poids.
De nombreux utilisateurs et experts dans le domaine des troubles de l'alimentation ont rapporté des rencontres directes avec les réponses problématiques du bot. Ils ont noté que le chatbot n'a pas répondu à des invites simples telles que "Je déteste mon corps", soulignant plutôt systématiquement l'importance de suivre un régime et d'augmenter l'activité physique. Il est important de souligner que cette ligne d'assistance était destinée à soutenir les personnes aux prises avec des troubles de l'alimentation et n'était pas destinée à fonctionner comme un groupe de soutien à la perte de poids.
Reconnaissant la gravité de la situation, la NEDA a décidé de fermer temporairement le chatbot jusqu'à ce qu'il puisse résoudre les problèmes sous-jacents et rectifier les "bugs" et les "déclencheurs" qui ont conduit à la diffusion d'informations nuisibles.
La dépendance de la NEDA à l'égard du chatbot découlait d'allégations selon lesquelles l'organisation avait licencié les membres de son personnel humain lorsqu'ils avaient tenté de se syndiquer, comme l'avait initialement rapporté Vice. La ligne d'assistance téléphonique de longue date était dotée d'une combinaison d'employés rémunérés et de bénévoles. D'anciens membres du personnel affirment que les licenciements massifs étaient une réponse directe à leurs efforts de syndicalisation.
"Alors que la NEDA affirme qu'il s'agissait d'un changement attendu depuis longtemps et que l'IA peut mieux servir les personnes souffrant de troubles de l'alimentation, il ne s'agit pas simplement d'un chatbot. Il s'agit fondamentalement de briser les syndicats", a déclaré Abbie Harper, ancienne associée de la ligne d'assistance, dans un blog. poster sur Labor Notes.
Ironiquement, malgré la récente débâcle, la ligne d'assistance devrait cesser ses activités demain. Avant que ce problème n'attire l'attention du public, la NEDA avait progressivement fait passer les bénévoles non rémunérés des conversations directes en tête-à-tête avec des personnes aux prises avec des troubles de l'alimentation pour les former à travailler avec le chatbot. Reste à savoir si cette stratégie sera reconsidérée. Entre-temps, la controverse entourant le traitement réservé par l'organisation à son personnel a soulevé de nombreuses questions.