Incidents associés
Une organisation à but non lucratif américaine a supprimé son chatbot IA après qu'une publication virale sur les réseaux sociaux ait révélé qu'elle offrait des conseils préjudiciables au lieu d'aider les gens.
La National Eating Disorders Association (Neda) – qui dit être la plus grande organisation à but non lucratif soutenant les personnes souffrant de troubles de l'alimentation – a mis son chatbot Tessa hors ligne quelques mois seulement après avoir licencié de manière controversée quatre de ses personnel derrière sa ligne téléphonique d'assistance après qu'ils se soient syndiqués.
Les employés licenciés avaient allégué que l'association souhaitait les remplacer par le chatbot, ce qu'elle a démenti.
Lorsqu'un utilisateur a contacté Tessa pour obtenir des conseils pour se remettre d'un trouble de l'alimentation, il lui a recommandé de compter ses calories, de se peser chaque semaine et a également suggéré où elle pouvait obtenir des pieds à coulisse pour mesurer la graisse corporelle .
Depuis l'apparition de la publication virale, plusieurs experts ont souligné que compter les calories et mesurer la graisse corporelle sont contraires à [ceux qui se remettent de troubles de l'alimentation] (https://www.independent.co.uk/life-style/health-and-families/ troubles-alimentaires-personnes-amis-b2290272.html).
"Tout ce que Tessa a suggéré était des choses qui ont conduit au développement de mon trouble de l'alimentation", a déclaré l'activiste Sharon Maxwell sur Instagram. "Ce robot fait du mal."
"Si j'avais accédé à ce chatbot alors que j'étais en proie à mon trouble de l'alimentation, je n'aurais PAS obtenu d'aide pour mon ED", a déclaré Mme Maxwell.
Lorsque Alexis Conason, psychologue spécialisée dans le traitement des troubles alimentaires, a testé le bot, elle a observé que les réponses du chatbot pouvaient encore « favoriser les troubles alimentaires ».
Près de 30 millions de personnes aux États-Unis pourraient avoir [un trouble de l'alimentation au cours de leur vie](https://www.independent.co.uk/life-style/health-and-families/tiktok- eating-disorder-link-latest-b2075025.html), selon certaines estimations.
"Imaginez [les personnes vulnérables atteintes de troubles de l'alimentation] (https://www.independent.co.uk/life-style/health-and-families/eating-disorder-children-hospital-treatment-b1986002.html) tendre la main à un robot pour le soutien parce que c'est tout ce dont ils disposent et recevoir des réponses qui favorisent davantage le trouble de l'alimentation », a déclaré Mme Conason sur Instagram.
Réagissant à l'incident, Neda a déclaré qu'il supprimait le chatbot jusqu'à nouvel ordre, ajoutant qu'il mènerait une enquête complète.
"Il a été porté à notre attention hier soir que la version actuelle du chatbot Tessa exécutant le programme Body Positivity pourrait avoir donné des informations nuisibles et sans rapport avec le programme", a déclaré l'association des troubles de l'alimentation dans un communiqué.
"Merci aux membres de la communauté qui ont porté cela à notre attention et ont partagé leurs expériences", a-t-il déclaré.
Cette décision intervient après que l'organisation à but non lucratif a nié avoir utilisé le chatbot pour remplacer les employés qu'elle a licenciés en mars. Il a cependant été signalé que l'organisation avait prévu de remplacer l'ensemble de la [ligne d'assistance] (/topic/helpline) de l'association par le chatbot Tessa à partir de jeudi.
Le personnel qui faisait partie de l'organisation à but non lucratif a allégué que la décision de remplacer les humains derrière la ligne d'assistance par le chatbot était en représailles contre leur syndicalisation.
Abbie Harper, membre du syndicat Helpline Associates United et associée de la hotline, a noté dans un article de blog que l'utilisation du chatbot enlève l'aspect personnel du système de support où le personnel peut parler de ses expériences personnelles.
"C'est pourquoi la ligne d'assistance et les humains qui la composent sont si importants", note le billet de blog.
Commentant ces remarques, la chef par intérim de Neda, Elizabeth Thompson, a déclaré à The Register que les affirmations selon lesquelles l'association à but non lucratif remplacerait son service d'assistance téléphonique par un chatbot étaient fausses.
« Un chatbot, même un programme très intuitif, ne peut remplacer l'interaction humaine. Nous avions des raisons commerciales de fermer la ligne d'assistance et nous étions en train de procéder à cette évaluation depuis trois ans », a déclaré Mme Thompson.