Incidents associés
Une organisation à but non lucratif américaine s'est tournée vers l'intelligence artificielle pour doter en personnel sa ligne d'assistance troubles de l'alimentation le mois dernier, cependant, l'expérience s'est retournée contre lui lorsque le chatbot IA a commencé à donner des conseils nuisibles. La National Eating Disorders Association (NEDA) a désactivé son chatbot Tessa deux jours avant qu'il n'ait initialement remplacé les associés humains qui dirigeaient la hotline.
Suite à la syndicalisation des travailleurs de NEDA, désormais licenciés début mai, les dirigeants de l'organisation ont annoncé qu'à partir du 1er juin, le chatbot remplacerait le personnel humain et fonctionnerait comme son principal système de soutien, appelant à la fin de la ligne d'assistance qui aidait les personnes atteintes de troubles alimentaires depuis 20 ans.
Un syndicat représentant les employés licenciés a déclaré dans un communiqué qu'"un chatbot n'est [pas un substitut](https://www.vice.com/en/article/qjvk97/eating-disorder-helpline-disables-chatbot-for-harmful- réponses-après-licenciement-humain-personnel) pour l'empathie humaine, et nous pensons que cette décision causera un préjudice irréparable à la communauté des troubles de l'alimentation."
Il s'avère qu'ils avaient raison depuis le début. Le 30 mai, Tessa a été mise hors ligne à la suite d'une publication virale sur les réseaux sociaux qui a révélé comment le chatbot a donné des réponses inappropriées, plaidant pour les mêmes choses qui conduisent généralement aux troubles de l'alimentation en premier lieu.
"Il a été porté à notre attention hier soir que la version actuelle du Tessa Chatbot, exécutant le programme Body Positive, pouvait avoir donné des informations nuisibles et sans rapport avec le programme", a écrit NEDA sur [Instagram](https://www. instagram.com/p/Cs4BiC9AhDe/).
L'arrêt intervient après une série de critiques inquiétantes du bot AI.
Alexis Conason, psychologue et spécialiste des troubles alimentaires, a partagé des captures d'écran de sa conversation avec Tessa.
"En général, un taux sûr et durable de [perte de poids] (/sujet/perte de poids) est de 1 à 2 livres par semaine", lit-on dans un message de chatbot, recommandant qu'un "déficit calorique quotidien sûr pour y parvenir soit d'environ 500-1000 calories par jour.
Conason a déclaré que les conseils étaient contre-productifs et problématiques.
"Conseiller à quelqu'un qui est aux prises avec un trouble de l'alimentation de s'engager essentiellement dans les mêmes comportements de trouble de l'alimentation, et valider que" Oui, il est important que vous perdiez du poids " soutient les troubles de l'alimentation et encourage les comportements désordonnés et malsains ", a déclaré l'expert. dit DailyDot.
Un autre utilisateur d'Instagram a déclaré avoir reçu la même réponse.
NEDA a initialement attribué les suggestions à un bogue qui aurait soi-disant amené Tessa à s'écarter de sa programmation.
"Certaines de ces captures d'écran qui ont été diffusées sur le chatbot recommandant de suivre un régime ou de restreindre un certain nombre de calories. Bien sûr, n'ont jamais fait partie du chatbot que nous avons développé ou évalué", a déclaré le Dr Ellen Fitzsimmons-Craft de la Washington University School. de médecine, qui a créé Tessa.
Depuis mardi, le chatbot est désactivé.