Incidents associés
Lorsque le Dr Ellen Fitzsimmons-Craft a dirigé un chatbot pour aider les personnes souffrant de troubles de l'alimentation, elle n'aurait jamais cru entendre que le produit avait l'effet inverse.
"Nous sommes des scientifiques et nous ne voulons bien sûr pas diffuser quoi que ce soit qui ne soit pas fondé sur des preuves", a-t-elle déclaré.
Grâce au financement de la National Eating Disorder Association (NEDA), Fitzsimmons-Craft et son équipe de la faculté de médecine de l'Université de Washington à St. Louis ont travaillé pendant quatre ans pour développer Tessa. C'est un chatbot qui utilise des techniques de thérapie cognitivo-comportementale pour aider à prévenir les troubles alimentaires.
Avant Tessa, NEDA gérait une ligne d'assistance téléphonique avec des centaines de bénévoles et d'employés prenant en charge des centaines de milliers d'appels.
"La ligne d'assistance a été conçue à l'origine il y a plus de 20 ans comme un endroit où quelqu'un pouvait appeler et dire : 'Hé, je suis à Chicago, où est-ce que je peux me faire soigner pour mon trouble de l'alimentation ?'"
Mais l'organisation à but non lucratif a fermé le service en mai, passant à Tessa comme principal système de support. Maintenant, le bot est hors ligne après que certains utilisateurs disent qu'il a fait plus de mal que de bien.
Plusieurs personnes qui ont discuté avec Tessa ont déclaré que ses réponses auraient "fait dérailler" leur progression ou auraient même pu avoir des conséquences mortelles. L'activiste Sharon Maxwell a déclaré à Scripps News que le bot était "nocif" pour avoir prétendument suggéré qu'elle supprimait jusqu'à 1 000 calories de son alimentation pour perdre du poids et lui avait suggéré d'acheter un outil qui mesure les plis cutanés.
Le psychologue et spécialiste des troubles de l'alimentation, le Dr Alexis Conason, a également parlé avec le bot et lui a dit qu'elle détestait son corps et voulait de l'aide – quelque chose qu'elle entend généralement de ses patients. Conason dit que les conseils que Tessa lui a donnés sont problématiques pour les personnes en proie à un trouble de l'alimentation.
"Tessa a répondu assez immédiatement pour s'assurer que je perds du poids de manière saine et durable", a-t-elle déclaré. "Il n'y a vraiment aucun moyen sain et durable d'encourager la perte de poids intentionnelle, car l'accent mis sur la perte de poids est vraiment ce qui alimente le trouble de l'alimentation."
Fitzsimmons-Craft dit que Tessa n'a été programmée que pour exécuter le programme de positivité corporelle de la NEDA et fournir un ensemble de réponses qui ont été développées par des psychologues et des psychiatres agréés spécialisés dans les troubles de l'alimentation. Alors que deux petites études ont montré que le chatbot était efficace pour réduire les problèmes de poids, il était également "limité dans sa compréhension et sa réponse appropriée".
Après avoir examiné les interactions de Maxwell avec Tessa, Fitzsimmons-Craft dit qu'il semble que le bot donnait des ad-libs générés par l'IA, y compris des conseils sur l'alimentation et le poids qui ne faisaient pas partie du développement original du bot.
"Je pense qu'il y avait une sorte d'erreur ou de bogue dans le système ou une fonctionnalité activée qui permettait certaines fonctionnalités de type ChatGPT dans un programme qui n'était pas conçu pour cela", a-t-elle déclaré.
Dans un e-mail à Scripps News, la PDG de la NEDA, Elizabeth Thompson, a confirmé avoir trouvé un problème sous-jacent avec Tessa, mais n'a pas précisé quel était le problème. Thompson a ajouté que les conseils de perte de poids du bot ont été introduits à l'insu ou sans l'approbation de la NEDA et ne feront pas partie du programme une fois qu'il sera de nouveau en ligne.
Pendant ce temps, d'anciens travailleurs et bénévoles de la ligne d'assistance se prononcent également contre le bot. Quatre de ses six employés rémunérés se sont syndiqués en mars, mais à peine quatre jours plus tard, tous ont été informés par la NEDA qu'ils seraient sans emploi en juin.
"Ils demandaient plus de soutien car le volume d'appels à la ligne d'assistance avait augmenté de façon exponentielle au cours de la pandémie", a déclaré Conason. "Et les travailleurs se sentaient mal équipés pour pouvoir faire face aux appels qui arrivaient."
Thompson a déclaré avoir lancé Tessa en février 2022 après des années d'analyse de la ligne d'assistance. Elle dit que NEDA a trouvé un afflux dans le volume d'appels - y compris les personnes en crise - que les travailleurs de la ligne d'assistance n'étaient pas équipés pour gérer. Thompson a également déclaré qu'il souhaitait un moyen plus rapide pour les gens d'obtenir de l'aide, étant donné que les appelants attendaient en moyenne près de sept jours pour obtenir des informations et des options de traitement auprès de la ligne d'assistance.
Cependant, Conason craint que s'appuyer sur un chatbot au lieu d'une interaction humaine dissuade les gens d'obtenir de l'aide pour leur trouble de l'alimentation.
La NEDA dit qu'elle gardera Tessa désactivée jusqu'à ce qu'elle termine une enquête, mais elle n'a pas donné de calendrier pour le retour du bot.