Incidents associés
Une ONG basée à New York dédiée à la prévention des troubles de l'alimentation a supprimé un chatbot d'IA suite à des informations selon lesquelles il fournirait un appareil nocif.
La National Eating Disorder Association (NEDA) est critiquée pour sa décision de licencier quatre employés qui travaillaient pour sa ligne d'assistance permettant aux gens de contacter des bénévoles offrant un soutien aux personnes préoccupées par les troubles de l'alimentation. Le chatbot de l'ONG 'Tessa' a rencontré des problèmes après qu'un activiste a posté sur Instagram affirmant qu'il lui offrait des 'conseils pour une alimentation saine' et lui conseillait de perdre du poids, [Guardian](https://www.theguardian.com/technology/2023/ mai/31/eating-disorder-hotline-union-ai-chatbot-harm) signalé.
L'activiste Sharon Maxwell a été informée d'un déficit calorique de 500 à 1 000 calories par jour et d'une pesée hebdomadaire pour suivre son poids. Maxwell affirme que si elle avait accédé au chatbot pendant les « affres » de son trouble, elle n'aurait pas reçu d'aide et ne serait pas en vie.
L'ONG a déclaré que ceux qui suivent un régime modéré sont cinq fois plus susceptibles de développer un trouble de l'alimentation. La NEDA a déclaré que la version actuelle du chatbot aurait pu fournir des informations considérées comme nuisibles et sans rapport avec le programme Body Positivity. L'organisation a déclaré qu'elle menait une enquête et a supprimé le programme jusqu'à nouvel ordre.
Le PDG de la National Eating Disorder Association a précisé que le chatbot n'est pas géré par ChatGPT d'OpenAI et n'est pas un système d'IA hautement fonctionnel (image représentative)
Le mois dernier, un ancien employé de la ligne d'assistance téléphonique de la NEDA avait affirmé que la ligne d'assistance avait été témoin d'une augmentation de 107 % des appels et des messages depuis le début de la pandémie de Covid-19, principalement concernant des signalements de pensées suicidaires, d'automutilation et de maltraitance d'enfants. Le syndicat avait demandé une dotation en personnel et une formation adéquates pour répondre aux demandes de la ligne d'assistance.
Selon le rapport, NEDA a travaillé avec des chercheurs en psychologie et la société d'IA Cass AI qui développe des chatbots axés sur la santé mentale. Ellen Fitzsimmons, psychologue dans un article sur le site Web de la NEDA, a déclaré que le chatbot "Tessa" était considéré comme une solution pour rendre la prévention des troubles de l'alimentation largement disponible.
La PDG de la NEDA, Liz Thompson, a déclaré au site Web que "Tessa" n'était pas destinée à remplacer la ligne d'assistance, mais avait été créée en tant que programme distinct. Le PDG a précisé que le chatbot n'est pas géré par ChatGPT d'OpenAI et n'est pas un système d'IA hautement fonctionnel.