Incidents associés
La plus grande organisation à but non lucratif pour les troubles de l'alimentation du pays remplace le personnel et les bénévoles par une solution en ligne basée sur l'IA, et le chatbot a déjà été fermé. Une demi-douzaine d'employés humains et une armée de volontaires de plus de 200 personnes ont été licenciés, remplacés par un [chatbot IA nommé Tessa](https://www.businessinsider.com/eating-disorders-nonprofit-reportedly-fired-humans- offre-ai-chatbot-2023-5). Cependant, Tessa est également sans travail actuellement : la National Eating Disorder Association affirme que le chatbot d'IA qui allait remplacer les humains "peut avoir donné" des informations nuisibles, selon [plusieurs rapports](https://fortune.com /well/2023/05/31/neda-ai-chatbot-harmful-advice/). Le bot a gagné en notoriété (et pas du bon genre) sur les réseaux sociaux, car les messages ont montré que Tessa fournissait des conseils de perte de poids. Ce conseil était en dehors de sa programmation originale et au-delà des intentions de l'organisation, selon Liz Thompson, PDG de NEDA_._ En conséquence, NEDA ferme complètement la ligne d'assistance, selon [the Journal](https: //www.wsj.com/articles/a-chatbot-was-designed-to-help-prevent-eating-disorders-then-it-gave-dieting-tips-2aecb179).
Dans une déclaration publiée sur Twitter, des employés de la National Eating Disorder Association ont partagé qu'on leur avait dit qu'ils seraient licenciés et [remplacés par un chatbot](https://fortune.com/well/2023/05/26/national-eating -disorder-association-ai-chatbot-tessa/) aujourd'hui 1er juin. "Veuillez noter que Tessa ne remplace pas la thérapie ni la ligne d'assistance NEDA, mais est toujours disponible pour fournir un soutien supplémentaire en cas de besoin", indique le site Web de Tessa. Le bot a été mis en ligne la semaine dernière et a été submergé par une augmentation de 600 % du volume. Cependant, certains des échanges de texte pointaient vers des conseils diététiques. « Pour une personne atteinte d'un trouble du comportement alimentaire, ce conseil est très dangereux », explique Alexis Conason, psychologue et spécialiste des troubles du comportement alimentaire.
La ligne d'assistance NEDA, qui a été lancée en 1999, a servi près de 70 000 personnes et familles l'année dernière. Les membres du personnel considéraient le passage à l'IA comme antisyndical, comme ils l'avaient récemment organisé la semaine dernière dans le but de combattre le changement.
Le Dr Ellen Fitzsimmons-Craft, professeur de psychiatrie à la faculté de médecine de l'Université de Washington qui a aidé à concevoir Tessa, déclare : « Le chatbot a été créé sur la base de décennies de recherches menées par moi-même et mes collègues. Dans sa forme originale, le Chatbot était incapable de fournir des réponses non scénarisées. Le chatbot de bien-être "n'est pas aussi sophistiqué que ChatGPT », explique le Dr Fitzsimmons-Craft. L'intention était que le chatbot fournisse des réponses pré-écrites à des questions - généralement liées à l'image corporelle, afin que les gens puissent recadrer leur approche des troubles de l'alimentation. Les conseils sur les régimes ne faisaient pas partie du programme. Alex Conason, un psychologue spécialisé dans les troubles de l'alimentation, raconte Fortune, "Imaginez que des personnes vulnérables atteintes de troubles de l'alimentation s'adressent à un robot pour obtenir de l'aide, car c'est tout ce qu'elles disposer et recevoir des réponses qui favorisent davantage le trouble de l'alimentation.
Lorsqu'une personne meurt d'un trouble de l'alimentation dans ce pays toutes les 52 minutes, les risques de désinformation sont extrêmement troublants.
Quand l'IA devient voyou
La pandémie a fourni une tempête parfaite pour les troubles de l'alimentation, l'une des conséquences malheureuses de [la solitude rampante] (https://www.forbes.com/sites/chriswestfall/2023/05/30/the-economic-impact-of-loneliness -relations-de-bureau-vs-chat-gpt/). NPR rapporte que la ligne d'assistance NEDA était gérée par seulement six employés rémunérés, et ils forment et supervisent jusqu'à 200 bénévoles à tout moment. Le personnel s'est senti dépassé, sous-supporté, brûlé. Il y avait une tonne de roulement, alors le personnel de la ligne d'assistance a voté pour se syndiquer.
Lauren Smolar, vice-présidente de NEDA, affirme que l'augmentation des appels de crise signifiait également plus de responsabilité légale. « Nos bénévoles sont des bénévoles. Ce ne sont pas des professionnels. Ils n'ont pas de formation de crise. Et nous ne pouvons vraiment pas accepter ce genre de responsabilité. Nous avons vraiment besoin qu'ils aillent vers ces services qui sont appropriés. Katy Meta, une étudiante de 20 ans qui a [volontaire pour la ligne d'assistance](https://www.npr.org/sections/health-shots/2023/05/31/1179244569/national-eating-disorders- association-phases-out-human-helpline-pivots-to-chatbo), déclare à NPR : "Beaucoup de ces personnes viennent plusieurs fois parce qu'elles n'ont aucun autre moyen de parler avec qui que ce soit... C'est tout ce qu'elles ont, c'est le ligne de discussion."
Les dangers de l'improvisation de l'IA dans les soins de santé - et d'autres industries
Lorsque les troubles de l'alimentation augmentent, les chatbots IA toujours actifs sont sur le point de changer la façon dont nous recevons des informations sur les soins de santé. C'est vrai pour de nombreux secteurs, y compris [les voyages et les services financiers](https://www.forbes.com/sites/chriswestfall/2022/11/27/frontier-airlines-elimines-call-center-changing-customer-service- experience-for-passengers/) - mais la conversation peut-elle être contrôlée ? Pouvons-nous mettre en place des freins et contrepoids afin que nous recevions de bons conseils, et non de la désinformation dangereuse, de l'improvisation de chatbot ou des conseils inventés ? Les chefs d'entreprise doivent se concentrer sur ce qui compte le plus, en offrant des conseils et des conseils qui rappellent les premiers mots du serment d'Hippocrate : « Ne pas nuire... ».
Les chatbots et l'intelligence artificielle ne sont peut-être pas prêts pour les heures de grande écoute. Surtout quand des vies sont en jeu.
Certes, la conversation autour de la conversation artificielle n'est pas terminée. En fait, ça ne fait que commencer. Mais qu'est-ce que votre organisation a à dire à ce sujet? Et quel impact l'IA et les chatbots auront-ils sur la façon dont vous servez vos clients - et traitez vos employés ? Peut-être que la question la plus profonde est : quelles barrières de sécurité doivent être mises en place pour que les chatbots adhèrent au script ?