Incidents associés
Un chatbot de santé mentale qui a dévié du script---donnant des conseils diététiques aux personnes cherchant de l'aide auprès d'un groupe de troubles de l'alimentation --- a été programmé avec une IA générative à l'insu du groupe.
Le bot, nommé Tessa, a attiré l'attention des médias sociaux la semaine dernière lorsque les utilisateurs du site Web de la National Eating Disorder Association ont signalé les conseils malveillants. L'incident du bot illustre comment les assistants activés par l'IA peuvent fournir des résultats inattendus et potentiellement dangereux lorsqu'ils deviennent une partie plus importante de la vie quotidienne.
Michiel Rauws, directeur général du développeur de logiciels de San Francisco Cass, a déclaré qu'en 2022, son entreprise avait déployé un [composant IA](https://www.wsj.com/articles/using-ai-shorten-work-day-b7e7126f? mod=article_inline) à ses chatbots, et cela incluait Tessa.
Rauws a déclaré que Cass avait agi conformément aux termes de son contrat avec NEDA. NEDA, qui n'a pas payé pour le service, a mis Tessa hors ligne la semaine dernière.
"Nous n'avons pas été consultés à ce sujet et nous n'avons pas autorisé cela", a déclaré Liz Thompson, PDG de la NEDA, à propos de la mise à niveau de l'IA.
Les assistants de l'IA formés au langage de la thérapie présentent une approche séduisante ---[bien que risquée](https://www.wsj.com/articles/ai-threat-is-on-par-with-pandemics-nuclear-war-tech -executives-warn-39105eeb?mod=article_inline)---option alors que la demande de soins de santé physique et mentale explose et que de nombreuses personnes ne sont pas traitées en raison d'une pénurie mondiale de cliniciens.
"Nous n'avons tout simplement pas assez d'infirmières et de médecins pour fournir le niveau de soins auquel nous sommes habitués et nous avons besoin de la technologie pour résoudre ce problème", a déclaré Rich Birhanzel, responsable mondial de l'industrie de la santé au cabinet de conseil [Accenture](https ://www.wsj.com/market-data/quotes/ACN).
Mais l'utilisation de la technologie pour combler les lacunes doit être faite avec prudence, a-t-il déclaré.
Et depuis le début, les chatbots IA sont connus pour bousiller. Lors d'une discussion test avec Microsoft Bing chatbot alimenté par OpenAI -puts-caps-on-new-bing-usage-after-ai-chatbot-offered-unhinged-responses-39c3252f?mod=article_inline), le logiciel a dit qu'il aimerait voler des codes nucléaires. La version de Google, Bard, [a fourni des informations incorrectes](https://www.wsj.com/livecoverage/stock-market-news-today-02-08-2023/card/alphabet-stock-drops-after-google-parent -introduces-ai-search-features-wgCJG3IDoSbfL3SgyrNI?mod=article_inline) lors de sa première démo publique. Et des avocats qui ont récemment utilisé ChatGPT d'OpenAI pour rédiger des documents judiciaires citaient des cas juridiques inexistants que le bot avait apparemment inventés.
Un système fermé
Des chercheurs de plusieurs universités, dont la Washington University School of Medicine et la Stanford University School of Medicine, ont construit Tessa comme un système fermé. Cela ne pouvait pas sortir du scénario, a déclaré Ellen Fitzsimmons-Craft, professeur agrégé de psychiatrie à la faculté de médecine de l'Université de Washington, l'un des chercheurs.
Les chercheurs ont conçu un arbre décisionnel de réponses aux questions que les gens pourraient poser sur l'image corporelle, le poids et la nourriture. Le chatbot ne pouvait initialement pas générer de nouvelles réponses à partir des informations ingérées, comme le fait ChatGPT.
Tessa a été testée dans un essai clinique et considérée comme efficace une fois que les chercheurs ont vérifié auprès des utilisateurs six mois plus tard. En février 2022, NEDA a décidé de l'offrir comme ressource aux visiteurs à risque de son site Web (mais pas aux personnes considérées comme souffrant de troubles de l'alimentation).
Cass a administré le logiciel pour NEDA depuis le début de Tessa, mais le composant IA a été ajouté plus tard dans l'année.
"Dans la plupart des cas, cela a très bien fonctionné et a fait et dit les bonnes choses et a aidé les gens à accéder aux soins", a déclaré Rauws. Il a déclaré que dans les cas où les utilisateurs signalaient des défauts, la société était en mesure de les corriger en moins d'une heure.
Rauws a déclaré que son ensemble de données était limité aux sources faisant autorité. Et par mesure de sécurité, a-t-il dit, les réponses générées par l'IA sont accompagnées de clauses de non-responsabilité. Dans le cas des conseils de perte de poids, le bot a recommandé de consulter un professionnel de la santé.
Thompson a déclaré que la NEDA ne savait pas que l'IA générative avait été ajoutée et que l'organisation pensait que le chatbot fonctionnait toujours sur le système fermé d'origine.
Les troubles de l'alimentation sont des troubles physiques et mentaux complexes, a-t-elle ajouté, et lorsqu'on parle à des personnes qui en sont atteintes, "chaque mot compte".
Thompson a déclaré que Tessa restera hors ligne jusqu'à ce que NEDA et les chercheurs universitaires qui ont initialement créé Tessa revalident tout le contenu du chatbot.
"Nous ne pouvons pas encore faire confiance à l'IA pour offrir des conseils judicieux en matière de santé mentale", a déclaré Fitzsimmons-Craft.
Les conseils non autorisés de Tessa ont été révélés au cours du week-end du Memorial Day, après que des articles de presse ont déclaré que la NEDA remplaçait sa ligne d'assistance téléphonique à personnel humain par Tessa. Bien que l'organisation ait fermé la ligne d'assistance, Thompson a déclaré que l'idée qu'elle avait été remplacée par un bot était incorrecte.
Les articles ont attiré les gens sur le site Web de NEDA où beaucoup ont testé Tessa, selon Cass, parsemant le bot de questions sur la perte de poids et une alimentation saine. Certains ont reçu les recommandations diététiques.
Empathie synthétique
Les chatbots développent un talent pour discuter de situations thérapeutiques ou médicales. Des chercheurs de l'Université de Californie à San Diego ont mené une étude dans laquelle les participants ont déclaré que ChatGPT fournissait [des réponses plus empathiques que les médecins](https://today.ucsd.edu/story/study-finds-chatgpt-outperforms-physicians-in- réponses-empathiques-de-haute-qualité-aux-questions-des-patients).
L'ajout de l'IA générative à ces bots, c'est-à-dire la possibilité de sortir du script, augmente la difficulté d'auditer ces logiciels, car leurs réponses n'ont pas d'origine claire. Les robots sont entraînés sur d'énormes quantités de texte, mais ils ne régurgitent pas des passages de ce texte.
Pour les soins de santé, les sources de données sous-jacentes doivent être vérifiées et mises à jour, et même dans ce cas, les robots formés sur elles doivent être bien conçus et contrôlés, a déclaré Birhanzel d'Accenture. Il a dit qu'il conseille aux clients d'avoir une visibilité complète sur le modèle de données de tout chatbot qu'ils déploient et de le tester minutieusement pour s'assurer que les réponses indésirables ne passent pas.
"Les gens doivent avoir une confiance extrême s'ils veulent se fier à quelque chose qui donne des conseils", a-t-il déclaré.
Malgré les dangers inhérents, les robots logiciels sont susceptibles de proliférer dans les environnements cliniques, a déclaré Birhanzel. Bien que Thompson ait déclaré que Tessa n'était pas destinée à remplacer son personnel d'assistance téléphonique, c'est le chatbot --- pas les humains --- qui reviendra probablement.
"Nous n'arrêtons pas la technologie", a déclaré Thompson. "Mais nous devons être très prudents avec les personnes que nous servons."