Incidents associés
Une organisation de prévention des troubles de l'alimentation a déclaré qu'elle devait mettre hors ligne son chatbot alimenté par l'IA après que certains se soient plaints que l'outil avait commencé à offrir des conseils « nocifs » et « non liés » à ceux qui lui demandaient de l'aide.
La National Eating Disorders Association (NEDA), une organisation à but non lucratif visant à soutenir les personnes touchées par les troubles de l'alimentation, a déclaré mardi qu'elle avait supprimé son chatbot, surnommé "Tessa", après que certains utilisateurs aient signalé des expériences négatives avec celui-ci.
"Il a été porté à notre attention hier soir que la version actuelle du Tessa Chatbot, exécutant le programme Body Positive, pouvait avoir donné des informations nuisibles et sans rapport avec le programme", a déclaré l'organisation dans un [statement](https:// www.instagram.com/p/Cs4BiC9AhDe/) publié sur Instagram mardi. "Nous enquêtons immédiatement sur cette question et avons supprimé ce programme jusqu'à nouvel ordre pour une enquête complète."
Liz Thompson, PDG de NEDA, a déclaré dans un e-mail à CNN que le chatbot Tessa avait été lancé "silencieusement" en février 2022, avant une série plus récente d'outils d'IA qui ont émergé depuis la sortie de ChatGPT à la fin de l'année dernière. (NEDA a souligné dans un e-mail que son outil Tessa n'est "pas ChatGBT", dans une référence apparente au chatbot viral.)
Néanmoins, les plaintes mettent en évidence les limites et les risques actuels de l'utilisation de chatbots alimentés par l'IA, en particulier pour les interactions sensibles telles que les questions de santé mentale, à un moment où de nombreuses entreprises se précipitent pour mettre en œuvre les outils.
Thompson a imputé l'échec apparent de Tessa au comportement inauthentique de "mauvais acteurs" essayant de le tromper et a souligné que le mauvais conseil n'était envoyé qu'à une petite fraction des utilisateurs. NEDA n'a pas fourni d'exemples spécifiques des conseils offerts par Tessa, mais les publications sur les réseaux sociaux indiquent que le chatbot a exhorté un utilisateur à compter les calories et à essayer de perdre du poids après le l'utilisateur a dit à l'outil qu'il souffrait d'un trouble de l'alimentation.
La décision de la NEDA de mettre le chatbot hors ligne intervient également dans le sillage du fait que l'organisation aurait [licencié les employés humains](https://www.npr.org/2023/05/24/1177847298/can-a-chatbot-help-people -avec-des-troubles-de-l'alimentation-ainsi-que-un-autre-humain) qui a géré sa ligne d'assistance téléphonique distincte pour les troubles de l'alimentation après que les membres du personnel ont voté pour se syndiquer.
NPR a rapporté le mois dernier qu'il avait obtenu l'audio d'un appel où un cadre de la NEDA a dit aux membres du personnel qu'ils étaient licenciés. Lors de l'appel, l'exécutif a déclaré qu'il "commençait à réduire la ligne d'assistance telle qu'elle fonctionnait actuellement", ajoutant que l'organisation subissait une "transition vers Tessa". (CNN n'a pas confirmé l'audio de manière indépendante.)
Dans une déclaration la semaine dernière, le syndicat formé par les travailleurs de la ligne d'assistance téléphonique NEDA a mis en garde : « Un chat bot ne remplace pas l'empathie humaine, et nous Je pense que cette décision causera un préjudice irréparable à la communauté des troubles de l'alimentation.
La NEDA avait précédemment déclaré à CNN que l'organisation n'était "pas libre de discuter des questions d'emploi". Thompson a déclaré que les deux outils – le chatbot alimenté par l'IA et la ligne d'assistance téléphonique humaine – font partie de deux initiatives différentes de l'entreprise, et ont repoussé les suggestions selon lesquelles le chatbot était destiné à remplacer les employés licenciés.
Avant même que ChatGPT ne renouvelle son intérêt pour les chatbots, des outils similaires ont suscité une certaine controverse. Meta, par exemple, a publié un chatbot en août 2022 qui [a ouvertement fustigé Facebook et fait des remarques antisémites](https://www.cnn.com/2022/08/11/tech/meta-chatbot-blenderbot/index. html).
La génération plus récente de chatbots IA comme ChatGPT, qui sont formés sur de vastes quantités de données en ligne pour générer des réponses écrites convaincantes aux invites des utilisateurs, a soulevé des inquiétudes quant à leur potentiel à cracher de la désinformation et à perpétuer les préjugés.
Plus tôt cette année, news outlet CNET a été appelé après avoir utilisé une IA outil pour générer des histoires truffées d'erreurs, dont une qui offrait des conseils de finances personnelles extrêmement inexacts. Microsoft et Google ont également été appelés pour des outils d'IA diffusant des informations insensibles ou inexactes.