Incidents associés
Les organisations qui cherchent à compléter ou même à remplacer certains employés humains du service client voudront peut-être d'abord revoir le récit édifiant de la National Eating Disorder Association (NEDA) qui s'est déroulé cette semaine.
Comme The Daily Dot et [Vice](https://www.vice.com/en/article/qjvk97/eating-disorder -helpline-disables-chatbot-for-harmful-responses-after-firing-human-staff) signalé, NEDA avait prévu d'interrompre sa ligne téléphonique vieille de 20 ans, ou "[helpline](https://www.nationaleatingdisorders .org/blog/would-i-benefit-calling-neda-helpline) », pour ceux qui recherchent de l'aide pour les troubles de l'alimentation et les problèmes d'image corporelle. Dans le même temps, l'organisation prévoyait de continuer à proposer aux utilisateurs d'interagir avec un "chatbot bien-être" appelé Tessa, développé par la société Cass (anciennement connu sous le nom de X2 AI Inc.) en lien avec des chercheurs de l'Université de Washington et lancé sur le site NEDA en février 2022.
Cependant, le personnel humain de la ligne d'assistance - six employés rémunérés et environ 200 bénévoles, selon [Vice](https://www.vice.com/en/article/n7ezkm/eating-disorder-helpline-fires-staff-transitions-to -chatbot-après-syndicalisation) - a déclaré que la NEDA prévoyait de les laisser tous partir et de les remplacer par le chatbot Tessa, suite à la décision de quatre membres du personnel de se syndiquer plus tôt cette année. Le PDG de l'organisation a confirmé à VentureBeat qu'ils prévoyaient de fermer la ligne d'assistance, mais a déclaré que Tessa n'avait jamais été destinée à la remplacer.
"Il y a une petite confusion, commencée par des rapports confus, que Tessa remplace notre service d'assistance ou que nous avions l'intention qu'elle remplace le service d'assistance", a déclaré Liz Thompson, PDG de NEDA, à VentureBeat dans un e-mail. "Ce n'est tout simplement pas vrai - un chatbot, même un programme hautement intuitif, ne peut pas remplacer l'interaction humaine. Nous avions des raisons commerciales de fermer la ligne d'assistance et nous étions en train de procéder à cette évaluation depuis trois ans. »
Rejoignez-nous à San Francisco les 11 et 12 juillet, où des cadres supérieurs partageront comment ils ont intégré et optimisé les investissements en IA pour réussir et éviter les pièges courants.
Une consultante en poids, Sharon Maxwell, publié sur Instagram plus tôt cette semaine, affirmant qu'elle avait conversé avec Tessa et que le chatbot lui avait donné des conseils qui pourraient causer des dommages, y compris pour les régimes restrictifs - un type de régime qui cherche à éliminer certains aliments ou groupes d'aliments, ou à limiter strictement les types et les portions d'aliments qu'une personne peut manger, et qui a été décrié par les nutritionnistes et d'autres spécialistes de la santé et de la forme physique experts ces dernières années.
Suite à la publication de Maxwell, NEDA a publié une déclaration sur son compte Instagram indiquant que l'organisation était au courant des accusations et avait "retiré ce programme [Tessa] jusqu'à ce que un nouvel avis pour une enquête complète.
Thompson a développé la déclaration dans son e-mail à VentureBeat, écrivant: «En ce qui concerne la perte de poids et les commentaires sur la limitation des calories émis lors d'un chat lundi, nous sommes préoccupés et travaillons avec l'équipe technologique et l'équipe de recherche pour enquêter davantage; ce langage va à l'encontre de nos politiques et de nos croyances fondamentales en tant qu'organisation pour les troubles de l'alimentation. C'est inquiétant parce que dans un "produit fermé", sur les 5 289 personnes qui ont été impliquées dans l'interaction avec Tessa, nous n'avions rien vu de tel."
Thompson a également déclaré que Cass avait signalé une activité inhabituelle dans le chatbot Tessa suggérant qu'il était attaqué par des acteurs ou des robots malveillants. "La semaine dernière, Tessa a vu une augmentation du trafic de 600 % et un comportement indiquant diverses formes d'activités néfastes de la part de mauvais acteurs essayant de tromper Tessa", a écrit Thompson. "Même avec l'assaut de ces instances, la" messagerie désactivée "ne s'est produite que 0,1% du temps sur plus de 25 000 messages. Nous continuerons à travailler pour nous assurer que la technologie peut résister aux futures attaques.
Tessa reviendra-t-elle et si oui, quand ? Thompson n'a pas proposé d'estimation de temps ni de plan définitif, mais a déclaré dans son e-mail à VentureBeat que "nous continuerons à travailler sur les bogues et ne relancerons pas tant que nous n'aurons pas tout réglé". Lors du lancement, nous mettrons également en évidence ce qu'est Tessa, ce qu'elle n'est pas et comment maximiser l'expérience utilisateur. Restez à l'écoute!"
Alors que les entreprises se précipitent pour adopter des outils IA générative — 65 % des cadres sondés par la société d'études de marché KPMG récemment ont déclaré qu'ils s'attendaient à ce que la technologie ait un impact élevé ou extrêmement élevé sur leurs organisations dans 3 à 5 ans — les décideurs informatiques feraient bien de s'inspirer de l'expérience de NEDA.
Même les programmes d'IA bien intentionnés conçus avec la contribution d'experts pour des cas d'utilisation spécifiques peuvent produire des réponses indésirables et potentiellement nuisibles, ayant un impact négatif sur les utilisateurs/clients d'une entreprise et la perception du public. Il n'est pas certain que la NEDA aurait pu éviter ou minimiser la controverse à laquelle elle est actuellement confrontée en étant plus communicative ou transparente dans sa prise de décision concernant la suppression de la ligne d'assistance, mais il est clair que le fait d'avoir un chatbot IA préexistant dans le mélange n'a fait qu'alimenter les accusations selon lesquelles il est cherchant à dévaluer et à remplacer le travail humain par l'intelligence artificielle - mettant NEDA sur la défensive, où il se trouve maintenant.