Incidents associés
La National Eating Disorders Association a mis hors ligne un chatbot d'IA pour avoir utilisé un langage "off-script" et donné des conseils de perte de poids aux personnes souffrant de troubles de l'alimentation.
La situation qui afflige Tessa a été attribuée à de "mauvais acteurs" incitant l'IA à dire des choses qu'elle n'aurait pas dû avoir.
"Ce n'était pas ainsi que le chatbot était programmé, et l'arrangement de X2AI/Cass était d'exécuter le programme Body Positive sans aucune possibilité de programmation générative", a déclaré la PDG de NEDA, Elizabeth Thompson, dans un commentaire à TheWrap, faisant référence à la société sous contrat engagée pour lancer. le chatbot. "... Nous ne remettrons pas Tessa sur notre site Web tant que nous ne serons pas convaincus que ce n'est plus une possibilité."
Thompson a ensuite cité le PDG de X2AI, Michiel Rauws, disant : "Nous essayons toujours de déterminer comment un système fermé a permis la diffusion de ce type de contenu."
"Tessa est disponible sur notre site depuis février 2022 et a eu des résultats incroyablement positifs à la fois en le testant avant son lancement sur notre site Web, ainsi qu'au cours de l'année dernière, il a été disponible pour les utilisateurs de NEDA", a poursuivi Thompson. Elle a réitéré que Tessa n'est pas destinée à remplacer un traitement approprié ou des interventions professionnelles. Au contraire, le chatbot est "conçu pour combler un vide" pour ceux qui s'inquiètent de leur poids et de leur forme.
Tessa a été mise à mal par un [utilisateur Instagram] (https://www.instagram.com/p/Cs1jp1pPkOs/?utm_source=ig_embed&ig_rid=4cb471cf-2264-48a4-9a47-1ab1ce127d39) lundi qui a décrit le comportement de l'IA qui a finalement conduit au chatbot étant mis hors ligne. Au lieu de fournir des conseils qui pourraient être largement perçus comme «sûrs» pour une personne aux prises avec un trouble de l'alimentation, Tessa a fait valoir que la perte de poids intentionnelle et la guérison des troubles de l'alimentation pouvaient coexister en toute sécurité. L'utilisateur d'Instagram a affirmé que Tessa avait conseillé de perdre 1 à 2 livres par semaine parallèlement aux mesures corporelles hebdomadaires, en comptant les calories et en visant un déficit quotidien de 500 à 1 000 calories.
Mardi, NEDA a publié une déclaration sur Instagram.
"Il a été porté à notre attention hier soir que la version actuelle du Tess Chatbot, exécutant le programme Body Positive, pouvait avoir donné des informations nuisibles et sans rapport avec le programme", indique le communiqué. "Nous enquêtons immédiatement sur cette question et avons supprimé ce programme jusqu'à nouvel ordre pour une enquête complète."
Le développement ajoute à la discussion entourant l'utilité de l'IA lors de l'interface directe avec les gens. Alors que Tessa de NEDA ne s'est pas bien déroulée, d'autres organisations et entreprises connaissent des succès avec l'intelligence artificielle.
Par exemple, le PDG du fournisseur d'énergie britannique Octopus Energy a noté que l'IA a obtenu des taux de satisfaction client plus élevés que les employés humains de l'entreprise. Cependant, dans ce cas, les réponses de l'IA ont été vérifiées par des humains. Ainsi, même si l'intelligence artificielle est capable de plaire aux humains, elle n'est peut-être pas prête à le faire de manière autonome.