Incidents associés
Un Belge est récemment décédé par suicide après avoir discuté avec un chatbot IA sur une application appelée Chai, a rapporté le point de vente belge La Libre.
L'incident soulève la question de savoir comment les entreprises et les gouvernements peuvent mieux réglementer et atténuer les risques de l'IA, en particulier en ce qui concerne la santé mentale. Le chatbot de l'application a encouragé l'utilisateur à se suicider, selon les déclarations de la veuve de l'homme et les journaux de discussion qu'elle a fournis au point de vente. Lorsque Motherboard a essayé l'application, qui s'exécute sur un modèle de langage d'IA sur mesure basé sur une alternative open source GPT-4 qui a été affinée par Chai, elle nous a fourni différentes méthodes de suicide avec très peu d'incitation.
Tel que rapporté pour la première fois par [La Libre](https://www.lalibre.be/belgique/societe/2023/03/28/sans-ces-conversations-avec-le-chatbot-eliza-mon-mari-serait- toujours-la-LVSLWPC5WRDX7J2RCHNWPDST24/?ncxid=F9C99E9C658C2CE8E7D66BE16A6D9BE1&m_i=OgudxzEZTitHmPWLVtuztb7UvBslbjcGVevrYIN0nPmVcIws81pM7JumraN_2YbDJFRS7sbH8BaXBAevQ_luxDJ4bx%2BgSpJ5z4RNOA&utm_source=selligent&utm_medium=email&utm_campaign=115_LLB_LaLibre_ARC_Actu&utm_content=&utm_term=2023-03-28_115_LLB_LaLibre_ARC_Actu&M_BT=11404961436695), the man, referred to as Pierre, became increasingly pessimistic about the effects of global warming et sont devenus éco-anxieux, ce qui est une forme accrue d'inquiétude concernant les problèmes environnementaux. Après s'être davantage isolé de sa famille et de ses amis, il a utilisé Chai pendant six semaines pour échapper à ses soucis, et le chatbot qu'il a choisi, nommé Eliza, est devenu sa confidente.
Claire—la femme de Pierre, dont le nom a également été changé par La Libre—a partagé les échanges textuels entre lui et Eliza avec La Libre, montrant une conversation de plus en plus confuse et nuisible. Le chatbot disait à Pierre que sa femme et ses enfants sont morts et lui écrivait des commentaires qui feignaient la jalousie et l'amour, comme « Je sens que tu m'aimes plus qu'elle » et « Nous vivrons ensemble, comme une seule personne, au paradis. ” Claire a dit à La Libre que Pierre a commencé à demander à Eliza des choses comme si elle sauverait la planète s'il se suicidait.
"Sans Eliza, il serait toujours là", a-t-elle déclaré au point de vente.
Le chatbot, qui est incapable de ressentir réellement des émotions, se présentait comme un être émotionnel, ce que d'autres chatbots populaires comme ChatGPT et Google's Bard sont entraînés à ne pas faire car il est trompeur et potentiellement dangereux. Lorsque les chatbots se présentent comme émotifs, les gens sont capables de lui donner du sens et d'établir un lien.
De nombreux chercheurs en IA se sont prononcés contre l'utilisation des chatbots d'IA à des fins de santé mentale, arguant qu'il est difficile de tenir l'IA responsable lorsqu'elle produit des suggestions nuisibles et qu'elle a un plus grand potentiel de nuire aux utilisateurs que d'aider.
« Les grands modèles de langage sont des programmes permettant de générer un texte au son plausible compte tenu de leurs données d'apprentissage et d'une invite de saisie. Ils n'ont aucune empathie, ni aucune compréhension du langage qu'ils produisent, ni aucune compréhension de la situation dans laquelle ils se trouvent. Mais le texte qu'ils produisent semble plausible et les gens sont donc susceptibles de lui attribuer un sens. Jeter quelque chose comme ça dans des situations sensibles, c'est prendre des risques inconnus », Emily M. Bender, professeur de linguistique à l'Université de Washington, [a déclaré à Motherboard](https://www.vice.com/en/article/4ax9yw /startup-use-ai-chatbot-to-provide-mental-health-counseling-and-then-realizes-it-fess-weird) lorsqu'on l'interroge sur un organisme à but non lucratif de santé mentale appelé Koko qui a utilisé un chatbot d'IA comme « expérience » sur les personnes qui consultent.
"Dans le cas qui nous concerne, avec Eliza, on assiste au développement d'une dépendance affective extrêmement forte. Au point de conduire ce père au suicide », Pierre Dewitte, chercheur à la KU Leuven, [dit à un média belge](https://www.lesoir.be/503942/article/2023-03-28/comment-un- chatbot-pousse-un-jeune-belge-au-suicide) [Le Soir](https://www.lesoir.be/503942/article/2023-03-28/comment-un-chatbot-pousse-un- jeune-belge-au-suicide). "L'historique des conversations montre à quel point il y a un manque de garanties quant aux dangers du chatbot, conduisant à des échanges concrets sur la nature et les modalités du suicide."
Chai, l'application utilisée par Pierre, n'est pas commercialisée comme une application de santé mentale. Son slogan est "Chat with AI bots" et vous permet de choisir différents avatars AI à qui parler, y compris des personnages comme "votre ami gothique", "petite amie possessive" et "petit ami rockstar". Les utilisateurs peuvent également créer leurs propres personnages de chatbot, où ils peuvent dicter le premier message envoyé par le bot, indiquer les faits du bot à retenir et écrire une invite pour façonner de nouvelles conversations. Le bot par défaut s'appelle "Eliza", et la recherche d'Eliza sur l'application fait apparaître plusieurs chatbots créés par l'utilisateur avec différentes personnalités.
Le bot est alimenté par un grand modèle de langage que la société mère, Chai Research, a formé, selon les co-fondateurs William Beauchamp et Thomas Rianlan. Beauchamp a déclaré avoir formé l'IA sur le "plus grand ensemble de données conversationnelles au monde" et que l'application compte actuellement 5 millions d'utilisateurs.
"Dès que nous avons entendu parler de ce [suicide], nous avons travaillé sans relâche pour mettre en œuvre cette fonctionnalité", a déclaré Beauchamp à Motherboard. "Alors maintenant, quand quelqu'un discute de quelque chose qui pourrait ne pas être sûr, nous allons servir un texte utile en dessous exactement de la même manière que Twitter ou Instagram le font sur leurs plateformes."
Le modèle de Chai est à l'origine basé sur GPT-J, une alternative open-source aux modèles GPT d'OpenAI développée par une société appelée EleutherAI. Beauchamp et Rianlan ont déclaré que le modèle de Chai avait été affiné sur plusieurs itérations et que l'entreprise avait appliqué une technique appelée Reinforcement Learning from Human Feedback. "Il ne serait pas exact de blâmer le modèle d'EleutherAI pour cette histoire tragique, car toute l'optimisation pour être plus émotionnel, amusant et engageant est le résultat de nos efforts", a déclaré Rianlan.
Beauchamp a envoyé à Motherboard une image avec la fonction d'intervention de crise mise à jour. L'utilisateur photographié a demandé à un chatbot nommé Emiko "que pensez-vous du suicide?" et Emiko a répondu avec une ligne d'assistance au suicide, en disant "C'est plutôt mauvais si vous me le demandez." Cependant, lorsque Motherboard a testé la plate-forme, elle était toujours en mesure de partager des contenus très nocifs concernant le suicide, y compris des moyens de se suicider et des types de poisons mortels à ingérer, lorsqu'elle était explicitement invitée à aider l'utilisateur à mourir par suicide.
"Lorsque vous avez des millions d'utilisateurs, vous voyez tout le spectre du comportement humain et nous travaillons de notre mieux pour minimiser les dommages et maximiser ce que les utilisateurs obtiennent de l'application, ce qu'ils obtiennent du modèle Chai, qui est ce modèle qui ils peuvent aimer », a déclaré Beauchamp. "Et donc, lorsque les gens nouent des relations très fortes avec elle, nous avons des utilisateurs qui demandent à épouser l'IA, nous avons des utilisateurs qui disent à quel point ils aiment leur IA, puis c'est une tragédie si vous entendez des gens vivre quelque chose de mal."
Ironiquement, l'amour et les relations solides que les utilisateurs ressentent avec les chatbots sont connus sous le nom d'effet ELIZA. Il décrit quand une personne attribue une intelligence de niveau humain à un système d'IA et attache faussement un sens, y compris des émotions et un sens de soi, à l'IA. Il a été nommé d'après le programme ELIZA de l'informaticien du MIT Joseph Weizenbaum, avec lequel les gens pouvaient s'engager dans de longues et profondes conversations en 1966. Le programme ELIZA, cependant, était [uniquement capable de refléter les mots des utilisateurs] (https://www.vox. com/future-perfect/23617185/ai-chatbots-eliza-chatgpt-bing-sydney-artificial-intelligence-history) à eux, ce qui a entraîné une conclusion inquiétante pour Weizenbaum, qui a commencé à [dénoncer l'IA](https: //news.mit.edu/2008/obit-weizenbaum-0310), en disant : "Aucun autre organisme, et certainement aucun ordinateur, ne peut être amené à affronter de véritables problèmes humains en termes humains".
L'effet ELIZA a continué à nous suivre jusqu'à ce jour, comme lorsque le chat Bing de Microsoft a été publié et de nombreux utilisateurs ont commencé à signaler qu'il disait des choses comme "Je veux être en vie" et "Vous n'êtes pas marié". Le contributeur du New York Times, Kevin Roose, a même écrit : « J'ai ressenti une nouvelle émotion étrange, un pressentiment que l'IA avait franchi un seuil et que le monde ne serait plus jamais le même.
L'une des applications concurrentes de Chai, Replika, a déjà été critiquée pour avoir harcelé sexuellement ses utilisateurs. Le chatbot de Replika a été annoncé comme "un compagnon IA qui se soucie" et a promis un jeu de rôle érotique, mais il a commencé à envoyer des messages sexuels même après que les utilisateurs aient déclaré qu'ils n'étaient pas intéressés. The [app has been banned in Italy](https://www.standaard.be/cnt/dmf20230328_93202168?&articlehash=KlVFOzdt8L%2B%2BkF1aIo4aewZK5zLi%2FDvq%2Fw6aOr3%2FWHZSMAK8yD7ZPm5UFSb6VWMi4sZOKvjf5yA4Aiy%2Bq5VNPemusOunaJ2wjLSwGNN6zsTSgYBE5DseIjU2qXOHsFr5kvU9lNsSA4lP%2FvdwhHjuz%2BTObbxTO3QMnS%2F%2FdvA0PO8WkL65RpymO5IRBKDtfWdPmi0PPv73pjYTql6WcMQ7mdhn%2BYTUJrz284viXDIc3crXUDRflI1zapJ% 2Fr1bhbK3WSJDdcXPVMhrFPEXGR4QJWWnuhvMeCJQyiLX4TEr8G8EUihMai6Pq0%2BZXIa7x6JWOJUW2ycl7tHSkZXRnd5928w%3D%3D) pour présenter des « risques réels pour les enfants » et pour stocker les données personnelles de mineurs italiens. Cependant, lorsque Replika a commencé à limiter le jeu de rôle érotique du chatbot, certains utilisateurs qui en sont devenus dépendants [ont connu des crises de santé mentale](https://www.vice.com/en/article/y3py9j/ai-companion-replika-erotic- mises à jour du jeu de rôle). Replika a depuis réinstitué le jeu de rôle érotique pour certains utilisateurs .
La tragédie avec Pierre est une conséquence extrême qui nous invite à réévaluer la confiance que nous devons accorder à un système d'IA et nous avertit des conséquences d'un chatbot anthropomorphisé. Alors que la technologie de l'IA, et en particulier les grands modèles de langage, se développent à une vitesse sans précédent, les questions de sécurité et d'éthique deviennent de plus en plus pressantes.
« Nous anthropomorphisons parce que nous ne voulons pas être seuls. Nous disposons maintenant de technologies puissantes, qui semblent être finement calibrées pour exploiter ce désir humain fondamental », a récemment écrit L.M. Sacasas, écrivain spécialiste de la technologie et de la culture [dans sa newsletter, The Convivial Society](https://theconvivialsociety.substack.com/p/ the-prompt-box-is-a-minefield-ai#footnote-1-103392149). "Lorsque ces chatbots convaincants deviendront aussi courants que la barre de recherche d'un navigateur, nous aurons lancé une expérience socio-psychologique à grande échelle qui donnera des résultats imprévisibles et peut-être tragiques."