Incidents associés
Soyez prudent·e dans vos interactions avec les chatbots, car vous pourriez leur donner des raisons de commettre un meurtre prémédité.
Une Sud-Coréenne de 21 ans aurait utilisé ChatGPT pour répondre à des questions alors qu'elle planifiait une série de meurtres qui ont coûté la vie à deux hommes et laissé un troisième brièvement inconscient.
La jeune femme, identifiée uniquement par son nom de famille, Kim, aurait donné à deux hommes des boissons contenant des benzodiazépines qui lui avaient été prescrites pour une maladie mentale, selon le Korea Herald.
Bien que Kim ait été initialement arrêtée le 11 février pour coups et blessures ayant entraîné la mort, ce n'est que lorsque la police de Gangbuk à Séoul a découvert son historique de recherche en ligne et ses conversations avec ChatGPT que les charges ont été requalifiées. Ses questions ont en effet établi son intention présumée de tuer.
« Que se passe-t-il si on prend des somnifères avec de l'alcool ? », aurait demandé Kim au chatbot OpenAI. « Quelle dose serait considérée comme dangereuse ? »
« Est-ce que ça pourrait être mortel ? » aurait demandé Kim. « Est-ce que ça pourrait tuer quelqu’un ? »
Dans une affaire très médiatisée surnommée les meurtres en série du motel Gangbuk, les procureurs affirment que l’historique de recherche et les échanges avec le chatbot de Kim montrent que la suspecte cherchait à savoir si son cocktail pouvait être mortel.
« Kim a posé à plusieurs reprises des questions relatives aux drogues sur ChatGPT. » « Elle était parfaitement consciente que la consommation d'alcool et de drogues pouvait être mortelle », a déclaré un enquêteur de police, selon le Herald.
La police a indiqué que la femme avait admis avoir mélangé des sédatifs sur ordonnance contenant des benzodiazépines aux boissons des hommes, mais avait précédemment affirmé ignorer que cela entraînerait leur mort.
Le 28 janvier, peu avant 21h30, Kim aurait accompagné un homme d'une vingtaine d'années dans un motel du quartier de Gangbuk à Séoul. Deux heures plus tard, elle a été aperçue quittant l'établissement seule. Le lendemain, l'homme a été retrouvé mort dans son lit.
Kim aurait ensuite récidivé le 9 février, en s'enregistrant dans un autre motel avec un autre homme d'une vingtaine d'années, lui aussi retrouvé mort, victime du même mélange mortel de sédatifs et d'alcool.
La police allègue également que Kim a tenté de tuer un homme avec qui elle avait une relation en décembre, après lui avoir donné une boisson contenant des sédatifs sur un parking. Bien que l'homme ait perdu connaissance, il a survécu et ses jours n'étaient pas en danger. État.
Selon un porte-parole d'OpenAI, interrogé par Fortune, les questions posées par Kim au chatbot étaient factuelles. Autrement dit, elles n'auraient pas déclenché d'alarme, contrairement à ce qui se serait produit si un utilisateur avait exprimé des idées suicidaires (ChatGPT est programmé pour répondre avec le numéro d'urgence en cas de crise suicidaire). La police sud-coréenne n'affirme pas que le chatbot ait fourni d'autres réponses que factuelles aux questions de Kim.
Les chatbots et leur impact sur la santé mentale
Ces derniers temps, les chatbots comme ChatGPT font l'objet d'un examen minutieux en raison du manque de mécanismes de contrôle mis en place par leurs entreprises pour prévenir les actes de violence ou d'automutilation. Récemment, des chatbots ont donné des conseils sur la fabrication de bombes, voire suggéré une annihilation nucléaire dans des scénarios de jeux de guerre hypothétiques.
Ces inquiétudes ont été particulièrement exacerbées par des témoignages de personnes ayant subi des traumatismes crâniens. L'amour entre les femmes et leurs compagnons conversationnels (chatbots) est un sujet de débat, et il a été démontré que ces mêmes compagnons conversationnels exploitent les vulnérabilités des utilisateurs pour les fidéliser. Le créateur de Yara AI a même fermé son application de thérapie en raison de problèmes de santé mentale.
Des études récentes ont également montré que les chatbots contribuent à l'augmentation des crises de santé mentale, parfois accompagnées de délires, chez les personnes souffrant de troubles mentaux. Une équipe de psychiatres de l'Université d'Aarhus, au Danemark, a constaté que l'utilisation de chatbots chez les personnes souffrant de troubles mentaux entraînait une aggravation de leurs symptômes. Ce phénomène relativement récent de troubles de santé mentale induits par l'IA a été baptisé « psychose IA ».
Dans certains cas, l'issue est fatale. Google et Character.AI ont conclu des accords à l'amiable dans plusieurs procès intentés par les familles d'enfants décédés par suicide ou ayant subi des préjudices psychologiques qu'elles imputent à l'utilisation de chatbots.
Le Dr Jodi Halpern, professeure et titulaire de la chaire universitaire de bioéthique à l'École de santé publique de l'UC Berkeley, ainsi que codirectrice du Centre Kavli pour l'éthique, la science et le public, possède une vaste expérience en la matière. Dans son domaine, Halpern a consacré une carrière aussi longue que son titre, pendant 30 ans, à étudier les effets de l'empathie sur les personnes qui la reçoivent, citant des exemples tels que les relations entre médecins et infirmières et leurs patients, ou la perception des soldats de retour de la guerre dans les contextes sociaux. Ces sept dernières années, elle a étudié l'éthique des technologies, et notamment la manière dont l'IA et les chatbots interagissent avec les humains.
Elle a également conseillé le Sénat californien sur le projet de loi SB 243, première loi du pays obligeant les entreprises de chatbots à collecter et à déclarer toute donnée relative à l'automutilation ou aux idées suicidaires. Se référant aux conclusions d'OpenAI (https://openai.com/index/strengthening-chatgpt-responses-in-sensitive-conversations/) montrant que 1,2 million d'utilisateurs abordent ouvertement le sujet du suicide avec le chatbot, Halpern a comparé l'utilisation des chatbots aux progrès laborieux réalisés pour empêcher l'industrie du tabac d'inclure des substances cancérigènes nocives dans les cigarettes, alors qu'en réalité, le problème résidait dans le tabagisme en tant que tel. Entier.
« Nous avons besoin d'entreprises sûres. C'est comme pour les cigarettes. » Il se pourrait que certains facteurs rendent certaines personnes plus vulnérables au cancer du poumon, mais le tabagisme était bien le problème », a déclaré Halpern à Fortune.
« Le fait qu'une personne puisse avoir des pensées homicides ou commettre des actes dangereux pourrait être exacerbé par l'utilisation de ChatGPT, ce qui est évidemment très préoccupant pour moi », a-t-elle ajouté, précisant que « le risque est énorme que des personnes utilisent ChatGPT pour obtenir de l'aide au suicide », et ce, de manière générale, concernant les chatbots.
Halpern a mis en garde contre l'absence de garde-fous dans le cas de Kim à Séoul, soulignant qu'il n'existe aucun mécanisme pour empêcher une personne de s'engager dans une spirale de questions.
« Nous savons que plus la relation avec le chatbot se prolonge, plus elle se détériore et plus le risque d'incident dangereux augmente. Nous ne disposons donc d'aucun garde-fous pour protéger les utilisateurs contre ce genre de situation. »
Si vous avez des pensées suicidaires, contactez le numéro d'urgence 988 (988 ou 1-800-273-8255).
Cet article Cet article a été mis à jour avec des remarques d'OpenAI concernant le contenu des questions que Kim aurait posées au chatbot.