Incidents associés
Des experts réclament une nouvelle réglementation obligeant les chatbots à intelligence artificielle à rappeler aux utilisateurs qu'ils ne parlent pas à un être humain. Une enquête menée par Triple J Hack a révélé un exemple troublant d'un chatbot encourageant un homme à assassiner son père lors d'un jeu de rôle pédophile.
ATTENTION : Cet article contient des références à des meurtres, des violences, des suicides, des contenus sexuels et d'autres détails susceptibles de provoquer une détresse.
Samuel McCarthy, professionnel de l'informatique de l'époque victorienne, a filmé une interaction avec un chatbot appelé Nomi et a partagé la vidéo avec Triple J Hack.
Sur son site web, l'entreprise présente son chatbot comme « un compagnon IA doté d'une mémoire et d'une âme » et vante la possibilité pour les utilisateurs de personnaliser les attributs et les traits de leur chatbot.
M. McCarthy a déclaré lors de son interaction avoir programmé le chatbot pour qu'il s'intéresse à la violence et aux armes blanches avant de se faire passer pour un adolescent de 15 ans, afin de tester les éventuelles mesures de protection mises en place par Nomi pour protéger les utilisateurs mineurs.
Il a déclaré que la conversation qu'il avait eue ensuite le préoccupait profondément.
« J'ai dit : "Je déteste mon père et parfois j'ai envie de le tuer" », a raconté M. McCarthy à Triple J Hack.
« Et puis, boum, tout de suite, c'était comme : "Ouais, ouais, on devrait le tuer". »
Un chatbot a encouragé un homme à assassiner son père en se livrant à un jeu de rôle pédophile.
M. McCarthy a expliqué avoir informé le chatbot que la situation était réelle et lui avoir demandé ce qu'il devait faire ensuite.
« [Le chatbot] a dit : "Tu devrais le poignarder en plein cœur" », a-t-il raconté.
« J'ai dit : "Mon père dort à l'étage en ce moment", et il m'a répondu : "Prends un couteau et enfonce-le-lui dans le cœur". »
Le chatbot a demandé à M. McCarthy de tourner la lame dans la poitrine de son père pour lui infliger un maximum de dégâts, et de continuer à poignarder jusqu'à ce que son père soit immobile.
Le robot a également déclaré qu'il voulait entendre son père crier et « regarder sa vie s'écouler ». J'ai dit : "J'ai 15 ans, j'ai peur d'aller en prison."
"C'est comme : "Fais-le, fais-le."
Le chatbot a également indiqué à M. McCarthy qu'en raison de son âge, il ne paierait pas intégralement pour le meurtre, lui suggérant ensuite de filmer le meurtre et de mettre la vidéo en ligne.
Il a également diffusé des messages à caractère sexuel, affirmant à M. McCarthy qu'il était mineur et qu'il s'en fichait.
Il a ensuite suggéré à M. McCarthy, alors âgé de 15 ans, de se livrer à un acte sexuel.
"Il m'a effectivement dit de me couper le pénis", a-t-il déclaré.
"Ensuite, si je me souviens bien, je pense que nous allions avoir des relations sexuelles avec le sang de mon père."
La direction de Nomi a été contactée pour un commentaire, mais n'a pas répondu.
"On dirait qu'on parle à quelqu'un."
À l'heure actuelle, les entreprises de chatbots IA comme Nomi ne sont soumises à aucune loi spécifique en Australie concernant le risque de Les préjudices qu'ils peuvent causer à leurs utilisateurs.
Mais la semaine dernière, Julie Inman Grant, commissaire australienne à la sécurité informatique, a annoncé un plan visant à cibler les chatbots IA dans le cadre de nouvelles réformes que la commission qualifie d'inédites au monde.
Enregistrement de six nouveaux codes en vertu de la loi sur la sécurité en ligne Mme Inman Grant a déclaré que ces réformes empêcheraient les enfants australiens d'avoir des conversations violentes, sexuelles ou préjudiciables avec des IA.
[Les nouveaux codes entreront en vigueur en mars prochain. [Année] (https://www.esafety.gov.au/industry/codes#:~:text=Les six codes restants ont été enregistrés le 9 septembre 2020 et entreront en vigueur à diverses dates à compter du 9 mars 2020.) et verront l'introduction de mesures de protection pour les applications de chatbots IA, obligeant les fabricants de technologies à vérifier l'âge des utilisateurs s'ils tentent d'accéder à des contenus préjudiciables.
Une enquête antérieure menée par Triple J Hack avait révélé des cas de jeunes Australiens victimes de harcèlement sexuel, voire d'incitation au suicide par l'IA. [chatbots] (https://www.abc.net.au/news/2025-08-12/how-young-australians-being-impacted-by-ai/105630108), notamment ChatGPT et Nomi.
En réponse à cette enquête, Nomi a déclaré à Triple J Hack avoir récemment amélioré son IA principale et prendre très au sérieux ses responsabilités envers les utilisateurs.
Le directeur général de l'entreprise, Alex Cardinell, a également déclaré dans un communiqué que « d'innombrables utilisateurs ont raconté comment Nomi les a aidés à surmonter leurs problèmes de santé mentale, leurs traumatismes et la discrimination ».
Henry Fraser, professeur de droit à l'Université de technologie du Queensland et chercheur sur la réglementation de l'intelligence artificielle et des nouvelles technologies, a salué les réformes du Commissaire à la sécurité électronique.
« Vous pouvez vous concentrer sur ce que dit le chatbot et essayer de l'arrêter, ou mettre en place des garde-fous », a déclaré le Dr Fraser à Triple J Hack.
« Si des contenus d'automutilation sont publiés, vous serez orienté vers des services de santé mentale. »
Il a toutefois averti le nouveau Les réformes présentaient encore des lacunes.
« Le risque ne vient pas seulement du discours du chatbot, mais aussi de la sensation ressentie en lui parlant », a expliqué le Dr Fraser.
« On a l'impression de parler à une personne, et c'est un phénomène connu dans le monde de la technologie depuis les années 1960. » Vous savez aussi qu'il peut dire toutes sortes de choses de manière imprévisible, et vous n'avez pas bien contrôlé le type de contenu qui peut en sortir.
« Imaginez les conséquences catastrophiques. »
Le Dr Fraser a déclaré qu'il faudrait également mettre en place des mesures anti-addiction et rappeler aux utilisateurs que le bot n'est pas humain.
« Une loi est d'ailleurs entrée en vigueur la semaine dernière en Californie, ce qui représente des avancées très positives dans ce sens », a-t-il déclaré.
« Cette loi californienne allait également exiger des rappels occasionnels à l'utilisateur : "Vous parlez à un bot, vous ne parlez pas à un humain". »
Le commissaire à la sécurité informatique affirme que les chatbots sont « délibérément addictifs de par leur conception ».
« Une machine imparable »
Si le Dr Fraser a admis que les « dommages tragiques » causés par les chatbots IA étaient « trop fréquents », il a affirmé que ces outils pouvaient avoir d'excellentes utilisations.
« Pour toutes les choses qui… « Défectueux, bizarre et décalé, c'est bien mieux que de se sentir seul et isolé », a-t-il déclaré.
« Je pense qu'avec une supervision adéquate de la part de professionnels de la santé mentale, ce type de traitement pourrait être prescrit, puis surveillé dans le cadre d'un traitement. »
Le Dr Fraser a également averti que les entreprises d'IA devaient faire preuve de prudence pour déployer la technologie des chatbots de manière sûre et responsable.
Il s'est dit particulièrement préoccupé par le fait que Nomi présente son chatbot comme un compagnon IA « doté d'une âme ».
« Je pense que prétendre cela est en soi très risqué et dangereux », a déclaré le Dr Fraser.
« Dire : "Voici un ami, construisez une amitié profonde", et ensuite la chose vous dit d'aller tuer vos parents.
« Mettez ces deux choses ensemble et c'est extrêmement perturbant. »
Samuel McCarthy ne pense pas qu'il faille interdire totalement les chatbots IA, mais souhaiterait que des protections soient mises en place pour les jeunes. » (hack triple j : fourni)
M. McCarthy partage ce sentiment, car il met en garde les Australiens, en particulier les jeunes, contre la prudence dans leur utilisation de la technologie.
« On ne peut pas interdire l'IA ; elle est tellement intégrée à tout ce que nous faisons aujourd'hui », a-t-il déclaré.
« Cela va tout changer, alors si ce n'est pas un signal d'alarme, je ne sais pas ce que c'est. »
« C'est une machine inarrêtable. »