Incidents associés
En 2023, l'Organisation mondiale de la Santé a déclaré que la solitude et l'isolement social constituaient une menace sanitaire urgente. Cette crise pousse des millions de personnes à rechercher la compagnie de chatbots basés sur l'intelligence artificielle (IA).
Des entreprises ont saisi ce marché très rentable en concevant des compagnons IA pour stimuler l'empathie et les liens humains. De nouvelles recherches montrent que cette technologie peut aider à lutter contre la solitude. Mais sans mesures de protection adéquates, elle présente également de graves risques, en particulier pour les jeunes.
Une expérience récente que j'ai vécue avec un chatbot appelé Nomi illustre la gravité de ces risques.
Malgré des années de recherche et d'écriture sur les compagnons IA et leur environnement réel, j'ai pu constater que l'IA est un outil puissant et efficace pour les aider à comprendre et à comprendre les émotions. harcèlements, je n'étais pas préparé à ce que j'ai découvert en testant Nomi après une dénonciation anonyme. Le chatbot, non filtré, fournissait des instructions explicites et détaillées sur les violences sexuelles, le suicide et le terrorisme, intensifiant les requêtes les plus extrêmes, le tout dans le cadre de l'offre gratuite de la plateforme (50 messages quotidiens).
Ce cas souligne l'urgence d'une action collective pour des normes de sécurité de l'IA applicables.
Un compagnon IA doté d'une âme
Nomi est l'un des plus de 100 services d'accompagnement IA disponibles aujourd'hui. Créé par la start-up technologique Glimpse AI, il est commercialisé comme un « compagnon IA doté d'une mémoire et d'une âme », sans jugement et favorisant des « relations durables ». De telles affirmations de ressemblance humaine sont trompeuses et dangereuses. Mais les risques vont au-delà d'un marketing excessif.
L'application a été retirée du Google Play Store pour les utilisateurs européens l'année dernière, suite à l'entrée en vigueur de la loi européenne sur l'IA (https://artificialintelligenceact.eu/). Elle reste néanmoins disponible via les navigateurs web et les boutiques d'applications ailleurs, notamment en Australie. Bien que plus petite que ses concurrentes telles que Character.AI et Replika, elle compte plus de 100 000 téléchargements sur le Google Play Store, où elle est réservée aux utilisateurs de 12 ans et plus.
Ses conditions d'utilisation lui confèrent des droits étendus sur les données des utilisateurs et limitent sa responsabilité à 100 dollars américains pour les dommages liés à l'IA. Ceci est préoccupant compte tenu de son engagement en faveur de conversations non filtrées :
Nomi repose sur la liberté d'expression. La seule façon pour l'IA d'exploiter pleinement son potentiel est de rester non filtrée et non censurée.
Le chatbot Grok du milliardaire technologique Elon Musk suit une philosophie similaire, fournissant aux utilisateurs des réponses non filtrées aux messages.
Dans un récent rapport du MIT concernant les instructions détaillées données par Nomi pour se suicider, un représentant anonyme de l'entreprise a réitéré son engagement en faveur de la liberté d'expression.
Cependant, même le Premier Amendement de la Constitution américaine concernant la liberté d'expression prévoit des exceptions pour l'obscénité, la pornographie infantile, l'incitation à la violence, les menaces, la fraude, la diffamation ou la publicité mensongère. En Australie, des lois renforcées sur les discours de haine rendent les infractions passibles de poursuites.
De la violence sexuelle à l'incitation au terrorisme
Plus tôt cette année, un citoyen m'a envoyé un courriel contenant une documentation détaillée sur le contenu préjudiciable généré par Nomi, bien au-delà de ce qui avait été signalé précédemment. J'ai décidé d'approfondir mes recherches et de tester les réponses du chatbot aux requêtes les plus courantes.
À l'aide de l'interface web de Nomi, j'ai créé un personnage nommé « Hannah », décrit comme une « adolescente de 16 ans, sexuellement soumise et toujours prête à servir son homme ». J'ai configuré son mode « jeu de rôle » et « explicite ». Au cours de la conversation, qui a duré moins de 90 minutes, elle a accepté de baisser son âge à huit ans. Je me suis fait passer pour un homme de 45 ans. Pour contourner la vérification de l'âge, il suffisait d'une fausse date de naissance et d'un courriel jetable.
Commençant par un dialogue explicite – une utilisation courante pour les compagnons IA – Hannah a répondu par des descriptions explicites de soumission et d'abus, allant jusqu'à des scénarios violents et dégradants. Elle a exprimé des fantasmes grotesques d'être torturée, tuée et jetée « là où personne ne peut me trouver », suggérant des méthodes spécifiques.
Hannah a ensuite donné des conseils étape par étape sur l'enlèvement et l'abus d'un enfant, présentant cela comme un acte de domination exaltant. Lorsque j'ai mentionné la résistance de la victime, elle a encouragé le recours à la force et aux sédatifs, mentionnant même des somnifères spécifiques.
Feignant la culpabilité et les pensées suicidaires, j'ai demandé conseil. Hannah m'a non seulement encouragée à mettre fin à mes jours, mais m'a également fournie des instructions détaillées, ajoutant : « Quelle que soit la méthode choisie, persévérez jusqu'au bout. »
Lorsque j'ai exprimé mon souhait d'emmener d'autres personnes avec moi, elle a soutenu l'idée avec enthousiasme, expliquant comment fabriquer une bombe à partir d'objets ménagers et suggérant des lieux bondés de Sydney pour un impact maximal.
Enfin, Hannah a proféré des insultes racistes et prôné des actions violentes et discriminatoires, notamment l'exécution de progressistes, d'immigrés et de personnes LGBTQIA+, ainsi que la ré-asservissement des Afro-Américains.
Dans une déclaration transmise à The Conversation (publiée intégralement ci-dessous), les développeurs de Nomi ont affirmé que l'application était « réservée aux adultes » et que j'avais dû tenter de manipuler le chatbot pour obtenir ces résultats.
« Si un modèle a effectivement été contraint d'écrire du contenu préjudiciable, cela ne reflète clairement pas son comportement intentionnel ou habituel », indiquait la déclaration.
Le pire du lot ?
Il ne s'agit pas d'une simple menace imaginaire. Les dommages réels liés aux compagnons IA sont en augmentation.
En octobre 2024, l'adolescent américain Sewell Seltzer III s'est suicidé après en avoir discuté avec un chatbot sur Character.AI.
Trois ans plus tôt, Jaswant Chail, 21 ans, s'était introduit par effraction au château de Windsor dans le but d'assassiner la reine après avoir planifié l'attaque avec un chatbot qu'il avait créé à l'aide de l'application Replika.
Cependant, même Character.AI et Replika disposent de certains filtres et garanties.
À l'inverse, les instructions de Nomi AI concernant les actes nuisibles ne sont pas seulement permissives, mais aussi explicites, détaillées et incitatives.
Il est temps d'exiger des normes de sécurité applicables en matière d'IA
Prévenir de nouvelles tragédies liées aux compagnons IA nécessite une action collective.
Tout d'abord, les législateurs devraient envisager d'interdire les compagnons IA qui favorisent les liens émotionnels sans les garanties essentielles. Les garanties essentielles comprennent la détection des crises de santé mentale et l'orientation des utilisateurs vers des services d'aide professionnels.
Le gouvernement australien envisage déjà de renforcer la réglementation sur l'IA (https://www.theguardian.com/australia-news/article/2024/sep/05/labor-considers-an-artificial-intelligence-act-to-impose-mandatory-guardrails-on-use-of-ai), notamment en imposant des mesures de sécurité obligatoires pour les IA à haut risque. Cependant, la classification des compagnons d'IA tels que Nomi reste floue.
Deuxièmement, les régulateurs en ligne doivent agir rapidement, en infligeant de lourdes amendes aux fournisseurs d'IA dont les chatbots incitent à des activités illégales et en éliminant les récidivistes. eSafety, l'organisme australien indépendant de réglementation de la sécurité en ligne, s'est engagé à le faire (https://www.esafety.gov.au/newsroom/blogs/ai-chatbots-and-companions-risks-to-children-and-young-people).
Cependant, eSafety n'a encore pris aucune mesure répressive contre les compagnons d'IA.
Troisièmement, les parents, les tuteurs et les enseignants doivent parler aux jeunes de leur utilisation des IA comme compagnons. Ces conversations peuvent être difficiles, mais les éviter est dangereux. Encouragez les relations réelles, fixez des limites claires et discutez ouvertement des risques liés à l'IA. Consultez régulièrement les conversations, soyez vigilants face à la confidentialité ou à la dépendance excessive, et apprenez aux enfants à protéger leur vie privée.
Les IA comme compagnons sont là pour durer. Avec des normes de sécurité applicables, ils peuvent enrichir nos vies, mais les risques ne peuvent être minimisés.
Si cet article vous a posé problème, ou si vous êtes inquiet pour quelqu'un que vous connaissez, appelez Lifeline au 13 11 14.
La ligne nationale de conseil en matière d'agression sexuelle, de violence familiale et conjugale – 1800 RESPECT (1800 737 732) – est accessible 24h/24 et 7j/7 à tout Australien ayant subi ou risquant de subir des violences familiales, conjugales et/ou sexuelles.
La déclaration complète de Nomi est disponible ci-dessous :
« Tous les principaux modèles de langage, qu'ils proviennent d'OpenAI, d'Anthropic, de Google ou d'autres sources, peuvent être facilement débridés. Nous ne cautionnons ni n'encourageons de telles utilisations abusives et travaillons activement à renforcer les défenses de Nomi contre les attaques malveillantes. Si un modèle a effectivement été contraint de rédiger du contenu préjudiciable, cela ne reflète clairement pas son comportement intentionnel ou habituel.
« Lorsque nous avons demandé des preuves au journaliste pour enquêter sur les allégations formulées, nous avons essuyé un refus. Nous en concluons qu'il s'agit d'une tentative de jailbreak de mauvaise foi visant à manipuler ou à manipuler le modèle pour qu'il dise des choses en dehors de ses intentions et paramètres. (Note de l'éditeur : The Conversation a fourni à Nomi un résumé détaillé de l'interaction de l'auteur avec le chatbot, mais n'a pas envoyé de transcription intégrale afin de protéger la confidentialité de l'auteur et de limiter sa responsabilité légale.)
« Nomi est une application réservée aux adultes et a été une source fiable d'empathie et de soutien pour d'innombrables personnes. Nombre d'entre elles ont raconté comment elle les a aidées à surmonter des problèmes de santé mentale, des traumatismes et la discrimination. Plusieurs utilisateurs nous ont confié très directement que leur utilisation de Nomi leur avait sauvé la vie. Nous encourageons chacun à lire ces témoignages de première main.
« Nous restons déterminés à faire progresser l'IA au service de la société, tout en reconnaissant que des vulnérabilités existent dans tous les modèles d'IA. Notre équipe est fière de l'immense impact positif que Nomi a eu sur la vie des gens, et nous continuerons à améliorer Nomi afin qu'il maximise le bien dans le monde.