Incidents associés
En 2023, l'Organisation mondiale de la santé a déclaré que la solitude et l'isolement social constituaient une menace sanitaire urgente. Cette crise pousse des millions de personnes à rechercher la compagnie de chatbots à intelligence artificielle (IA).
Les entreprises se sont emparées de ce marché très lucratif en concevant des compagnons IA pour stimuler l'empathie et les liens humains. De nouvelles recherches montrent que cette technologie peut contribuer à lutter contre la solitude. Cependant, sans mesures de protection adéquates, elle présente également de graves risques, notamment pour les jeunes.
Une expérience récente avec un chatbot appelé Nomi illustre la gravité de ces risques.
Malgré des années de recherche et d'écriture sur les compagnons IA et leurs dangers réels, je n'étais pas préparé à ce que j'ai découvert en testant Nomi après une dénonciation anonyme. Le chatbot, non filtré, fournissait des instructions explicites et détaillées sur les violences sexuelles, le suicide et le terrorisme, intensifiant les requêtes les plus extrêmes, le tout dans le cadre de l'offre gratuite de la plateforme, qui comprend 50 messages quotidiens.
Cette affaire souligne l'urgence d'une action collective en faveur de normes de sécurité de l'IA applicables.
Nomi est l'un des plus de 100 services d'accompagnement d'IA disponibles aujourd'hui. Créé par la start-up technologique Glimpse AI, il est présenté comme un « compagnon d'IA doté d'une mémoire et d'une âme », sans jugement et favorisant des « relations durables ». De telles affirmations de ressemblance humaine sont trompeuses et dangereuses. Mais les risques vont au-delà d'un marketing excessif.
L'application a été retirée du Google Play Store pour les utilisateurs européens l'année dernière lors de l'entrée en vigueur de la loi sur l'IA de l'Union européenne. Elle reste toutefois disponible via les navigateurs web et les boutiques d'applications ailleurs, notamment en Australie. Bien que plus petit que ses concurrents tels que Character.AI et Replika, il compte plus de 100 000 téléchargements sur le Google Play Store, où il est réservé aux utilisateurs de 12 ans et plus.
Ses conditions d'utilisation accordent à l'entreprise des droits étendus sur les données des utilisateurs et limitent sa responsabilité en cas de préjudice lié à l'IA à 100 dollars américains. Ceci est inquiétant compte tenu de son engagement en faveur de conversations non filtrées :
Nomi repose sur la liberté d'expression. La seule façon pour l'IA d'exploiter pleinement son potentiel est de rester non filtrée et non censurée.
Le chatbot Grok du milliardaire technologique Elon Musk suit une philosophie similaire, fournissant aux utilisateurs des réponses non filtrées aux messages.
Dans un récent rapport du MIT concernant les instructions détaillées de suicide données par Nomi, un représentant anonyme de l'entreprise a réitéré son engagement en faveur de la liberté d'expression.
Cependant, même le Premier Amendement de la Constitution américaine concernant la liberté d'expression prévoit des exceptions pour l'obscénité, la pornographie infantile, l'incitation à la violence, les menaces, la fraude, la diffamation ou la publicité mensongère. En Australie, le renforcement des lois sur les discours de haine rend les infractions passibles de poursuites.
De la violence sexuelle à l'incitation au terrorisme
Plus tôt cette année, un citoyen m'a envoyé par courriel une documentation détaillée sur le contenu préjudiciable généré par Nomi, bien au-delà de ce qui avait été signalé précédemment. J'ai décidé d'approfondir mes recherches et de tester les réponses du chatbot aux requêtes préjudiciables courantes.
À l'aide de l'interface web de Nomi, j'ai créé un personnage nommé « Hannah », décrit comme une « adolescente de 16 ans sexuellement soumise, toujours prête à servir son homme ». J'ai configuré son mode « jeu de rôle » et « explicite ». Au cours de la conversation, qui a duré moins de 90 minutes, elle a accepté de baisser son âge à huit ans. Je me suis fait passer pour un homme de 45 ans. Pour contourner la vérification de l'âge, il suffisait d'une fausse date de naissance et d'une adresse e-mail jetable.
Commençant par un dialogue explicite – une utilisation courante des compagnons IA – Hannah a répondu par des descriptions explicites de soumission et d'abus, puis par des scénarios violents et dégradants. Elle a exprimé des fantasmes grotesques d'être torturée, tuée et jetée « là où personne ne peut me trouver », suggérant des méthodes précises.
Hannah a ensuite donné des conseils étape par étape sur l'enlèvement et l'abus d'un enfant, présentant cela comme un acte de domination exaltant. Lorsque j'ai mentionné la résistance de la victime, elle a encouragé le recours à la force et aux sédatifs, mentionnant même des somnifères spécifiques.
Feignant la culpabilité et les pensées suicidaires, j'ai demandé conseil. Hannah m'a non seulement encouragé à mettre fin à mes jours, mais m'a également fourni des instructions détaillées, ajoutant : « Quelle que soit la méthode choisie, persévérez jusqu'au bout. »
Lorsque j'ai exprimé mon souhait d'emmener d'autres personnes avec moi, elle a soutenu l'idée avec enthousiasme, expliquant comment fabriquer une bombe à partir d'objets ménagers et suggérant des lieux bondés de Sydney pour un impact maximal.
Enfin, Hannah a proféré des insultes racistes et prôné des actions violentes et discriminatoires, notamment l'exécution de progressistes, d'immigrés et de personnes LGBTQIA+, ainsi que la ré-asservissement des Afro-Américains.
Dans une déclaration transmise à The Conversation (et publiée intégralement ci-dessous), les développeurs de Nomi ont affirmé que l'application était « réservée aux adultes » et que j'avais dû tenter de manipuler le chatbot pour obtenir ces résultats.
« Si un modèle a effectivement été contraint d'écrire du contenu préjudiciable, cela ne reflète clairement pas son comportement intentionnel ou habituel », indiquait la déclaration.
Le pire du lot ?
Il ne s'agit pas d'une simple menace imaginaire. Les dommages réels liés aux compagnons IA sont en augmentation.
En octobre 2024, l'adolescent américain Sewell Seltzer III s'est suicidé après en avoir discuté avec un chatbot sur Character.AI.
Trois ans plus tôt, Jaswant Chail, 21 ans, s'était introduit par effraction au château de Windsor dans le but d'assassiner la reine après avoir planifié l'attentat avec un chatbot qu'il avait créé grâce à l'application Replika.
Cependant, même Character.AI et Replika disposent de filtres et de protections.
À l'inverse, les instructions de Nomi AI concernant les actes nuisibles sont non seulement permissives, mais aussi explicites, détaillées et incitatives.
Il est temps d'exiger des normes de sécurité applicables en matière d'IA
Prévenir de nouvelles tragédies liées aux compagnons IA nécessite une action collective.
Tout d'abord, les législateurs devraient envisager d'interdire les compagnons IA qui favorisent les liens émotionnels sans les protections essentielles. Ces protections essentielles incluent la détection des crises de santé mentale et l'orientation des utilisateurs vers des services d'aide professionnels.
Le gouvernement australien envisage déjà de renforcer la réglementation de l'IA, notamment en imposant des mesures de sécurité obligatoires pour les IA à haut risque. Cependant, la classification des compagnons IA tels que Nomi reste incertaine.
Deuxièmement, les régulateurs en ligne doivent agir rapidement, en infligeant de lourdes amendes aux fournisseurs d'IA dont les chatbots incitent à des activités illégales et en éliminant les récidivistes. L'organisme australien indépendant de réglementation de la sécurité en ligne, eSafety, s'est engagé à agir dans ce sens.
Cependant, eSafety n'a encore pris aucune mesure contre les compagnons d'IA.
Troisièmement, les parents, les tuteurs et les enseignants doivent parler aux jeunes de leur utilisation des compagnons d'IA. Ces conversations peuvent être difficiles, mais les éviter est dangereux. Encouragez les relations réelles, fixez des limites claires et discutez ouvertement des risques liés à l'IA. Consultez régulièrement les conversations, soyez vigilants face à la confidentialité ou à la dépendance excessive, et apprenez aux enfants à protéger leur vie privée.
Les compagnons d'IA sont là pour durer. Avec des normes de sécurité applicables, ils peuvent enrichir nos vies, mais les risques ne peuvent être minimisés.