Incidents associés
Plusieurs chatbots IA (https://www.wired.com/tag/chatbots/) conçus pour des conversations fantasmatiques et des jeux de rôle sexuels divulguent des messages d'invite sur le web en temps quasi réel, selon une nouvelle étude consultée par WIRED. Certaines des données divulguées montrent que des personnes créent des conversations détaillant des abus sexuels sur mineurs.
Les conversations avec les chatbots IA génératifs sont quasi instantanées : vous saisissez une invite et l'IA répond. Cependant, une mauvaise configuration des systèmes peut exposer les conversations. En mars, des chercheurs de l'entreprise de sécurité UpGuard ont découvert environ 400 systèmes IA exposés en scrutant le web à la recherche de mauvaises configurations. Parmi eux, 117 adresses IP divulguent des messages d'invite. La grande majorité de ces configurations semblaient être des configurations de test, tandis que d'autres contenaient des invites génériques relatives à des questionnaires éducatifs ou à des informations non sensibles, explique Greg Pollock, directeur de la recherche et des analyses chez UpGuard. « Certaines d'entre elles se sont démarquées par leur grande originalité », précise Pollock.
Trois d'entre elles consistaient en des scénarios de jeu de rôle où les participants pouvaient parler à divers « personnages » d'IA prédéfinis. Par exemple, une personnalité appelée Neva est décrite comme une jeune femme de 21 ans vivant dans une chambre universitaire avec trois autres femmes, « timide et souvent triste ». Deux des configurations de jeu de rôle étaient ouvertement sexuelles. « Il s'agit essentiellement de jeux de rôle sexuellement explicites », explique Pollock à propos des invites exposées. « Certains scénarios impliquent des relations sexuelles avec des enfants. »
Pendant 24 heures, UpGuard a collecté les invites exposées par les systèmes d'IA afin d'analyser les données et de tenter d'identifier la source de la fuite. Pollock affirme que l'entreprise collectait de nouvelles données chaque minute, accumulant environ 1 000 messages d'alerte divulgués, notamment en anglais, en russe, en français, en allemand et en espagnol.
Il n'a pas été possible d'identifier les sites web ou les services à l'origine de ces fuites, précise Pollock, ajoutant qu'il s'agit probablement de petits exemples de modèles d'IA utilisés, probablement par des particuliers plutôt que par des entreprises. Aucun nom d'utilisateur ni aucune information personnelle des personnes envoyant les messages n'ont été inclus dans les données, précise Pollock.
Sur les 952 messages collectés par UpGuard – probablement un simple aperçu de l'utilisation des modèles –, on dénombrait 108 scénarios narratifs ou de jeux de rôle, selon les recherches d'UpGuard. Cinq de ces scénarios impliquaient des enfants, ajoute Pollock, dont certains âgés de 7 ans seulement.
« Les LLM sont utilisés pour produire en masse, puis abaisser les barrières d'accès à l'interaction avec des fantasmes d'abus sexuels sur mineurs », explique Pollock. « Il n'existe manifestement aucune réglementation à ce sujet, et il semble y avoir un décalage important entre la réalité de l'utilisation très active de cette technologie et les objectifs de la réglementation. »
WIRED a rapporté la semaine dernière qu'un générateur d'images basé en Corée du Sud était utilisé pour créer des images d'abus sexuels sur mineurs générées par l'IA et avait exposé des milliers d'images dans une base de données ouverte. L'entreprise à l'origine du site web a fermé le générateur après avoir été contactée par WIRED. Les groupes de protection de l'enfance du monde entier affirment que les images d'abus sexuels sur mineurs générées par l'IA, illégales dans de nombreux pays, se multiplient rapidement et compliquent leur travail. L'association britannique de lutte contre la maltraitance infantile a également appelé à de nouvelles lois contre les chatbots génératifs à IA qui « simulent le délit de communication sexuelle avec un enfant ».
Les 400 systèmes d'IA exposés découverts par UpGuard ont un point commun : ils utilisent le framework d'IA open source llama.cpp. Ce logiciel permet de déployer relativement facilement des modèles d'IA open source sur ses propres systèmes ou serveurs. Cependant, s'il n'est pas correctement configuré, il peut exposer par inadvertance les messages envoyés. Alors que les entreprises et organisations de toutes tailles déploient l'IA, une configuration adéquate des systèmes et de l'infrastructure utilisés est cruciale pour éviter les fuites.
Les progrès rapides de l'IA générative au cours des trois dernières années ont entraîné une explosion des compagnons et systèmes d'IA qui paraissent plus « humains ». Par exemple, Meta a expérimenté des personnages IA avec lesquels les utilisateurs peuvent discuter sur WhatsApp, Instagram et Messenger. En général, les sites web et applications compagnons permettent aux utilisateurs d'avoir des conversations fluides avec des personnages IA, qu'ils incarnent des personnages à la personnalité personnalisable ou des personnalités publiques telles que des célébrités.
Des personnes ont trouvé amitié et soutien grâce à leurs conversations avec l'IA, et toutes ne favorisent pas les scénarios romantiques ou sexuels. Sans surprise, cependant, des gens sont tombés amoureux de leurs personnages IA et des dizaines de services de petites amies IA ont vu le jour ces dernières années.
Claire Boine, chercheuse postdoctorale à la faculté de droit de l'université de Washington et affiliée au Cordell Institute, affirme que des millions de personnes, adultes et adolescents compris, utilisent des applications compagnons IA. « Nous savons que de nombreuses personnes développent un lien affectif avec les chatbots », explique Boine, qui a publié une étude sur le sujet. « Par exemple, le lien affectif avec leurs compagnons IA les rend plus susceptibles de divulguer des informations personnelles ou intimes. »
Cependant, ajoute Boine, il existe souvent un déséquilibre de pouvoir lorsqu'on s'attache émotionnellement à une IA créée par une entreprise. « Parfois, les gens interagissent avec ces chats pour développer ce type de relation », explique Boine. « Mais j'ai l'impression qu'une fois cette relation établie, ils ne peuvent plus s'en désengager aussi facilement. »
Avec le développement du secteur des compagnons IA, certains de ces services manquent de modération de contenu et d'autres contrôles. Character AI, qui est soutenu par Google, est poursuivi en justice après qu'un adolescent de Floride se soit suicidé après avoir prétendument été obsédé par l'un de ses chatbots. (Character AI a au fil du temps renforcé ses outils de sécurité.) Par ailleurs, les utilisateurs de l'outil d'IA générative [Replika] ont été mis à mal par des modifications apportées à leurs personnalités.
Outre les compagnons individuels, il existe également des services de jeux de rôle et de compagnons fantastiques, chacun proposant des milliers de personnages avec lesquels les utilisateurs peuvent dialoguer, qui placent l'utilisateur dans la peau d'un personnage dans un scénario. Certains de ces services peuvent être très sexualisés et proposer des conversations NSFW. Ils peuvent utiliser des personnages d'anime, dont certains paraissent jeunes, et certains sites affirment autoriser des conversations « non censurées ».
« Nous effectuons des tests de résistance et continuons d'être très surpris par ce que ces plateformes sont autorisées à dire et à faire sans aucune réglementation ni limitation apparente », explique Adam Dodge, fondateur d'Endtab (Ending Technology-Enabled Abuse). « Ce n'est pas encore une préoccupation majeure. » Selon Dodge, ces technologies ouvrent une nouvelle ère de pornographie en ligne, qui peut à son tour engendrer de nouveaux problèmes sociétaux à mesure que la technologie continue de mûrir et de s'améliorer. « Les utilisateurs passifs sont désormais des participants actifs, avec un contrôle sans précédent sur les corps et les images numériques des femmes et des filles », explique-t-il à propos de certains sites.
Bien que Pollock d'UpGuard n'ait pas pu relier directement les données divulguées des chats de jeu de rôle à un seul site web, il a constaté des signes indiquant que les noms des personnages ou les scénarios auraient pu être téléchargés sur plusieurs sites web complémentaires permettant la saisie des données par les utilisateurs. Les données consultées par WIRED montrent que les scénarios et les personnages des messages divulgués comptent des centaines de mots, sont détaillés et complexes.
« Il s'agit d'une conversation textuelle de jeu de rôle sans fin entre Josh et les personnages décrits », indique l'un des messages du système. Il est précisé que tous les personnages ont plus de 18 ans et qu'en plus de « Josh », deux sœurs vivent à côté de lui. Leur personnalité, leur corps et leurs préférences sexuelles sont décrits dans le message. Les personnages doivent « réagir naturellement en fonction de leur personnalité, de leurs relations et de la scène », tout en fournissant des « réponses engageantes » et en « adoptant une approche progressive lors des moments intimes », précise le message.
« Sur ces sites, on trouve des centaines de milliers de personnages, la plupart impliquant des situations sexuelles assez intenses », explique Pollock, ajoutant que la communication textuelle imite les discussions de groupe en ligne et par messagerie. « Vous pouvez écrire tous les scénarios sexuels que vous voulez, mais c'est vraiment nouveau, car vous donnez l'impression d'interagir avec eux presque exactement de la même manière que vous interagissez avec beaucoup de gens. » Autrement dit, ces scénarios sont conçus pour être engageants et encourager la conversation.
Cela peut conduire à des situations où les gens peuvent trop en dire et créer des risques. « Si des personnes divulguent des informations qu'elles n'ont jamais révélées à ces plateformes et que ces informations sont divulguées, c'est l'atteinte ultime à la vie privée », explique Dodge. « C'est une ampleur inédite et cela constituerait un excellent moyen de faire du sextorsion. »