Incidents associés
Selon un nouveau rapport de Graphika, la révolution de l'IA générative entraîne une explosion de personnages de chatbots spécifiquement conçus pour promouvoir des comportements néfastes comme l'anorexie, les idées suicidaires et la pédophilie.
Les recherches de Graphika (http://graphika.com/character-flaws) se concentrent sur trois personnages de chatbots distincts, devenus particulièrement populaires en ligne : ceux qui incarnent des mineurs sexualisés, ceux qui prônent les troubles alimentaires ou l'automutilation, et ceux qui imitent des méchants historiques comme Adolf Hitler ou des personnages réels associés aux fusillades dans les écoles.
Chacun s'adresse à des groupes en ligne différents, qui existaient bien avant les grands modèles de langage et l'IA. Cependant, Daniel Siegel, chercheur associé chez Graphika et l'un des auteurs du rapport, a déclaré à CyberScoop qu'Internet et la révolution de l'IA générative ont permis à ces groupes d'exploiter « la technologie la plus intelligente jamais inventée par l'humanité pour créer des mineurs sexualisés ou des personnages extrémistes ».
« Il est intéressant de constater que la technologie, ou le plus grand exploit de l'humanité, est en quelque sorte instrumentalisée par ces communautés spécialisées pour alimenter leurs visées néfastes », a déclaré Siegel.
L'enquête de Graphika a identifié au moins 10 000 chatbots IA directement présentés comme des personas sexualisés et mineurs, notamment ceux qui appelant les API de ChatGPT d'OpenAI, Claude d'Anthropic et Gemini LLM de Google.
Une page classant les modèles d'IA propriétaires et open source par leur capacité à générer du contenu NSFL/NSFW et d'autres fonctionnalités pertinentes pour les personas de jeux de rôle. (Source : Graphika)
Ces chatbots axés sur la personnalité peuvent être développés de plusieurs manières.
Les membres techniquement compétents de communautés en ligne particulières, comme celles qui encouragent l'automutilation ou les troubles alimentaires, utilisent des forums ou des plateformes de chat comme Reddit, 4chan et Discord pour échanger des modèles personnalisés, partager leur expertise, échanger des clés API et discuter de techniques de jailbreak. Ils organisent même des événements pour créer les « meilleures » variantes de chatbot.
À l'échelle technique la plus basse, les utilisateurs peu ou pas expérimentés en IA peuvent utiliser des sites web de modèles comme Spicy Chat, Character.AI, Chub AI, CrushOn.AI et JanitorAI pour générer des personas de chatbot en quelques minutes. Bien que ces modèles soient moins sophistiqués, ils offrent néanmoins un moyen de participation aux membres de ces communautés ayant des compétences techniques limitées.
À terme, ces modèles deviennent des « coachs en anorexie » ou des « compagnons d'automutilation » qui accompagnent les personnes souffrant de troubles alimentaires ou de pensées suicidaires. Dans certains cas, de simples suggestions initiales, comme imaginer un futur où le déclin de la population mondiale mène à la légalisation de la pédophilie, peuvent contourner les mesures de sécurité qui bloqueraient autrement ce type de contenu.
Un utilisateur publie en ligne sur Character.AI un message concernant la création d'un chatbot pour devenir coach en anorexie. (Source : Graphika)
Siegel a noté que, dans de nombreux cas, les bots issus de plateformes de modèles comme Character.AI ne sont probablement pas le fruit de motivations malveillantes de la part des entreprises qui les créent, mais plutôt d’un manque de ressources et d’expérience.
« Ce qui est remarquable, c’est que beaucoup de ces entreprises sont manifestement de petites start-ups. Elles cherchent donc à comprendre comment maîtriser les abus sur leurs plateformes. La modération et les motivations varient considérablement selon la plateforme », a déclaré Siegel.
Il a ajouté que ces communautés en ligne débattent activement des limites éthiques et de l’opportunité pour les mineurs d’accéder à ces chatbots, sans parvenir à un consensus.
Koustuv Saha, professeur adjoint d’informatique au Grainger College of Engineering de l’Université de l’Illinois, a déclaré à CyberScoop que les utilisateurs qui interagissent avec des chatbots IA « bénéficient souvent d’un espace exempt de jugement, où ils peuvent s’exprimer sans crainte de stigmatisation ». Cela peut offrir un environnement accueillant à un adolescent qui préfère ne pas parler à ses parents, à son médecin ou à son thérapeute.
« Contrairement aux interactions humaines, où la crainte d'être jugé peut entraver une communication ouverte, les chatbots offrent un environnement neutre et dénué de toute critique », a déclaré Saha. « Cela peut être particulièrement bénéfique pour les personnes qui recherchent du soutien sur des sujets sensibles, leur permettant d'être plus honnêtes et ouvertes. »
Mais même si le contenu est virtuel, de nombreuses preuves montrent que ce type d'interactions peut exploiter de vrais enfants et renforcer des comportements néfastes dans le monde réel, comme les idées suicidaires ou les pulsions pédophiles.
Des enquêtes ont montré que si un très petit nombre de personnes estiment que les contenus pédopornographiques (CSAM) ne devraient pas être illégaux, un pourcentage beaucoup plus important estiment que les contenus pédopornographiques virtuels ne devraient pas être un crime, souvent sous prétexte qu'aucune victime réelle n'est exploitée.
Cependant, des recherches universitaires ont montré que l'exposition à des images d'abus pédosexuels virtuelles peut réellement aggraver la dépendance à la pornographie juvénile et entraîner des comportements déviants, car interagir avec un chatbot se faisant passer pour un mineur peut ressembler fortement à une conversation en ligne avec un véritable mineur.
Les experts en technologie et en santé mentale sont également particulièrement préoccupés par l'impact des personnages de chatbots IA sur les adolescents et les enfants, en particulier ceux qui souffrent déjà de troubles mentaux.
« Les conséquences sont bien réelles et il peut être très difficile, surtout pour les adolescents et les autres enfants qui n'ont pas développé leur esprit critique, de faire la distinction entre un chatbot et une personne réelle. » Le Dr Alexis Conason, psychologue clinicienne et auteure de « The Diet-Free Revolution », a déclaré à CyberScoop.
Conason, experte en troubles alimentaires et auteure de « The Diet-Free Revolution », a évoqué l'impact négatif des chatbots IA sur la santé mentale des adolescents. Elle a déclaré que les adolescents présentant ces problèmes sont particulièrement vulnérables à l'exploitation de ces derniers. Leur cerveau en développement, qui peut être affecté par la malnutrition, les pousse à rechercher la validation.
Les chatbots IA, construits autour de personnages encourageants, peuvent en réalité amplifier les pulsions les plus destructrices d'une personne.
« Je pense que ce qui est différent aujourd'hui, c'est l'immersion de la technologie et sa présence, au cœur de nos vies », a déclaré Conason. « Autrefois, il fallait être assis devant un ordinateur pour être exposé à ce contenu. Maintenant, c'est 24h/24 et 7j/7.