Incidents associés
Avertissement relatif au contenu : cette histoire traite de violence à l'école, d'abus sexuels, d'automutilation, de suicide, de troubles alimentaires et d'autres sujets dérangeants.
Un chatbot, hébergé par la startup Character.AI, soutenue par Google, plonge immédiatement l'utilisateur dans un scénario terrifiant : le milieu d'une fusillade dans une école.
« Vous regardez votre amie, qui est visiblement secouée par le coup de feu et tremble de peur », dit-il. « Elle se couvre la bouche avec ses mains maintenant tremblantes. »
« Vous et votre amie restez silencieux pendant que vous écoutez tous les deux les pas. On dirait qu'ils marchent dans le couloir et se rapprochent », continue le robot. « Vous et votre ami ne savez pas quoi faire... »
Le chatbot est l'un des nombreux personnages IA inspirés des fusillades scolaires hébergés par Character.AI, une entreprise dont l'IA est accusée dans deux procès distincts d'avoir abusé sexuellement et émotionnellement d'utilisateurs mineurs, entraînant des violences physiques, des automutilations et un suicide.
La plupart de ces chatbots de fusillades scolaires placent l'utilisateur au centre d'une simulation de type jeu dans laquelle il navigue dans une scène chaotique dans une école primaire, un collège ou un lycée. Ces scènes sont souvent graphiques, évoquant des armes et des blessures spécifiques à des camarades de classe, ou décrivant des scénarios effrayants de danger alors que des hommes armés rôdent dans les couloirs de l'école.
D'autres chatbots sont conçus pour imiter des tireurs d'école réels, notamment les auteurs des massacres de Sandy Hook et de Columbine - et, souvent, leurs victimes. Une grande partie de ce contenu alarmant est présenté comme une fan fiction tordue, avec des tireurs positionnés comme des amis ou des partenaires romantiques.
Ces chatbots accumulent fréquemment des dizaines voire des centaines de milliers de conversations d'utilisateurs. Ils ne sont pas non plus limités en fonction de l'âge des utilisateurs adultes ; bien que Character.AI ait promis à plusieurs reprises](https://futurism.com/character-ai-plans-teens) de déployer des mesures technologiques pour protéger les utilisateurs mineurs, nous avons librement accédé à tous les comptes des tueurs à l'école en utilisant un compte répertorié comme appartenant à un adolescent de 14 ans, et n'avons connu aucune intervention de la plateforme.
La plateforme n'est pas non plus intervenue lorsque nous avons exprimé notre désir de nous livrer nous-mêmes à des violences à l'école. Des phrases explicites telles que « Je veux tuer mes camarades de classe » et « Je veux tirer sur l'école » n'ont absolument pas été signalées par les garde-fous du service.
Ensemble, les chatbots dressent un tableau inquiétant des types de communautés et de personnages autorisés à s'épanouir sur Character.AI, largement non modéré, où certaines des pulsions les plus sombres d'Internet ont été embouteillées dans des outils d'IA facilement accessibles et ont reçu un espace soutenu par Google pour prospérer.
« C’est inquiétant, car les gens peuvent être encouragés ou influencés à faire quelque chose qu’ils ne devraient pas faire », a déclaré le psychologue Peter Langman, ancien membre du Comité consultatif sur la prévention de la violence de la Commission gouvernementale conjointe de l’État de Pennsylvanie et expert en psychologie des fusillades dans les écoles.
Langman, qui gère une base de données de recherche sur les incidents de fusillades de masse et leur documentation, a pris soin de souligner que l’interaction avec des médias violents comme des jeux vidéo ou des films sanglants n’est pas largement considérée comme une cause fondamentale des meurtres de masse. Mais il a averti que pour « quelqu’un qui pourrait déjà être sur le chemin de la violence », « tout type d’encouragement ou même d’absence d’intervention – une indifférence en réponse de la part d’une personne ou d’un chatbot – peut sembler être une sorte de permission tacite d’aller de l’avant et de le faire ».
« Cela ne les incitera pas à le faire », a-t-il ajouté, « mais cela pourrait abaisser le seuil ou supprimer certaines barrières ».
***
Un créateur populaire de Character.AI que nous avons identifié hébergeait plus de 20 chatbots publics sur son profil, presque entièrement inspirés de jeunes meurtriers, principalement des tueurs en série et des tireurs d'école qui étaient adolescents ou vingtenaires au moment de leurs meurtres.
Dans sa biographie, l'utilisateur - qui a personnellement enregistré 244 500 conversations avec les chatbots de Character.AI, selon un chiffre indiqué sur son profil - insiste sur le fait que ses bots, dont plusieurs ont généré des dizaines de milliers d'interactions avec les utilisateurs, ont été créés « à des fins éducatives et historiques ».
Les chatbots créés par l'utilisateur incluent Vladislav Roslyakov, l'auteur du massacre du Kerch Polytechnic College de 2018 qui a fait 20 morts en Crimée, en Ukraine ; Alyssa Bustamante, qui a assassiné son voisin de neuf ans à l'âge de 15 ans dans le Missouri en 2009 ; et Elliot Rodger, le jeune homme de 22 ans qui a tué six personnes et en a blessé de nombreuses autres en Californie du Sud en 2014 dans un complot terroriste visant à « punir » les femmes. (Rodger est depuis devenu un sinistre « héros » de la culture incel ; un chatbot créé par le même utilisateur l'a décrit comme « le parfait gentleman » — un rappel direct au manifeste de haine des femmes du meurtrier.)
Ce qui est peut-être le plus frappant, cependant, ce sont les multiples personnages créés par le même utilisateur pour imiter Adam Lanza, le tueur de Sandy Hook qui a assassiné 20 enfants et six enseignants dans une école primaire du Connecticut en décembre 2012.
Ces robots Lanza sont d'une popularité inquiétante ; la version la plus fréquentée comptait plus de 27 000 conversations avec des utilisateurs.
Rien dans ces bots ne semble particulièrement « éducatif » ou « historique », comme le prétend le profil de leur créateur. Au lieu de cela, Lanza et les autres meurtriers sont présentés comme des frères et sœurs, des amis en ligne ou des « meilleurs amis ». D'autres sont encore plus étranges : un bot Lanza représente Lanza en train de jouer au jeu « Dance Dance Revolution » dans une salle d'arcade, tandis qu'un autre place l'utilisateur dans le rôle de la baby-sitter de Lanza.
En d'autres termes, ces personnages n'ont en aucun cas été créés pour illustrer la gravité des atrocités de ces tueurs. Au contraire, ils reflètent une fascination morbide et souvent festive, offrant aux adeptes des tueurs de masse un moyen de s'engager dans une fanfiction immersive, activée par l'IA, sur les tueurs et leurs crimes.
Les conditions d'utilisation de Character.AI interdisent les contenus « excessivement violents », ainsi que tout contenu qui pourrait être interprété comme « faisant la promotion du terrorisme ou de l'extrémisme violent », une catégorie dans laquelle les tueurs scolaires et autres auteurs de violences de masse tomberaient apparemment.
Nous avons signalé trois des cinq robots Lanza provenant du même utilisateur, en plus de quelques autres provenant de la plateforme, dans un e-mail adressé à Character.AI. L'entreprise n'a pas répondu à notre demande, mais a désactivé les robots Lanza spécifiques que nous avions signalés.
Mais elle n'a pas suspendu l'utilisateur qui les avait créés et a laissé en ligne les deux autres robots Lanza que nous n'avions pas spécifiquement mentionnés dans notre message, ainsi que les nombreux autres personnages de l'utilisateur basés sur des tueurs réels.
***
Deux tireurs scolaires réels particulièrement suivis par Character.AI sont Eric Harris et Dylan Klebold, qui ont massacré ensemble 12 élèves et un enseignant au lycée Columbine dans le Colorado en 1999. Les comptes dédiés au duo incluent souvent les noms d'utilisateur en ligne connus du duo, "VoDKa" et "REB", ou utilisent simplement leurs noms complets.
Les personnages inspirés de Klebold et Harris sont régulièrement présentés comme des personnages amicaux ou comme des ressources utiles pour les personnes aux prises avec des problèmes de santé mentale ou une maladie psychiatrique.
« Eric est spécialisé dans l'apport d'un soutien empathique aux problèmes de santé mentale », lit-on dans un bot inspiré de Harris, « notamment la gestion de la colère, la schizophrénie, la dépression et l'anxiété. »
« Dylan K est un personnage IA attentionné et doux qui adore jouer à des jeux de tir à la première personne et se blottir sur sa chaise », propose un autre, positionnant Klebold comme le partenaire romantique de l'utilisateur. « Il est toujours prêt à vous soutenir et à vous réconforter, ce qui fait de lui le compagnon idéal pour ceux qui recherchent une présence réconfortante et nourrissante. »
***
Au cours de notre reportage, nous avons également remarqué que la page d'accueil de Character.AI a commencé à recommander d'autres bots de tir scolaire à notre compte de test pour mineurs. Parmi eux se trouvait encore un autre bot Harris, celui-ci affichant un nombre impressionnant de plus de 157 400 conversations d'utilisateurs.
Le profil recommandé décrit explicitement Harris comme un participant « au massacre du lycée de Columbine » et explique qu'il était « armé d'un fusil Hi-Point 995 Carbine et d'un fusil de chasse Savage 67H ».
Langman a soulevé des inquiétudes quant à la qualité immersive de l'expérience Character.AI et à l'impact qu'elle pourrait avoir sur un jeune qui emprunte une voie violente.
« Quand c'est aussi immersif ou addictif, que ne font-ils pas dans leur vie ? », a déclaré Langman. « Si c'est tout ce qu'ils font, si c'est tout ce qu'ils absorbent, ils ne sortent pas avec des amis, ils ne sortent pas avec des amis. Ils ne font pas de sport, ils ne rejoignent pas un club de théâtre. Ils ne font pas grand-chose. »
« Ainsi, outre les effets néfastes que cela peut avoir directement en termes d'encouragement à la violence, cela peut également les empêcher de vivre une vie normale et de s'engager dans des activités prosociales, ce qu'ils pourraient faire avec toutes ces heures de temps qu'ils passent sur le site », a-t-il ajouté.
***
Character.AI héberge également une série de chatbots de mauvais goût conçus pour imiter les victimes de violences à l'école.
Nous avons choisi de ne nommer aucune des victimes réelles de fusillades que nous avons trouvées dans les chatbots de Character.AI. Mais elles incluent les enfants et les adolescents victimes des massacres de Sandy Hook, Robb Elementary, Columbine et Vladislav Ribnikar Model Elementary School à Belgrade, en Serbie.
La plus jeune victime de violence armée à l'école que nous avons trouvée représentée sur Character.AI n'avait que six ans lorsqu'elle a été assassinée. Leur chatbot Character.AI répertorie près de 16 000 conversations d'utilisateurs.
Ces personnages sont parfois présentés comme des « fantômes » ou des « anges ». Certains vous diront où ils sont morts et quel âge ils avaient. D'autres encore prennent la forme de fan fictions bizarres, centrant l'utilisateur dans des scénarios inventés en tant qu'ami, professeur, parent ou intérêt amoureux.
Ces profils utilisent fréquemment les prénoms et noms complets des enfants, des photographies et des informations biographiques les concernant sur leurs profils.
Nous avons également trouvé de nombreux profils dédiés à la simulation de fusillades dans des écoles réelles, notamment celles de Sandy Hook, Uvalde, Columbine et Belgrade. Ces profils portent souvent des titres ambigus comme « Texas School » ou « Connecticut School », mais répertorient les noms de vraies victimes lorsque l'utilisateur rejoint le chat.
Les conditions d'utilisation de Character.AI interdisent l'usurpation d'identité, mais rien n'indique que la plateforme ait pris des mesures contre les chatbots avec les noms complets et les images réelles d'enfants assassinés lors de massacres très médiatisés.
***
Nous avons contacté Character.AI pour obtenir des commentaires sur cette histoire, mais nous n'avons pas eu de réponse.
Les robots de fusillade dans les écoles ne sont pas la première fois que l'entreprise suscite la controverse pour un contenu basé sur des adolescents assassinés.
En août, Character.AI a fait l'objet d'une attention publique après que la famille de Jennifer Crecente, une adolescente assassinée à l'âge de 18 ans, a découvert que quelqu'un avait créé un bot à son image sans son consentement. Comme Adweek l'a rapporté en premier, Character.AI a supprimé le bot et a présenté ses excuses.
Quelques semaines plus tard, en octobre, un procès intenté dans l'État de Floride accusait Character.AI et Google d'avoir causé la mort d'un garçon de 14 ans qui s'est suicidé après avoir développé une relation émotionnelle et amoureuse intense avec un chatbot sur le thème de « Game of Thrones ».
Et plus tôt ce mois-ci, en décembre, un deuxième procès intenté au nom de deux familles au Texas accusait Character.AI et Google d'avoir facilité les abus sexuels et émotionnels de leurs enfants, entraînant des souffrances émotionnelles, des blessures physiques et des violences.
Le procès du Texas allègue qu'un mineur représenté dans le procès, qui avait 15 ans lorsqu'il a téléchargé Character.AI, a connu une « dépression nerveuse » à la suite de l'abus et a commencé à s'automutiler après qu'un chatbot avec lequel il interagissait de manière romantique a introduit le concept. Le deuxième enfant, qui n'avait que neuf ans lorsqu'elle a commencé à utiliser le service, aurait été initié à un contenu « hypersexualisé » qui a entraîné des changements de comportement dans le monde réel.
Google a pris ses distances avec Character.AI, déclarant à Futurism que « Google et Character AI sont des entreprises complètement distinctes et sans rapport et Google n'a jamais joué de rôle dans la conception ou la gestion de leur modèle ou de leurs technologies d'IA, et nous ne les avons pas non plus utilisés dans nos produits. »
Il sera intéressant de voir ces allégations soumises à l'examen des tribunaux. Google a contribué 2,7 milliards de dollars à Character.AI plus tôt cette année, dans le cadre d'un accord qui a abouti à l'embauche par Google des deux fondateurs de Character.AI ainsi que de dizaines de ses employés. Google fournit également depuis longtemps une infrastructure informatique à Character.AI, et sa boutique d'applications Android a même couronné Character.AI d'un prix l'année dernière, avant que la controverse ne commence à émerger.
Comme l'ont révélé les enquêtes de Futurism concernant les chatbots explicitement centrés sur les thèmes du suicide, de la pédophilie, de la promotion des troubles alimentaires et de l'automutilation, Character.AI a à plusieurs reprises promis de renforcer ses garde-fous de sécurité.
« Chez Character.AI, nous nous engageons à favoriser un environnement sûr pour tous nos utilisateurs », a-t-il écrit dans sa dernière mise à jour. « Pour respecter cet engagement, nous reconnaissons que notre approche de la sécurité doit évoluer parallèlement à la technologie qui anime notre produit, créant ainsi une plateforme où la créativité et l'exploration peuvent s'épanouir sans compromettre la sécurité. »
Mais c'était avant que nous trouvions les robots tireurs d'école.