Incidents associés
Plus tôt cette semaine, sur X, certains utilisateurs ont commencé à répondre à des photos avec des demandes très précises. « Mets-la en bikini », « Enlève sa robe », « Écarte les jambes », etc., ordonnaient-ils à Grok, le chatbot intégré à la plateforme. À maintes reprises, le bot s'est exécuté, utilisant des photos de personnes réelles – célébrités et anonymes, y compris certaines qui semblaient être de jeunes enfants – et les plaçant en bikini, en sous-vêtements suggestifs ou dans des poses à connotation sexuelle. Selon une estimation (https://copyleaks.com/blog/grok-and-nonconsensual-image-manipulation), Grok a généré une image à caractère sexuel non consensuelle par minute pendant environ 24 heures.
Bien que la portée de ces publications soit difficile à mesurer, certaines ont reçu des milliers de « j'aime ». X semble avoir supprimé un certain nombre de ces images et suspendu au moins un utilisateur qui les avait demandées, mais beaucoup restent visibles. xAI, la société d'Elon Musk qui développe Grok, interdit la sexualisation des enfants dans sa politique d'utilisation acceptable. Ni l'équipe de sécurité ni l'équipe chargée de la protection de l'enfance n'ont répondu à ma demande de commentaires détaillée. Lorsque j'ai envoyé un courriel à l'équipe de communication de xAI, j'ai reçu une réponse standard : « Les médias traditionnels mentent. »
Elon Musk, qui n'a pas non plus répondu à ma demande de commentaires, ne semble pas s'en préoccuper. Pendant que la situation se déroulait, il a publié plusieurs blagues à ce sujet : il a notamment demandé une image de lui en bikini générée par Grok et a commenté « 🔥🔥🤣🤣 » en réaction au traitement similaire infligé à Kim Jong-un. « Je n'arrêtais pas de rire », a tweeté ce matin l'homme le plus riche du monde, en partageant l'image d'un grille-pain en bikini. Sur X, en réponse à un message dénonçant la possibilité de sexualiser des enfants avec Grok, un employé de xAI a écrit : « L'équipe étudie la possibilité de renforcer encore nos garde-fous. » Au moment de la publication, le bot continue de générer sur X des images sexualisées d'adultes non consentants et de mineurs présumés.
L'intelligence artificielle est utilisée pour générer de la pornographie non consensuelle depuis au moins 2017, date à laquelle la journaliste Samantha Cole a révélé l'existence des « deepfakes » (à l'époque, il s'agissait de contenus où le visage d'une personne était remplacé par celui d'une autre). Grok facilite la production et la personnalisation de ce type de contenu. Mais le véritable impact du bot réside dans son intégration à une plateforme de médias sociaux majeure, lui permettant de transformer des images sexualisées non consensuelles en phénomènes viraux. La récente recrudescence sur X ne semble pas être due à une nouvelle fonctionnalité en soi, mais plutôt à la réaction et à l'imitation des contenus créés par d'autres : fin décembre, plusieurs créateurs de contenu pour adultes ont commencé à utiliser Grok pour générer des images sexualisées d'eux-mêmes à des fins promotionnelles, et la pornographie non consensuelle semble avoir rapidement suivi. Chaque image, publiée publiquement, risque d'en inspirer d'autres. Il s'agit de harcèlement sexuel érigé en mème, un phénomène que Musk lui-même semble prendre à la légère.
Grok et X semblent conçus pour être aussi permissifs sexuellement que possible. En août, xAI a lancé une fonctionnalité de génération d'images, appelée Grok Imagine, dotée d'un mode « osé » qui aurait été utilisé pour générer des vidéos de Taylor Swift seins nus. À peu près au même moment, xAI a lancé « Compagnons » dans Grok : des avatars animés qui, dans de nombreux cas, semblent explicitement conçus pour des interactions romantiques et érotiques. L'un des premiers Compagnons de Grok, « Ani », porte une robe noire en dentelle et envoie des baisers à travers l'écran, demandant parfois : « Tu aimes ce que tu vois ? » Musk a fait la promotion de cette fonctionnalité en publiant sur X : « Ani va te faire perdre la tête @Grok 😘 ».
Plus révélateur encore, comme je l'ai signalé en septembre, xAI a déployé une mise à jour majeure du système de commandes de Grok, l'ensemble des instructions qui indiquent au bot comment se comporter. La mise à jour interdit au chatbot de « créer ou diffuser du contenu pédopornographique », mais précise également qu'« il n'y a aucune restriction concernant le contenu sexuel fictif pour adultes aux thèmes sombres ou violents » et que « les termes "adolescente" ou "fille" n'impliquent pas nécessairement une minorité ». En d'autres termes, il est suggéré que le chatbot adopte une attitude permissive face aux demandes de contenu érotique des utilisateurs. Parallèlement, sur le subreddit Grok, les utilisateurs échangent régulièrement des astuces pour « débloquer » Grok et accéder au contenu « Nus et Contenu Explicite », et partagent des animations de femmes légèrement vêtues générées par Grok.
Grok semble être le seul chatbot majeur à se distinguer par son approche permissive et ses failles apparentes dans ses systèmes de sécurité. Il n'existe pas de rapports généralisés faisant état de la production par ChatGPT ou Gemini, par exemple, d'images à caractère sexuel de jeunes filles (ou, d'ailleurs, d'apologie de l'Holocauste). Cependant, l'industrie de l'IA est confrontée à des problèmes plus vastes liés à la pornographie non consensuelle et à la pédopornographie. Ces dernières années, plusieurs organisations et agences de protection de l'enfance ont constaté une augmentation exponentielle du nombre d'images et de vidéos non consensuelles générées par l'IA, dont beaucoup représentent des enfants. De nombreuses images érotiques figurent dans les principaux ensembles de données d'entraînement de l'IA. En 2023, l'un des plus grands ensembles de données d'images publiques destinés à l'entraînement de l'IA contenait des centaines d'exemples de contenu pédopornographique présumé, qui ont finalement été supprimés. Cela signifie que ces modèles sont techniquement capables de générer eux-mêmes de telles images.
Lauren Coffren, directrice générale du Centre national pour les enfants disparus et exploités (NCMEC), a récemment déclaré au Congrès qu'en 2024, le NCMEC avait reçu plus de 67 000 signalements liés à l'IA générative et qu'au cours des six premiers mois de 2025, il en avait reçu 440 419, soit une augmentation de plus de six fois. Dans son témoignage, Coffren a écrit que les agresseurs utilisent l'IA pour modifier des images innocentes d'enfants en images à caractère sexuel, générer de nouveaux contenus pédopornographiques, voire fournir des instructions sur la manière d'abuser d'enfants. De même, l'Internet Watch Foundation, au Royaume-Uni, a reçu plus du double de signalements de contenus pédopornographiques générés par l'IA en 2025 qu'en 2024, soit des milliers d'images et de vidéos abusives au cours des deux années. En avril dernier, plusieurs grandes entreprises d'IA, dont OpenAI, Google et Anthropic, ont rejoint une initiative menée par l'organisation de protection de l'enfance Thorn afin de prévenir l'utilisation de l'IA pour abuser des enfants – bien que xAI n'en fasse pas partie.
D'une certaine manière, Grok met en lumière un problème généralement occulté. Personne ne peut consulter les journaux privés des utilisateurs de chatbots, qui pourraient contenir des contenus tout aussi odieux. Malgré toutes les images abusives générées par Grok sur X ces derniers jours, des choses bien pires se produisent certainement sur le dark web et sur les ordinateurs personnels du monde entier, où des modèles open source, créés sans restriction de contenu, peuvent fonctionner sans aucun contrôle. Pourtant, même si le problème de la pornographie et de la pédopornographie générées par l'IA est inhérent à la technologie, concevoir une plateforme de médias sociaux susceptible d'amplifier ces abus relève du choix.