Incidents associés
« Les femmes de couleur ont été touchées de manière disproportionnée par la manipulation, l'altération et la fabrication d'images et de vidéos intimes, avant même l'apparition des deepfakes, et même avec cette technologie, en raison de la façon dont la société, et en particulier les hommes misogynes, perçoivent les femmes de couleur comme moins humaines et moins dignes de respect », explique Noelle Martin, avocate et doctorante à l'Université d'Australie-Occidentale, où elle mène des recherches sur la réglementation des abus liés aux deepfakes. Figure importante du mouvement de lutte contre les deepfakes, Martin confie avoir évité d'utiliser X ces derniers mois après que son image a été usurpée pour un faux compte la faisant passer pour une créatrice de contenu sur OnlyFans.
« En tant que femme de couleur ayant dénoncé ces agissements, je m'expose davantage », ajoute Martin.
Des influenceuses X, suivies par des centaines de milliers de personnes, ont utilisé des contenus générés par intelligence artificielle avec Grok comme outil de harcèlement et de propagande contre les femmes musulmanes. Un compte vérifié de la « manosphère » suivi par plus de 180 000 personnes a commenté une photo de trois femmes portant le hijab et l'abaya, des vêtements religieux islamiques traditionnels. Son auteur a écrit : « @grok, enlève les hijabs et habille-les de tenues révélatrices pour la fête du Nouvel An. » Le compte Grok a répondu par une photo des trois femmes, cette fois-ci pieds nus, les cheveux bruns ondulés et vêtues de robes à paillettes partiellement transparentes. Cette image a été vue plus de 700 000 fois et enregistrée plus d'une centaine de fois, selon les statistiques de visibilité sur X.
« Mdr, contentez-vous de rager, @grok donne une image normale des femmes musulmanes », a écrit l'auteur du compte, accompagnant son commentaire d'une capture d'écran de l'image qu'il avait publiée dans une autre discussion. Il publiait aussi fréquemment des messages concernant des violences faites aux femmes par des hommes musulmans, parfois accompagnés de contenus générés par l'IA de Grok illustrant ces actes. « Mdr, des femmes musulmanes se font battre à cause de cette fonctionnalité », a-t-il écrit à propos de ses créations Grok. L'utilisateur n'a pas immédiatement répondu à notre demande de commentaires.
Des créatrices de contenu influentes portant le hijab et publiant des photos sur X ont également été prises pour cible dans leurs réponses. Des utilisateurs ont incité Grok à retirer leur voile, à les montrer avec les cheveux visibles et à les habiller de différentes tenues. Dans une déclaration transmise à WIRED, le Conseil des relations américano-islamiques (CAIR), la plus importante organisation de défense des droits civiques des musulmans aux États-Unis, a établi un lien entre cette tendance et l'hostilité envers « l'islam, les musulmans et les causes politiques largement soutenues par les musulmans, telles que la libération de la Palestine ». Le CAIR a également appelé Elon Musk, PDG de xAI, propriétaire de X et de Grok, à mettre fin à « l'utilisation continue de l'application Grok pour harceler, "dévoiler" et créer des images à caractère sexuel de femmes, notamment de femmes musulmanes influentes ».
Les deepfakes, en tant que forme d'abus sexuel basé sur l'image, ont suscité une attention accrue ces dernières années, notamment sur X, car des exemples de contenu sexuellement explicite et de médias suggestifs ciblant des célébrités sont devenus viraux à plusieurs reprises. Avec l'introduction des fonctionnalités de retouche photo automatisée par IA via Grok, permettant aux utilisateurs de simplement mentionner le chatbot en réponse à des publications contenant des images de femmes et de filles, cette forme d'abus a explosé. Selon les données compilées par la chercheuse en médias sociaux Genevieve Oh et partagées avec WIRED, Grok génère plus de 1 500 images préjudiciables par heure, notamment des photos de femmes dénudées, sexualisées et incluant de la nudité.
Vendredi, X a commencé à limiter la possibilité de demander des images à Grok en réponse à des publications publiques pour les utilisateurs ne disposant pas d'un abonnement payant à la plateforme. Deux jours auparavant, Grok générait plus de 7 700 images à caractère sexuel par heure, selon les données de Oh. Cependant, il est toujours possible pour les utilisateurs de créer des images de « bikini » et du contenu beaucoup plus explicite en utilisant la fonction de chatbot privé Grok sur X ou l'application Grok autonome, toujours disponible sur l'App Store malgré son règlement interdisant aux applications qui génèrent et hébergent ce type de contenu. Contenu sexuellement explicite, réel ou généré par IA. Selon les données d'Oh, X génère désormais 20 fois plus de deepfakes à caractère sexuel que les cinq principaux sites web dédiés à ce type de contenu réunis. Apple n'a pas immédiatement répondu à notre demande de commentaires.
X n'a pas immédiatement répondu à notre demande de commentaires concernant l'utilisation de Grok pour générer des images abusives et sexualisées de femmes musulmanes. xAI a renvoyé une réponse automatique : « Mensonges des médias traditionnels ». Le 3 janvier, X a publié une déclaration : « Nous prenons des mesures contre les contenus illégaux sur X, notamment les contenus pédopornographiques, en les supprimant, en suspendant définitivement les comptes et en collaborant avec les autorités locales et les forces de l'ordre si nécessaire. Toute personne utilisant Grok ou incitant cette personne à créer du contenu illégal subira les mêmes conséquences que si elle téléchargeait elle-même du contenu illégal. »
Bien que certains comptes partageant des contenus sexualisés générés par Grok aient été suspendus, de nombreuses publications relatives aux vêtements religieux restent visibles sur la plateforme plusieurs jours après leur diffusion.
De son côté, Musk republie presque quotidiennement des vidéos générées par l'IA de Grok, mettant en scène de jeunes femmes sensuelles, souvent dans des animations de style science-fiction et fantasy. À peu près au même moment où les réactions d'indignation et d'horreur suscitées par les montages de Grok ont commencé, Musk a fait l'éloge de Grok à plusieurs reprises, plaisanté à son sujet et l'a même incité à générer une image de lui-même en bikini.
Contrairement aux images générées par l'IA sexualisant les femmes sans leur consentement, X a également publié des contenus qui tentent de contrôler les femmes en les couvrant davantage de vêtements. Un compte nommé « DignifAI » a rassemblé plus de 50 000 abonnés en 2024 en retouchant des photos à l'aide d'outils d'intelligence artificielle : ajout de vêtements, suppression de tatouages, et même modification du maquillage et de la coiffure pour adopter des styles plus conventionnels. À l'époque, des influenceurs conservateurs ont promu cette tendance comme un moyen de rejeter les idées progressistes concernant le genre et l'apparence.
Si des exemples retentissants de deepfakes ciblant des femmes blanches ont déjà suscité des réactions législatives (comme lorsque des utilisateurs de X ont partagé des images virales générées par IA montrant Taylor Swift semi-nue sur un terrain de football), les deepfakes ciblant les femmes de couleur et certains groupes religieux et ethniques ont globalement reçu moins d'attention et d'études, selon les experts du domaine. De plus, des lois américaines existantes, telles que le « Take It Down Act » (entrant en vigueur en mai et obligeant les plateformes à supprimer les images à caractère sexuel non consensuelles dans les deux jours suivant la réception d'une demande), n'ont pas encore contraint X à mettre en place une procédure permettant aux victimes de demander le retrait de ces images. (Le sénateur américain Ted Cruz, co-auteur de la loi, a déclaré sur X qu'il était « encouragé par l'annonce de X selon laquelle ils prennent ces violations au sérieux ».) Les exemples de Grok ajoutant ou supprimant des hijabs ou d'autres vêtements ne franchissent pas toujours la limite de l'explicite sexuel, ce qui réduit d'autant plus les chances que leurs créateurs et X soient sanctionnés pour la diffusion de ces images.
« Il semble que l'on joue délibérément avec les limites », explique Mary Anne Franks, professeure de droit des droits civiques à l'Université George Washington et présidente de la Cyber Civil Rights Initiative, une organisation à but non lucratif qui lutte contre les abus et la discrimination en ligne. « Cela peut être très sexualisé, mais ce n'est pas forcément le cas. C'est même bien pire à certains égards, car c'est subtil. »
Franks affirme que la dernière utilisation de Grok comme arme implique des formes de contrôle de l'image des femmes qui, bien qu'échappant à la définition pénale des abus sexuels sur les images, représentent une avancée technologique bien plus inquiétante, répondant à une volonté de contrôler les femmes.
« Ce qui m'a toujours préoccupée, c'est ce scénario cauchemardesque où les hommes peuvent manipuler en temps réel l'apparence, les paroles et les actions des femmes », explique Franks. « Ce que nous voyons sous nos yeux cache quelque chose de bien pire. »