Incidents associés
La pornographie générée par l'intelligence artificielle mettant en vedette les visages de femmes non consentantes est de plus en plus répandue en ligne, et le problème se répand dans le monde des influenceurs et des streamers populaires.
En janvier, la diffusion en direct britannique "Sweet Anita", qui compte 1,9 million d'abonnés sur Twitch, où elle publie des vidéos de ses jeux et interagit avec ses abonnés, a été informée qu'un trésor de fausses vidéos sexuellement explicites mettant en vedette les visages de streamers Twitch circulait en ligne. .
Sa première pensée a été : "Attendez, je suis là-dessus ?"
Elle a rapidement cherché son nom sur Google à côté du terme "deepfake", un mot utilisé pour décrire une vidéo ou une image très réaliste mais fausse, manipulée numériquement, et une technique qui est de plus en plus utilisée - généralement sans consentement - à des fins pornographiques. La recherche initiale d'Anita a fait apparaître plusieurs vidéos montrant son visage monté sur le corps d'une autre personne.
"Cela dure évidemment depuis un bon moment à mon insu, je n'en avais aucune idée – cela aurait pu faire des années pour tout ce que je sais", a déclaré Anita, 32 ans, qui ne voulait pas partager son nom complet avec NBC News hors de préoccupations pour sa sécurité et sa vie privée hors ligne.
Hany Farid, professeur d'informatique à l'Université de Californie à Berkeley, a déclaré que les deepfakes sont un phénomène qui "empire absolument" car il est devenu plus facile de produire des vidéos sophistiquées et réalistes via des applications et des sites Web automatisés.
Le nombre de vidéos pornographiques deepfake disponibles en ligne a connu une forte augmentation, doublant presque chaque année depuis 2018, selon une étude menée par Genevieve Oh, analyste en direct. En 2018, seulement 1 897 vidéos avaient été téléchargées sur un site de streaming deepfake bien connu, mais en 2022, ce nombre est passé à plus de 13 000 avec plus de 16 millions de vues mensuelles.
Auparavant, les célébrités étaient principalement la cible de deepfakes.
"Maintenant, tout à coup, les personnes vulnérables sont des personnes qui ont une très petite empreinte en ligne", a déclaré Farid. "La technologie devient si performante qu'elle peut générer des images à partir de statistiques d'entraînement relativement petites, et non de ces heures et heures de vidéo dont nous avions besoin auparavant."
Toute personne intéressée par la création de deepfakes peut accéder rapidement à une pléthore d'applications d'échange de visage gratuites et payantes disponibles dans les magasins Google Play et Apple App, ce qui permet à quiconque de télécharger facilement une photo et de la modifier sur une photo ou une vidéo en quelques secondes.
Certaines plateformes majeures comme Reddit, [Facebook](https://about.fb.com/news/2020/01/enforcing-against-manipulated -mediadeepfake), TikTok et [Twitter](https://help.twitter.com /en/rules-and-policies/manipulated-media) ont tenté de lutter contre la propagation de la pornographie deepfake en modifiant leurs politiques. Alors que chacune des plateformes interdit spécifiquement le matériel, certaines ont eu du mal à le modérer. Une recherche sur Twitter, par exemple, a trouvé des vidéos pornographiques deepfake prétendant présenter des stars de Twitch, ainsi que des hashtags faisant la promotion des deepfakes.
En janvier, la prolifération de la pornographie deepfake a fait des vagues en ligne, lorsqu'un streamer Twitch populaire avec plus de 300 000 abonnés a admis avoir payé pour du matériel explicite contenant des versions générées par l'IA de ses pairs.
Le 30 janvier, dans une [vidéo d'excuses] (http:// https://www.twitch.tv/videos/1723055801) en larmes qui a été repartagée sur Twitter et a obtenu des millions de vues, Brandon Ewing - qui utilise le nom d'écran " Atrioc" sur Twitch - a déclaré avoir cliqué sur une publicité pour de la pornographie deepfake alors qu'il naviguait sur un site Web pornographique populaire. Il a dit qu'il s'était ensuite abonné et avait payé pour du contenu sur un autre site Web qui montrait d'autres streamers féminins après être devenu "curieusement morbide".
Dans une [déclaration plus longue publiée sur Twitter] (https://twitter.com/atrioc/status/1620666941982621696?s=46&t=VWRFK9YfYbFZ4HrU8enG9g) le 1er février, Ewing s'est directement adressé aux diffuseurs en direct de Twitch Maya Higa et Pokimane, dont la ressemblance est brièvement apparue dans un onglet pour un site Web qui héberge de la pornographie deepfake pendant l'un de ses livestreams.
"Vos noms y ont été traînés et vous avez été sexualisé contre votre volonté", a-t-il déclaré. "Je suis désolé que mes actions aient conduit à une plus grande exploitation de vous et de votre corps, et je suis désolé que votre expérience ne soit pas rare."
Ewing n'a pas répondu à la demande de commentaire.
Pokimane n'a pas non plus répondu à la demande de commentaire, mais dans un tweet du 31 janvier, elle a écrit : "Arrêtez de sexualiser les gens sans leur consentement. . c'est ça, c'est le tweet."
Higa a déclaré qu'elle n'avait pas d'autres commentaires à faire au-delà de sa [déclaration Twitter] (https://twitter.com/mayahiga/status/1620586546083803136?s=46&t=VWRFK9YfYbFZ4HrU8enG9g) le 31 janvier, dans laquelle elle a écrit, en partie, le "La situation me fait me sentir dégoûtant, vulnérable, nauséeux et violé - et tous ces sentiments me sont bien trop familiers."
L'incident a mis en évidence la prévalence croissante de la pornographie non consensuelle générée par l'IA et les problèmes éthiques qu'elle crée.
Il y a eu une "augmentation" des sites Web qui "volontaires, désireux et monétisent l'hébergement de ce matériel", a déclaré Farid.
QTCinderella, une autre streameuse Twitch qui a découvert qu'elle avait été présentée sur le site Web deepfake, a déclaré qu'elle trouvait cela particulièrement blessant parce qu'Ewing est un ami proche.
"Je pense que c'est ce qui était le plus malheureux : je n'ai rien su d'Atrioc. J'ai découvert sur Internet qu'il en parlait », a déclaré QTCinderella, 28 ans, qui n'a pas non plus partagé son nom complet avec NBC News afin de protéger sa vie privée et sa sécurité hors ligne.
Elle a dit qu'elle avait rapidement retrouvé le contenu vidéo sur un compte sur un site Web par abonnement et émis un avis de retrait, mais les vidéos continuaient de se répandre comme une « feu de forêt ».
Aux États-Unis, alors que la majorité des États ont des lois qui interdisent le revenge porn, seuls [New York, Virginie, Géorgie et Californie](https:/ /cybercivilrights.org/deep-fake-laws/) ont des lois qui traitent spécifiquement des médias contrefaits, selon la Cyber Civil Rights Initiative. Pendant ce temps, le Royaume-Uni a annoncé en novembre l'année dernière que il prévoyait de criminaliser les médias deepfake explicites et non consensuels.
QTCinderella a déclaré que le cadre juridique actuel est « décourageant ».
«Tous les avocats à qui j'ai parlé sont essentiellement arrivés à la conclusion que nous n'avons pas d'affaire; il n'y a aucun moyen de poursuivre le gars.
Alors que beaucoup de pornographie deepfake peuvent sembler amateurs et de mauvaise qualité, Farid a déclaré qu'il voyait maintenant également des comptes proposant de créer des deepfakes personnalisés sophistiqués de n'importe quelle femme pour une somme modique.
Après avoir vu les vidéos deepfake d'elle vendues en ligne, Anita a déclaré qu'elle se sentait engourdie, fatiguée et dissociée.
"Je suis vendue contre mon gré", a-t-elle déclaré. "Je n'ai pas consenti à être sexualisé."
QTCinderella a déclaré elle a souffert de « dysmorphie corporelle ».
"Quand vous voyez le corps d'une star du porno si parfaitement greffé là où le vôtre devrait être, c'est le jeu de comparaison le plus évident que vous puissiez avoir dans votre vie", a-t-elle déclaré. "J'ai pleuré et j'étais comme" mon corps ne sera jamais comme ça "."
Sophie Compton, qui milite contre l'abus d'image intime avec l'organisation My Image, My Choice a déclaré que les femmes ciblées sont « honteuses ou réduites au silence » et estiment que leur expérience est minimisée car il y a peu de options disponibles pour les personnes touchées par les deepfakes.
"Nous devons trouver un moyen de rendre ces sites et leur modèle commercial impossibles", a déclaré Compton.
Les plates-formes spécifiques qui hébergent des images sexuelles non consensuelles doivent être tenues pour responsables, plutôt que les comptes et les créateurs individuels, a déclaré Farid. "Si vous voulez vraiment vous attaquer à ce problème, allez en amont", a-t-il déclaré. "C'est là que se trouve tout le pouvoir."
Anita a dit qu'elle voulait qu'il y ait "des conséquences très visibles".
Ce qui la perturbe le plus à l'avenir, c'est qu'il est impossible de savoir qui a acheté les fausses vidéos.
"Quand je vais à une rencontre, je pourrais finir par serrer dans mes bras et signer quelque chose pour quelqu'un qui m'a regardée être falsifiée... et je n'aurais aucun moyen de savoir qu'ils consomment ça", a-t-elle déclaré. "Qu'ils achètent mon corps contre ma volonté est vraiment, vraiment horrible."