Incidents associés
QTCinderella s'est forgé un nom en jouant, en cuisinant et en discutant de sa vie sur la plate-forme de streaming vidéo Twitch, attirant des centaines de milliers de téléspectateurs à la fois. Elle a lancé "The Streamer Awards" pour honorer d'autres créateurs de contenu de haute performance et est récemment apparue dans une place d'invité convoitée dans une série de champions d'esports.
Les photos nues ne font pas partie du contenu qu'elle partage, dit-elle. Mais quelqu'un sur Internet en a créé, en utilisant la ressemblance de QTCinderella dans le porno généré par ordinateur. Ce mois-ci, l'éminent streamer Brandon Ewing a admis avoir visionné ces images sur un site Web contenant des milliers d'autres deepfakes, attirant l'attention sur une menace croissante à l'ère de l'IA : la technologie crée un nouvel outil pour cibler les femmes.
"Pour chaque personne qui dit que ce n'est pas grave, vous ne savez pas ce que cela fait de voir une photo de vous-même faisant des choses que vous n'avez jamais faites envoyée à votre famille", a déclaré QTCinderella dans une vidéo diffusée en direct.
Les streamers ne révèlent généralement pas leurs vrais noms et se fient à leurs noms. QTCinderella n'a pas répondu à une demande de commentaire distincte. Elle a noté dans son flux en direct que la résolution de l'incident avait été "épuisante" et ne devrait pas faire partie de son travail.
Jusqu'à récemment, faire de la pornographie IA réaliste nécessitait une expertise informatique. Désormais, grâce en partie à de nouveaux outils d'IA faciles à utiliser, toute personne ayant accès aux images du visage d'une victime peut créer un contenu explicite réaliste avec un corps généré par l'IA. Les incidents de harcèlement et d'extorsion sont susceptibles d'augmenter, selon les experts en matière d'abus, car les mauvais acteurs utilisent des modèles d'IA pour humilier des cibles allant des célébrités aux ex-petites amies – même les enfants.
Les femmes ont peu de moyens de se protéger, disent-elles, et les victimes ont peu de recours.
En 2019, 96 % des deepfakes sur Internet étaient de la pornographie, selon une analyse de la société d'intelligence artificielle DeepTrace Technologies, et pratiquement tous les deepfakes pornographiques représentaient des femmes. La présence de deepfakes a explosé depuis lors, tandis que la réponse des forces de l'ordre et des éducateurs est à la traîne, a déclaré la professeure de droit et experte en abus en ligne Danielle Citron. Seuls trois États américains ont des lois sur la pornographie deepfake.
"Cela a été un problème omniprésent", a déclaré Citron. "Nous avons néanmoins publié de nouveaux et différents outils [IA] sans aucune reconnaissance des pratiques sociales et de la manière dont elles seront utilisées."
Le laboratoire de recherche OpenAI a fait des vagues en 2022 en ouvrant son modèle phare de génération d'images, Dall-E, au public, [suscitant de la joie et des inquiétudes](https://www.washingtonpost.com/technology/interactive/2022/artificial- intelligence-images-dall-e/?itid=lk_inline_manual_15) sur la désinformation, les droits d'auteur et les préjugés. Les concurrents Midjourney et Stable Diffusion suivaient de près, ce dernier mettant son code à la disposition de tous pour le téléchargement et la modification.
[ChatGPT pourrait vous faciliter la vie. Voici quand cela en vaut la peine.]
Les abuseurs n'avaient pas besoin d'un puissant apprentissage automatique pour créer des deepfakes : les applications "Face swap" disponibles dans les magasins d'applications Apple et Google facilitaient déjà leur création. Mais la dernière vague d'IA rend les deepfakes plus accessibles, et les modèles peuvent être hostiles aux femmes de manière inédite.
Étant donné que ces modèles apprennent ce qu'il faut faire en ingérant des milliards d'images provenant d'Internet, ils peuvent refléter des préjugés sociétaux, sexualisant des images de femmes par défaut, a déclaré Hany Farid, professeur à l'Université de Californie à Berkeley, spécialisé dans l'analyse d'images numériques. Au fur et à mesure que les images générées par l'IA s'améliorent, les utilisateurs de Twitter ont demandé si les images constituaient une menace financière pour le contenu pour adultes fait de manière consensuelle, comme le service OnlyFans où les artistes montrent volontairement leur corps ou accomplissent des actes sexuels.
Pendant ce temps, les entreprises d'IA continuent de suivre l'éthique de la Silicon Valley "avancer vite et casser les choses", choisissant de traiter les problèmes au fur et à mesure qu'ils surviennent.
"Les personnes qui développent ces technologies n'y pensent pas du point de vue d'une femme, qui a été victime de pornographie non consensuelle ou de harcèlement en ligne", a déclaré Farid. "Vous avez un tas de mecs blancs assis autour comme" Hé, regardez ça. ""
Le mal des deepfakes est amplifié par la réponse du public
Les personnes qui regardent des images explicites de vous sans votre consentement - que ces images soient réelles ou fausses - constituent une forme de violence sexuelle, a déclaré Kristen Zaleski, directrice de la santé mentale médico-légale à la Keck Human Rights Clinic de l'Université de Californie du Sud. Les victimes sont souvent confrontées au jugement et à la confusion de leurs employeurs et de leurs communautés, a-t-elle déclaré. Par exemple, Zaleski a déclaré qu'elle avait déjà travaillé avec une institutrice d'une petite ville qui a perdu son emploi après que les parents ont appris l'existence de pornographie IA réalisée à l'image de l'enseignante sans son consentement.
"Les parents de l'école ne comprenaient pas comment cela pouvait être possible", a déclaré Zaleski. "Ils ont insisté sur le fait qu'ils ne voulaient plus que leurs enfants soient enseignés par elle."
L'offre croissante de deepfakes est motivée par la demande : Suite aux excuses d'Ewing, un flot de trafic vers le site Web hébergeant les deepfakes a provoqué le plantage du site à plusieurs reprises, a déclaré la chercheuse indépendante Genevieve Oh. Le nombre de nouvelles vidéos sur le site a presque doublé de 2021 à 2022 avec la prolifération des outils d'imagerie par IA, a-t-elle déclaré. Les créateurs de Deepfake et les développeurs d'applications gagnent de l'argent grâce au contenu en facturant des abonnements ou en sollicitant des dons, Oh trouvé, et Reddit a hébergé à plusieurs reprises des fils de discussion dédiés à la recherche de nouveaux outils et référentiels deepfake.
Lorsqu'on lui a demandé pourquoi elle n'avait pas toujours supprimé rapidement ces fils, une porte-parole de Reddit a déclaré que la plate-forme s'efforçait d'améliorer son système de détection. "Reddit a été l'un des premiers sites à établir des politiques à l'échelle du site qui interdisent ce contenu, et nous continuons à faire évoluer nos politiques pour assurer la sécurité de la plate-forme", a-t-elle déclaré.
Les modèles d'apprentissage automatique peuvent également cracher des images illustrant la maltraitance ou le viol d'enfants et, comme personne n'a été blessé pendant la fabrication, un tel contenu ne violerait aucune loi, a déclaré Citron. Mais la disponibilité de ces images peut alimenter la victimisation dans la vie réelle, a déclaré Zaleski.
Certains modèles d'images génératives, dont Dall-E, présentent des limites qui rendent difficile la création d'images explicites. OpenAI minimise les images nues dans les données de formation de Dall-E, empêche les gens de saisir certaines demandes et analyse la sortie avant de la montrer à l'utilisateur, a déclaré Aditya Ramesh, chercheur principal de Dall-E, au Washington Post.
Un autre modèle, Midjourney, utilise une combinaison de mots bloqués et de modération humaine, a déclaré le fondateur David Holz. La société prévoit de déployer un filtrage plus avancé dans les semaines à venir qui tiendra mieux compte du contexte des mots, a-t-il déclaré.
Stability AI, fabricant du modèle Stable Diffusion, a cessé d'inclure la pornographie dans les données de formation pour ses versions les plus récentes, réduisant considérablement les préjugés et le contenu sexuel, a déclaré le fondateur et PDG Emad Mostaque.
Mais les utilisateurs ont rapidement trouvé des solutions de contournement en téléchargeant des versions modifiées du code accessible au public pour Stable Diffusion ou en trouvant des sites offrant des fonctionnalités similaires.
Aucun garde-corps ne sera efficace à 100% pour contrôler la sortie d'un modèle, a déclaré Farid de Berkeley. Les modèles d'IA dépeignent des femmes avec des poses et des expressions sexualisées en raison de préjugés omniprésents sur Internet, la source de leurs données d'entraînement, que les nus et autres images explicites aient été filtrés ou non.
Par exemple, l'[application Lensa,](https://www.washingtonpost.com/video/technology/the-real-costs-of-using-lensa-is-it-worth-it/2022/12/08/ 806dddc4-01b9-4693-ad13-7e7f5adc5c9e_video.html?itid=lk_inline_manual_42) qui s'est hissé en tête des classements d'applications en novembre, crée des autoportraits générés par l'IA. De nombreuses femmes ont déclaré que l'application sexualisait leurs images, leur donnant des seins plus gros ou les représentant torse nu.
Lauren Gutierrez, une femme de 29 ans de Los Angeles qui a essayé Lensa en décembre, a déclaré qu'elle l'avait alimenté avec des photos d'elle-même accessibles au public, telles que sa photo de profil LinkedIn. À son tour, Lensa a rendu plusieurs images nues.
Gutierrez a dit qu'elle s'était d'abord sentie surprise. Puis elle se sentit nerveuse.
"C'était presque effrayant", a-t-elle déclaré. "Comme si un gars devait prendre les photos d'une femme qu'il vient de trouver en ligne et les mettre dans cette application et était capable d'imaginer à quoi elle ressemble nue."
Pour la plupart des gens, retirer leur présence d'Internet pour éviter les risques d'abus d'IA n'est pas réaliste. Au lieu de cela, les experts vous exhortent à éviter de consommer du contenu sexuel non consensuel et à vous familiariser avec la manière dont il affecte la santé mentale, les carrières et les relations de ses victimes.
Ils recommandent également de parler à vos enfants du "consentement numérique". Les gens ont le droit de contrôler qui voit des images de leur corps – réelles ou non.