Incidents associés
Dans une publicité Facebook, une femme au visage identique à celui de l'actrice Emma Watson sourit timidement et se penche devant la caméra, semblant initier un acte sexuel. Mais la femme n'est pas Watson, la star de "Harry Potter". L'annonce faisait partie d'une campagne massive cette semaine pour une application deepfake, qui permet aux utilisateurs d'échanger n'importe quel visage dans n'importe quelle vidéo de leur choix.
Les deepfakes sont des contenus où les visages ou les sons sont [désactivés ou manipulés] (https://www.nbcnews.com/tech/tech-news/little-tells-why-battle-against-deepfakes-2020-may-rely-verbal -n1102881). Généralement, les créateurs de deepfakes font des vidéos dans lesquelles les célébrités sont faites pour avoir l'air comme si elles étaient volontairement y apparaissant, même s'ils n'y sont pas. De plus en plus, la technologie a été utilisée pour faire de la pornographie non consensuelle mettant en vedette les visages de célébrités, influenceurs ou toute personne, y compris les enfants.
La campagne publicitaire sur Meta fait un clin d'œil au fait que cette technologie autrefois avancée s'est rapidement propagée aux applications grand public facilement disponibles annoncées sur les parties principales d'Internet. Malgré de nombreuses plates-formes interdisant le contenu deepfake manipulateur et malveillant, des applications comme celles examinées par NBC News ont pu passer entre les mailles du filet.
Dimanche et lundi, une application de création de vidéos "DeepFake FaceSwap" a déployé plus de 230 publicités sur les services de Meta, dont Facebook, Instagram et Messenger, selon un examen de la bibliothèque de publicités de Meta. Certaines des publicités montraient ce qui ressemblait au début de vidéos pornographiques avec le son bien connu de la piste porno Intro de Pornhub. Quelques secondes plus tard, les visages des femmes ont été échangés avec des actrices célèbres.
Lorsque Lauren Barton, étudiante en journalisme dans le Tennessee, a vu la même annonce sur une application distincte, elle a été suffisamment choquée pour l'enregistrer et la tweeter, où il a reçu plus de 10 millions de vues, selon le compteur de vues de Twitter.
"Cela pourrait être utilisé avec les lycéens des écoles publiques qui sont victimes d'intimidation", a déclaré Barton. «Cela pourrait ruiner la vie de quelqu'un, il pourrait avoir des ennuis au travail. Et c'est extrêmement facile à faire et gratuit. Tout ce que j'avais à faire était de télécharger une photo de mon visage et j'avais accès à 50 modèles gratuits.
Parmi les annonces Meta, 127 présentaient la ressemblance de Watson. Un autre 74 présentait le visage de l'actrice Scarlett Johansson échangé avec des femmes dans des vidéos tout aussi provocantes. Aucune des deux actrices n'a répondu à une demande de commentaire.
"Remplacez le visage par n'importe qui", lit-on dans les légendes de 80 des publicités. "Amusez-vous avec la technologie AI swap face."
Mardi, après que NBC News ait contacté Meta pour obtenir des commentaires, toutes les publicités de l'application ont été supprimées des services de Meta.
Bien qu'aucun acte sexuel n'ait été montré dans les vidéos, leur nature suggestive illustre comment l'application peut potentiellement être utilisée pour générer du faux contenu sexuel. L'application permet aux utilisateurs de télécharger des vidéos à manipuler et comprend également des dizaines de modèles de vidéos, dont beaucoup semblent provenir de TikTok et de plateformes de médias sociaux similaires.
Les catégories prédéfinies incluent "Fashion", "Bride", "For Men", "For Women" et "TikTok", tandis que la catégorie avec le plus d'options s'appelle "Hot". Il présente des vidéos de femmes et d'hommes légèrement vêtus qui dansent et posent. Après avoir sélectionné un modèle de vidéo ou téléchargé le leur, les utilisateurs peuvent entrer une seule photo du visage de n'importe qui et recevoir une version de la vidéo avec échange de visage en quelques secondes.
Les conditions d'utilisation de l'application, qui coûte 8 USD par semaine, indiquent qu'elle n'autorise pas les utilisateurs à se faire passer pour d'autres via leur services ou télécharger du contenu sexuellement explicite. Le développeur de l'application répertorié sur l'App Store s'appelle Ufoto Limited, propriété d'une société mère chinoise, Wondershare. Aucune des deux sociétés n'a répondu à une demande de commentaire.
Meta a interdit la plupart des contenus deepfake en 2020, et la société interdit [les contenus pour adultes](https://transparency .fb.com/policies/community-standards/sexual-solicitation/) dans les publicités, y compris nudité, des représentations de personnes dans des positions explicites ou suggestives, ou des activités sexuellement provocantes.
"Nos politiques interdisent le contenu pour adultes, qu'il soit généré par l'IA ou non, et nous avons interdit à cette page de faire de la publicité sur notre plate-forme", a déclaré un porte-parole de Meta dans un communiqué.
Les mêmes publicités ont également été repérées sur des applications gratuites de retouche photo et de jeu téléchargées sur l'App Store d'Apple, où l'application est apparue pour la première fois en 2022 et est toujours disponible en téléchargement gratuit pour les 9 ans et plus.
Un représentant d'Apple a déclaré que la société n'avait pas de règles spécifiques sur les deepfakes, mais qu'elle interdisait les applications contenant de la pornographie et du contenu diffamatoire. Apple a déclaré avoir supprimé l'application de l'App Store après avoir été contacté par NBC News.
L'application est également sur Google Play et est classée "Teen" pour les "thèmes suggestifs".
Apple et Google ont pris des mesures contre des applications d'échange de visage d'IA similaires, dont une qui a fait l'objet d'[une enquête de Reuters](https://www.Reuters.com/technology/deepfake-anyone-ai-synthetic-media-tech -enters-perilous-phase-2021-12-13/) en décembre 2021. Reuters a découvert que l'application annonçait la création de "deepfake porn" sur des sites Web pornographiques. À l'époque, Apple a déclaré qu'il n'avait pas de directives spécifiques concernant les applications deepfake, mais qu'il interdisait les contenus diffamatoires, discriminatoires ou susceptibles d'intimider, d'humilier ou de nuire à quiconque. Bien que les classements et les campagnes publicitaires de l'application aient été ajustés, l'application est toujours disponible en téléchargement gratuit sur l'App Store d'Apple et Google Play.
L'application NBC News examinée est l'une des dernières d'un boom de produits deepfake grand public librement accessibles.
Lors de la recherche de "deepfake" sur les magasins d'applications, des dizaines d'applications avec des capacités technologiques similaires apparaissent, y compris celles qui favorisent la création de contenu "chaud".
Des exemples courants de la technologie montrent des célébrités et des politiciens faisant et disant des choses qu'ils n'ont jamais réellement dites ou faites. Parfois, les effets sont comiques.
Cependant, la technologie deepfake a été massivement utilisée pour faire de la pornographie avec des stars non consentantes. Au fur et à mesure que la technologie s'est améliorée et s'est généralisée, le marché des images sexuelles non consensuelles a gonflé. Certains sites Web permettent aux utilisateurs de vendre de la pornographie deepfake non consensuelle derrière un mur payant.
Un rapport de 2019 de Deeptrace, une société basée à Amsterdam qui surveille les médias synthétiques en ligne, a révélé que 96 % du matériel deepfake en ligne est de nature pornographique.
En janvier, les streameuses Twitch se sont exprimées après qu'un streamer populaire se soit excusé pour consommer du porno deepfake de ses pairs.
Une recherche en direct menée par l'analyste indépendante Genevieve Oh a révélé que le meilleur site Web de consommation de porno deepfake a explosé dans le trafic suite aux excuses du streamer Twitch. Les recherches d'Oh ont également révélé que le nombre de vidéos pornographiques deepfake a presque doublé chaque année depuis 2018. Février a enregistré le plus grand nombre de vidéos porno deepfake téléchargées en un mois, a déclaré Oh.
Bien que le partage non consensuel de photos et de vidéos sexuellement explicites soit illégal dans la plupart des États, les lois relatives aux médias contrefaits sont [ en vigueur](https://cybercivilrights. org/deep-fake-laws/) uniquement en Californie, en Géorgie, à New York et en Virginie.