Incidents associés
En moins de 24 heures, l'article de Vice avait suscité un tel contrecoup que les créateurs de l'application [l'ont retiré] rapidement (https://www.vice.com/en/article/qv7agw/deepnude-app-that-undresses-photos -de-femmes-le-met-hors-ligne). Le compte Twitter DeepNude a annoncé qu'aucune autre version ne serait publiée et que personne d'autre n'aurait accès à la technologie.
Mais une nouvelle enquête de Sensity AI (anciennement Deeptrace Labs), une société de cybersécurité axée sur la détection de l'abus de médias manipulés, a maintenant trouvé une technologie très similaire utilisée par un public bot disponible sur l'application de messagerie Telegram. Cette fois, il a une interface utilisateur encore plus simple : n'importe qui peut envoyer une photo au bot via l'application mobile ou Web Telegram et recevoir un retour nu en quelques minutes. Le service est également entièrement gratuit, bien que les utilisateurs puissent payer une base de 100 roubles (environ 1,50 $) pour des avantages tels que la suppression du filigrane sur les photos "dépouillées" ou le saut de la file d'attente de traitement.
En juillet 2020, le bot avait déjà été utilisé pour cibler et "déshabiller" au moins 100 000 femmes, dont la majorité n'en avait probablement aucune idée. "Habituellement, ce sont des jeunes filles", explique Giorgio Patrini, PDG et scientifique en chef de Sensity, co-auteur du rapport. "Malheureusement, il est parfois aussi assez évident que certaines de ces personnes sont mineures."
La gamification du harcèlement
Le bot deepfake, lancé le 11 juillet 2019, est connecté à sept chaînes Telegram avec un total combiné de plus de 100 000 membres. (Ce nombre ne tient pas compte des adhésions en double sur les canaux, mais le groupe principal compte à lui seul plus de 45 000 membres uniques.)
Le canal central est dédié à l'hébergement du bot lui-même, tandis que les autres sont utilisés pour des fonctions telles que le support technique et le partage d'images. Les canaux de partage d'images incluent des interfaces que les gens peuvent utiliser pour publier et juger leurs créations nues. Plus une photo est appréciée, plus son créateur est récompensé par des jetons pour accéder aux fonctionnalités premium du bot. "Le créateur recevra une incitation comme s'il jouait à un jeu", déclare Patrini.
La communauté, qui est facilement détectable via la recherche et les médias sociaux, n'a cessé d'augmenter le nombre de ses membres au cours de la dernière année. Un sondage auprès de 7 200 utilisateurs a montré qu'environ 70 % d'entre eux venaient de Russie ou d'autres pays russophones. Les victimes, cependant, semblent provenir d'un plus large éventail de pays, dont l'Argentine, l'Italie, la Russie et les États-Unis. La majorité d’entre eux sont des particuliers que les utilisateurs du bot disent connaître dans la vraie vie ou qu’ils ont trouvés sur Instagram. Les chercheurs n'ont pu identifier qu'une petite poignée de femmes et ont essayé de les contacter pour comprendre leurs expériences. Aucune des femmes n'a répondu, dit Patrini.
Les chercheurs ont également contacté Telegram et les forces de l'ordre concernées, y compris le FBI. Telegram n'a répondu ni à leur note ni à la demande de commentaires de suivi de MIT Technology Review. Patrini dit qu'ils n'ont pas non plus vu "d'effet tangible sur ces communautés" depuis qu'ils ont contacté les autorités.
Deepfake vengeance porno
Les agresseurs utilisent des images pornographiques pour harceler les femmes depuis un certain temps. En 2019, une étude de l'American Psychological Association a révélé qu'une femme sur 12 finit par être victimes de revenge porn à un moment donné de leur vie. Une étude du gouvernement australien, portant sur l'Australie, le Royaume-Uni et la Nouvelle-Zélande, a trouvé ce ratio être aussi élevé qu'un sur trois. Deepfake revenge porn ajoute une toute nouvelle dimension au harcèlement, car les victimes ne réalisent pas que de telles images existent.
Il existe également de nombreux cas dans lesquels des deepfakes ont été utilisés pour cibler des célébrités et d'autres personnalités. La technologie est d'abord devenue populaire dans les recoins profonds d'Internet comme moyen d'échanger des visages avec des célébrités dans des vidéos porno, et elle a été utilisée dans le cadre de campagnes de harcèlement pour faire taire les [femmes journalistes](https://www.huffingtonpost.co. uk/entry/deepfake-porn_uk_5bf2c126e4b0f32bd58ba316?guccounter=1&guce_referrer=aHR0cHM6Ly93d3cuZ29vZ2xlLmNvbS8&guce_referrer_sig=AQAAAEjQfdjZtW3WU6WMiD5iKykYWt9E3jD0sojr9E3jQzN6sojr9 QxM8I07MUKvfnVMSt7WMxD5spu_1cruO9nOIIKZ1AyiUgO74Q_7vB9lgTYmb7QH1dMrrP3TMQewPLNzrWSNMvjUFTx15Vo6dd_nadQ5Q7Lw8nA5FK). Patrini dit qu'il a également parlé avec des influenceurs et des YouTubers, qui ont reçu des images pornographiques profondément truquées d'eux directement envoyées à leurs sponsors, ce qui leur a coûté une immense charge émotionnelle et financière.
Patrini soupçonne que ces attaques ciblées pourraient s'aggraver. Lui et ses collègues chercheurs ont déjà vu la technologie progresser et se répandre. Par exemple, ils ont découvert un autre écosystème de plus de 380 pages dédiées à la création et au partage de deepfakes explicites sur la plateforme de médias sociaux russe VK. (Après la publication de cet article, un porte-parole de VK a envoyé à MIT Technology Review une déclaration : "VK ne tolère pas de tels contenus ou liens sur la plate-forme et bloque les communautés qui les distribuent. Nous effectuerons une vérification supplémentaire et bloquerons les contenus inappropriés et communautés.") Les chercheurs ont également découvert que l'algorithme de "déshabillage" commençait à être appliqué à des vidéos, telles que des images de mannequins en bikini marchant sur une piste. À l'heure actuelle, l'algorithme doit être appliqué image par image - "c'est très rudimentaire pour le moment", déclare Patrini. "Mais je suis sûr que les gens le perfectionneront et mettront également en place un service de licence pour cela."
Malheureusement, il existe encore peu de moyens d'arrêter ce type d'activité, mais la prise de conscience des problèmes augmente. Des entreprises comme Facebook et Google, ainsi que des chercheurs qui produisent des outils de création de deepfakes, ont commencé à investir plus sérieusement dans des contre-mesures telles que la détection automatisée des deepfakes. L'année dernière, le Congrès américain a également présenté un nouveau projet de loi qui créerait un mécanisme permettant aux victimes d'exercer un recours juridique en cas d'atteinte à leur réputation.
En attendant, dit Patrini, Sensity continuera de suivre et de signaler ces types de deepfakes malveillants, et cherchera à mieux comprendre les motivations de ceux qui les créent et les impacts sur la vie des victimes. "En effet, les données que nous partageons dans ce rapport ne sont que la pointe de l'iceberg", dit-il.
Mise à jour : une déclaration officielle de la plateforme de médias sociaux russe VK a été ajoutée à l'article.