Incidents associés
Imaginez que votre visage ait été édité numériquement dans une vidéo pornographique sans votre consentement, puis partagé sur Internet. Une femme révèle l'horreur de ce qui lui est arrivé.
Un soir, en parcourant son fil Twitter, Kate Isaacs est tombée sur une vidéo dérangeante parmi ses notifications.
« J'ai été prise de panique », raconte Kate, parlant publiquement pour la première fois de ce qui s'est passé. « Quelqu'un avait pris mon visage, l'avait mis dans une vidéo pornographique et avait fait croire que c'était moi. »
Kate avait été truquée. Quelqu'un avait utilisé l'intelligence artificielle pour manipuler numériquement son visage sur celui de quelqu'un d'autre - dans ce cas-ci, une actrice porno.
La vidéo truquée sur Twitter - dans laquelle Kate, qui milite contre la pornographie non consensuelle, était taguée - avait été réalisée à partir d'images d'interviews télévisées qu'elle avait données pendant sa campagne. On la voyait en train de faire l'amour.
« Mon cœur s'est serré. Je n'arrivais pas à réfléchir clairement », raconte-t-elle. « Je me souviens avoir eu l'impression que cette vidéo allait se propager partout, c'était horrible. »
Auparavant, les célébrités et les politiciens de haut niveau étaient les cibles les plus courantes des deepfakes - les vidéos n'étaient pas toujours pornographiques, certaines étaient réalisées à des fins comiques. Mais au fil des ans, les choses ont changé - selon la société de cybersécurité Deeptrace, 96 % de tous les deepfakes sont des pornos non consensuels.
Comme le revenge porn, le deepfake pornographique est ce que l'on appelle un abus sexuel basé sur l'image - un terme générique qui englobe la prise, la réalisation et/ou le partage d'images intimes sans consentement.
En Écosse, le partage d'images ou de vidéos montrant une autre personne dans une situation intime sans son consentement est déjà un délit. Mais dans d'autres régions du Royaume-Uni, ce n'est un délit que s'il peut être prouvé que de telles actions étaient destinées à causer de la détresse à la victime - une lacune qui signifie que les créateurs de vidéos ne sont souvent pas confrontés à des conséquences juridiques.
Les projets du gouvernement pour un projet de loi sur la sécurité en ligne tant attendu à l'échelle du Royaume-Uni ont fait l'objet de révisions sans fin et ont été abandonnés à plusieurs reprises. Les nouvelles lois donneraient au régulateur, Ofcom, le pouvoir de prendre des mesures contre tout site Web considéré comme permettant de nuire aux utilisateurs britanniques, peu importe où ils se trouvent dans le monde. Plus tôt ce mois-ci, cependant, la secrétaire à la Culture Michelle Donelan a déclaré qu'elle et son équipe « travaillaient désormais d'arrache-pied » pour garantir que le projet de loi soit adopté.
Kate a donc supposé que celui qui était derrière le deepfake d'elle avait été agacé par sa campagne. Elle lui avait « retiré leur porno ».
Mais elle n'avait aucune idée de qui était cette personne, ni de qui avait pu voir la vidéo. Et même si elle pouvait voir que son visage avait été superposé sur des images d'un acteur porno, la vidéo était suffisamment convaincante pour qu'elle s'inquiète que d'autres ne remarquent pas la tromperie.
« C'était une violation - mon identité a été utilisée d'une manière à laquelle je n'avais pas consenti. »
Sous la vidéo, les internautes ont commencé à laisser des commentaires injurieux, disant qu'ils allaient suivre Kate chez elle, la violer, filmer l'agression et publier les images sur Internet.
« On commence à penser à sa famille », dit-elle, retenant ses larmes. « Comment se sentiraient-ils s'ils voyaient ce contenu ? »
La menace s'est intensifiée lorsque les adresses du domicile et du travail de Kate ont été publiées sous la vidéo - une pratique connue sous le nom de doxing.
« Je suis devenue complètement paranoïaque : "Qui connaît mon adresse ? Est-ce que c'est quelqu'un que je connais qui a fait ça ?"
« Je me suis dit : 'Je suis vraiment dans le pétrin, ce ne sont pas seulement des gens qui s'expriment sur Internet, il y a en fait un réel danger.' »
Grâce à son expérience de soutien à d'autres personnes dans des situations similaires, Kate savait exactement quoi faire si quelqu'un devenait une victime - mais à ce moment-là, elle s'est figée.
« Je n'ai suivi aucun de mes propres conseils », dit-elle. « Kate, la militante, était très forte et n'a montré aucune vulnérabilité - et puis il y avait moi, Kate, qui avais vraiment peur. »
Un collègue a signalé la vidéo, les commentaires vicieux et le doxing sur Twitter, et ils ont tous été retirés de la plateforme. Mais une fois qu'un deepfake a été publié et partagé en ligne, il est difficile de le retirer complètement de la circulation.
« Je voulais juste que cette vidéo soit retirée d'Internet », dit Kate, « mais je ne pouvais rien y faire. »
Il existe un marché pour les deepfakes sur les forums en ligne. Les gens postent des demandes de vidéos de leurs épouses, voisins et collègues et - aussi incompréhensible que cela puisse paraître - même leurs mères, leurs filles et leurs cousines.
Les créateurs de contenu répondent avec des instructions étape par étape - de quel matériel source ils auront besoin, des conseils sur les angles de tournage les plus efficaces et les prix du travail.
Un créateur de contenu deepfake basé dans le sud-est de l'Angleterre, Gorkem, a parlé à la BBC de manière anonyme. Il a commencé à créer des deepfakes de célébrités pour sa propre satisfaction - il dit qu'ils permettent aux gens de « réaliser leurs fantasmes d'une manière qui n'était vraiment pas possible auparavant ».
Plus tard, Gorkem est passé au deepfake des femmes qui l'attiraient, y compris des collègues de travail qu'il connaissait à peine.
Des images inoffensives sont transformées en porno hardcore et utilisées pour harceler les femmes. Jess Davies explore les conséquences émotionnelles et psychologiques du « deepfake » sur des victimes sans méfiance.
« L'une était mariée, l'autre en couple », dit-il. « Arriver au travail après avoir truqué ces femmes, c'était bizarre, mais j'ai juste contrôlé mes nerfs. Je peux faire comme si de rien n'était, personne ne se douterait de rien. »
Réalisant qu'il pouvait gagner de l'argent avec ce qu'il appelle son « hobby », Gorkem a commencé à accepter des commandes pour des truquages personnalisés. La collecte d'images à partir des profils des femmes sur les réseaux sociaux lui fournit de nombreuses sources de matériel. Il dit avoir même récemment truqué une femme en utilisant un enregistrement d'appel Zoom.
« Avec une bonne quantité de vidéo, en regardant directement la caméra, ce sont de bonnes données pour moi. Ensuite, l'algorithme peut simplement extrapoler à partir de cela et faire une bonne reconstruction du visage sur la vidéo de destination. »
Il admet que « certaines femmes » puissent être psychologiquement blessées par le truquage, mais semble indifférent à l'impact potentiel de la façon dont il les objective.
« Elles peuvent simplement dire : "Ce n'est pas moi, c'est un truquage". Ils devraient simplement le reconnaître et continuer leur journée.
"D'un point de vue moral, je ne pense pas que rien ne m'en empêcherait", dit-il. "Si je devais gagner de l'argent grâce à une commission, je le ferais, c'est une évidence".
La qualité des deepfakes peut varier énormément et dépend à la fois de l'expertise de la personne qui a réalisé la vidéo et de la sophistication de la technologie utilisée.
Mais l'homme derrière le plus grand site de deepfake pornographique admet qu'il n'est plus facile de savoir avec certitude si vous regardez des images manipulées ou non. Son site attire environ 13 millions de visiteurs par mois et héberge environ 20 000 vidéos à la fois. Il est basé aux États-Unis et parle rarement aux médias - mais il a accepté de parler à la BBC de manière anonyme.
Fausser des femmes "ordinaires" est une ligne rouge pour lui, dit-il, mais à son avis, héberger des vidéos pornographiques deepfake de célébrités, d'influenceurs des médias sociaux et de politiciens est une ligne rouge. justifiable.
« Ils sont habitués aux médias négatifs, leur contenu est disponible dans le grand public. Ils sont différents des citoyens normaux », dit-il.
« D'après moi, ils sont capables de gérer la situation différemment, ils peuvent simplement l'ignorer. Je ne pense pas vraiment que le consentement soit nécessaire, c'est un fantasme, ce n'est pas réel. »
Pense-t-il que ce qu'il fait est mal ? Une partie de lui est « dans le déni de l'impact sur les femmes », admet-il - et il révèle notamment que son épouse ne sait pas ce qu'il fait dans la vie.
« Je n'ai rien dit à ma femme. J'ai peur de l'impact que cela pourrait avoir sur elle."
Jusqu'à récemment, les logiciels de deepfake n'étaient pas facilement disponibles et la personne moyenne n'avait pas les compétences nécessaires pour les créer. Mais aujourd'hui, toute personne de plus de 12 ans peut télécharger légalement des dizaines d'applications et créer des deepfakes convaincants en quelques clics.
Pour Kate, c'est inquiétant et "vraiment effrayant".
"Ce n'est pas sur le dark web, c'est dans les magasins d'applications, juste sous nos yeux".
Elle craint également que le projet de loi sur la sécurité en ligne tant espéré ne suive pas le rythme de la technologie. Il y a trois ans, lorsque le projet de loi a été rédigé pour la première fois, la création de deepfakes était considérée comme une compétence professionnelle dans laquelle il fallait se former, et pas simplement télécharger une application.
"Des années se sont écoulées et le contenu du projet de loi est obsolète, il manque tellement de choses", dit-elle.
Mais pour le créateur Gorkem, la criminalisation du deepfake changerait les choses.
"Si je pouvais être tracée en ligne, je ne pourrais pas "Je m'arrêterais là et je trouverais probablement un autre passe-temps", dit-il.
Le fait d'avoir été truquée et doxée a eu un impact sur la santé de Kate et sur sa capacité à faire confiance aux autres. Elle pense que ceux qui sont derrière les attaques ne cherchaient pas seulement à l'intimider et à l'humilier, mais aussi à la faire taire. Pendant un temps, elle a pris du recul par rapport à sa campagne, se demandant si elle pouvait continuer à parler de misogynie.
Mais maintenant, elle est d'autant plus motivée. Elle a réalisé qu'elle s'en souciait trop pour s'en aller.
"Je ne les laisserai pas gagner."
Les deepfakes peuvent être utilisés pour contrôler les femmes, et les entreprises technologiques - y compris celles qui créent des applications permettant l'échange de visages - devraient être encouragées à mettre en place des mesures de protection, dit-elle.
"Toute application devrait être capable de détecter le contenu sexuel."
"Si les entreprises n'ont pas investi d'argent, de ressources et de temps pour s'assurer que leur application ne soit pas utilisée comme un lieu de création de contenu d'abus sexuel, elles sont délibérément irresponsables. Elles sont coupables."
Ni Gorkem, ni l'homme derrière le plus grand site de deepfake, ne semblent avoir été impliqués dans le deepfaking de Kate Isaacs.
- Recueillez des preuves - Cela peut sembler contre-intuitif, vous voulez que tout soit effacé, mais il est important de télécharger les vidéos et les captures d'écran, les dates, les horodatages, les noms d'utilisateur et les URL. Placez-les dans un dossier sécurisé et protégez-le par un mot de passe
- Signaler les comptes - Une fois que vous avez recueilli les preuves, signalez ce qui s'est passé à la plateforme sur laquelle elles sont apparues
- Contactez la police - Il est important de consigner ce qui s'est passé et de partager les preuves que vous avez recueillies. Appelez le numéro non urgent, le 101
- Demandez de l'aide et des conseils - La ligne d'assistance Revenge Porn est ouverte de 10h00 à 16h00 du lundi au vendredi (sauf jours fériés) au 0345 6000 459 ou à help@revengepornhelpline.org.uk
Source : Campagne #NotYourPorn