Problème 4086

En 2020, alors que les autorités sud-coréennes traquaient un réseau de chantage qui forçait des jeunes femmes à réaliser des vidéos sexuellement explicites pour des spectateurs payants, elles ont découvert autre chose dans les recoins obscurs des réseaux sociaux : des images pornographiques sur lesquelles sont grossièrement collés les visages d'autres personnes.

Elles ne savaient pas quoi faire de ces premières tentatives de pornographie deepfake. Finalement, l'Assemblée nationale a adopté une loi formulée en termes vagues contre ceux qui la produisaient et la distribuaient. Mais cela n'a pas empêché une vague de criminalité, utilisant l'IA. La technologie a poussé la culture misogyne en ligne du pays à de nouveaux sommets.

Au cours des deux dernières semaines, les Sud-Coréens ont été choqués de découvrir qu'un nombre croissant de jeunes hommes et d'adolescents avaient pris des centaines d'images sur les réseaux sociaux de camarades de classe, d'enseignants et de collègues militaires --- presque tous des jeunes femmes et des filles, y compris des mineures --- et les avaient utilisées pour créer des images et des clips vidéo à caractère sexuel avec des applications deepfake.

Ils ont diffusé le matériel via des salles de discussion sur le service de messagerie cryptée Telegram, dont certaines comptent jusqu'à 220 000 membres. Les deepfakes combinent généralement le visage d'une victime avec un corps dans une pose sexuellement explicite, tirée d'un film pornographique. La technologie est si sophistiquée qu'il est souvent difficile pour les gens ordinaires de dire qu'il s'agit de faux, affirment les enquêteurs. Alors que le pays s'efforce de faire face à cette menace, les experts ont noté qu'en Corée du Sud, l'enthousiasme pour les nouvelles technologies peut parfois dépasser les inquiétudes quant à leurs implications éthiques.

Mais pour de nombreuses femmes, ces deepfakes ne sont que la dernière expression en ligne d'une misogynie profondément enracinée dans leur pays - une culture qui a maintenant produit des jeunes hommes qui trouvent amusant de partager des images sexuellement humiliantes de femmes en ligne.

"La société coréenne ne traite pas les femmes comme des êtres humains", a déclaré Lee Yu-jin, une étudiante dont l'université fait partie des centaines de collèges, lycées et universités où des étudiants ont été victimes de ces pratiques. Elle a demandé pourquoi le gouvernement n'avait pas fait plus "avant que le vol de photos d'amis et leur utilisation à des fins d'humiliation sexuelle ne devienne une culture numérique".

La violence sexuelle en ligne est un problème croissant à l'échelle mondiale, mais la Corée du Sud est à la pointe. La question de savoir si elle pourra s'attaquer avec succès au problème des deepfakes et comment elle le fera sera surveillée par les décideurs politiques, les responsables scolaires et les forces de l'ordre d'ailleurs.

Le pays a un côté criminel sexuel qui a parfois fait surface. Un Sud-Coréen a été condamné pour avoir géré l'un des plus grands sites au monde d'images d'abus sexuels sur mineurs. Un artiste de K-pop a été reconnu coupable d'avoir facilité la prostitution par l'intermédiaire d'une boîte de nuit. ​Depuis des années, la police lutte contre la pornographie par caméra espionne. Et le cerveau du réseau de chantage enquêté en 2020 a été condamné à 40 ans de prison pour avoir attiré des jeunes femmes, dont des adolescentes, afin de réaliser les vidéos qu'il vendait en ligne via les salles de discussion Telegram.

​L'essor de la technologie deepfake facile à utiliser a ajouté une dimension insidieuse à ces formes de violence sexuelle : les victimes ignorent souvent qu'elles sont victimes jusqu'à ce qu'elles reçoivent un message anonyme ou un appel de la police.

« Esclave », « Toilette », « Chiffon »

Pour une victime deepfake de 30 ans, dont le nom n'est pas divulgué pour protéger sa vie privée, l'attaque a commencé en 2021 avec un message anonyme sur Telegram qui disait : « Salut ! »

Au cours des heures qui ont suivi, elle a vu défiler un flot d'obscénités et de fausses images et vidéos montrant son visage, prises à partir de photos de voyage en famille qu'elle avait postées sur les réseaux sociaux. Sur le corps, on pouvait lire des mots comme « esclave », « toilettes » et « chiffon ».

En avril, elle a appris par la police que deux de ses anciens camarades de classe de l'Université nationale de Séoul figuraient parmi les personnes arrêtées. Des diplômés masculins de la prestigieuse université, ainsi que des complices, avaient ciblé des dizaines de femmes, dont une douzaine d'anciennes étudiantes de l'Université nationale de Séoul, avec de la pornographie truquée. L'un des hommes arrêtés a été condamné à cinq ans de prison le mois dernier.

« Je ne vois aucune raison pour laquelle ils m'ont traitée de cette façon, si ce n'est que j'étais une femme », a-t-elle déclaré. « Le fait qu'il y ait des gens comme eux autour de moi m'a fait perdre confiance en mes semblables. »

Elle dit avoir souffert d'un traumatisme depuis l'attaque. Son cœur s'emballe chaque fois qu'elle reçoit une notification de message sur son smartphone ou un appel anonyme.

La Corée du Sud, dont la culture pop s'exporte dans le monde entier, est devenue le pays le plus vulnérable à la pornographie deepfake. Plus de la moitié des deepfakes dans le monde ciblent les Sud-Coréens, et la majorité de ces deepfakes victimisent des chanteuses et des actrices du pays, selon "2023 State of Deepfakes" une étude publiée par la société de cybersécurité basée aux États-Unis Security Hero. Les principales agences de K-pop ont déclaré la guerre aux deepfakes, affirmant qu'elles recueillaient des preuves et menaçaient de poursuites judiciaires leurs créateurs et distributeurs.

Pourtant, le problème s'intensifie. La police sud-coréenne a signalé 297 cas de crimes sexuels deepfakes entre janvier et juillet, contre 156 pour toute l'année 2021, lorsque ces données ont été collectées pour la première fois.

Ce n’est que le mois dernier, lorsque les médias locaux ont révélé le trafic important de deepfakes sur Telegram, que le président Yoon Suk Yeol a ordonné à son gouvernement de « les éradiquer ». Les critiques de M. Yoon ont noté que lors de sa campagne présidentielle de 2022, il avait nié l’existence d’une discrimination structurelle fondée sur le sexe en Corée du Sud et avait promis de supprimer son ministère de l’égalité des sexes.

La couverture médiatique de l’augmentation des deepfakes cette année a provoqué la panique chez les jeunes femmes, dont beaucoup ont supprimé des selfies et d’autres images personnelles de leurs comptes sur les réseaux sociaux, craignant qu’ils ne soient utilisés pour des deepfakes. Chung Jin-kwon, qui était directeur d’école secondaire avant d’occuper un poste au Bureau métropolitain de l’éducation de Séoul le mois dernier, a déclaré que son ancienne école avait discuté de la possibilité d’omettre les photos des élèves des annuaires.

« Certains enseignants avaient déjà refusé que leurs photos y figurent, les remplaçant par des caricatures », a déclaré M. Chung.

En Corée du Sud, l'un des pays les plus connectés au monde, les jeunes deviennent férus de technologie dès leur plus jeune âge. Mais les critiques affirment que son système scolaire est tellement concentré sur la préparation des jeunes aux examens d'entrée à l'université, si importants, qu'on ne leur apprend pas à utiliser les nouvelles technologies de manière éthique.

"Nous produisons des machines à résoudre les problèmes d'examen", a déclaré M. Chung. "Elles n'apprennent pas les valeurs".

Une pression pour des lois plus strictes

Kim Ji-hyun, un fonctionnaire de la ville de Séoul dont l'équipe a conseillé 200 adolescents impliqués dans l'exploitation sexuelle numérique depuis 2019, a déclaré que certains garçons avaient utilisé des deepfakes pour se venger de leurs ex-petites amies --- et que dans certains cas, les filles les avaient utilisés pour ostraciser leurs camarades de classe. Mais de nombreux jeunes ont d'abord été attirés par les deepfakes par curiosité, a déclaré Mme Kim.

Les opérateurs de salles de discussion les ont attirés avec des incitations, notamment des coupons Starbucks, et leur ont demandé de fournir des photos et des données personnelles de femmes qu'ils connaissaient. Certaines chaînes Telegram, appelées « salles de viol et d'humiliation », ciblaient des individus ou des femmes de certaines écoles, a déclaré Park Seong-hye, chef d'équipe à l'Institut coréen des droits des femmes, financé par le gouvernement, qui a enquêté sur les crimes sexuels numériques et fourni de l'aide aux victimes.

En vertu de la loi promulguée en 2020, les personnes reconnues coupables d'avoir créé des deepfakes sexuellement explicites ou abusifs dans l'intention de les distribuer peuvent être envoyées en prison jusqu'à cinq ans. Ceux qui cherchent à tirer un profit financier de la distribution de tels contenus peuvent encourir jusqu'à sept ans. Mais il n'existe aucune loi interdisant l'achat, le stockage ou le visionnage de deepfakes.

Les enquêteurs doivent obtenir l'approbation du tribunal pour accéder aux salles de discussion deepfakes sous couverture, et ils ne peuvent le faire que pour enquêter sur des signalements d'abus sexuels sur des mineurs. Le processus peut également être lent.

« Vous trouvez une salle de discussion un jour férié, ​mais le temps d'obtenir l'approbation du tribunal, elle a disparu », a déclaré Hahm Young-ok, enquêteur principal sur les crimes en ligne à l'Agence nationale de police.

Le gouvernement a promis de faire pression pour que des lois plus strictes soient adoptées contre l'achat ou la visualisation de deepfakes à caractère sexuel. ​Ce mois-ci, la police enquêtant sur la dernière vague de deepfakes a déclaré avoir arrêté sept suspects masculins](https://www.nytimes.com/2024/09/03/world/asia/south-korean-teens-deepfake-sex-images.html), dont six adolescents.

La pornographie est censurée sur Internet en Corée du Sud, mais les gens peuvent contourner les contrôles en utilisant des réseaux privés virtuels, et l'interdiction est difficile à appliquer sur les réseaux sociaux. La police a indiqué qu'elle pourrait enquêter pour savoir si Telegram avait encouragé des crimes sexuels deepfake. Le mois dernier, le fondateur de Telegram, Pavel Durov, a été arrêté en France et accusé de plusieurs délits, notamment d'avoir permis la diffusion de matériel pédopornographique.

Telegram a déclaré dans un communiqué qu'elle "a activement supprimé les contenus signalés en Corée qui enfreignaient ses conditions de service et continuera de le faire".

Pendant ce temps, le gouvernement subit des pressions pour forcer les plateformes en ligne à faire davantage pour filtrer les contenus comme la pornographie deepfake.

"Il est temps de choisir entre protéger les plateformes et protéger nos enfants et nos adolescents", a déclaré Lee Soo-jung, professeur de psychologie médico-légale à l'université de Kyonggi. « Ce que nous voyons se produire maintenant en 2024 a été prédit en 2020, mais nous n’avons rien fait entre-temps. »