Incidents associés
Samedi dernier, un message Telegram est apparu sur le téléphone d'Heejin, provenant d'un expéditeur anonyme. "Vos photos et vos informations personnelles ont été divulguées. Discutons-en."
Lorsque l'étudiante est entrée dans la salle de discussion pour lire le message, elle a reçu une photo d'elle prise il y a quelques années alors qu'elle était encore à l'école. Elle a été suivie d'une deuxième image utilisant la même photo, sauf que celle-ci était sexuellement explicite et fausse.
Terrifiée, Heejin, qui n'est pas son vrai nom, n'a pas répondu, mais les images ont continué à arriver. Dans toutes ces images, son visage avait été attaché à un corps engagé dans un acte sexuel, en utilisant une technologie sophistiquée de deepfake.
Les deepfakes, qui combinent pour la plupart le visage d'une vraie personne avec un faux corps sexuellement explicite, sont de plus en plus souvent générés à l'aide de l'intelligence artificielle.
"J'étais pétrifiée, je me sentais si seule", a déclaré Heejin à la BBC.
Mais elle n'était pas seule.
Deux jours plus tôt, la journaliste sud-coréenne Ko Narin avait publié ce qui allait devenir le plus grand scoop de sa carrière. Il est récemment apparu que la police enquêtait sur des réseaux de deepfakes pornographiques dans deux des principales universités du pays, et Mme Ko était convaincue qu'il devait y en avoir d'autres.
Elle a commencé à faire des recherches sur les réseaux sociaux et a découvert des dizaines de groupes de discussion sur l'application de messagerie Telegram où les utilisateurs partageaient des photos de femmes qu'ils connaissaient et utilisaient un logiciel d'IA pour les convertir en fausses images pornographiques en quelques secondes.
"Chaque minute, des gens téléchargeaient des photos de filles qu'ils connaissaient et demandaient qu'elles soient transformées en deepfakes", nous a dit Mme Ko.
Mme Ko a découvert que ces groupes ne ciblaient pas seulement les étudiants universitaires. Il y avait des salles dédiées à des lycées et même à des collèges spécifiques. Si beaucoup de contenu était créé à partir d'images d'un élève en particulier, il pouvait même lui être attribué sa propre salle. Généralement appelées "salles d'humiliation" ou "salles d'amis d'amis", elles sont souvent assorties de conditions d'entrée strictes.
Le reportage de Mme Ko dans le journal Hankyoreh a choqué la Corée du Sud. Lundi, la police a annoncé qu'elle envisageait d'ouvrir une enquête sur Telegram, suivant l'exemple des autorités françaises, qui ont récemment inculpé le fondateur russe de Telegram pour des crimes liés à l'application. Le gouvernement s'est engagé à imposer des sanctions plus strictes aux personnes impliquées, et le président a appelé à une meilleure éducation des jeunes hommes.
Telegram a déclaré qu'elle « combattait activement les contenus préjudiciables sur sa plateforme, y compris la pornographie illégale », dans une déclaration fournie à la BBC.
« Un processus systématique et organisé »
La BBC a consulté les descriptions d'un certain nombre de ces salons de discussion. L'un d'eux demande aux membres de publier plus de quatre photos de quelqu'un avec son nom, son âge et la région où il vit.
« J'ai été choquée par le caractère systématique et organisé du processus », a déclaré Mme Ko. « La chose la plus horrible que j'ai découverte était un groupe d'élèves mineurs dans une école qui comptait plus de 2 000 membres. »
Dans les jours qui ont suivi la publication de l'article de Mme Ko, des militants des droits des femmes ont également commencé à parcourir Telegram et à suivre des pistes.
À la fin de la semaine, plus de 500 écoles et universités avaient été identifiées comme cibles. Le nombre exact de personnes touchées reste à déterminer, mais on estime que beaucoup d’entre elles ont moins de 16 ans, l’âge légal du consentement en Corée du Sud. Une grande partie des auteurs présumés sont eux-mêmes des adolescents.
Heejin a déclaré qu’apprendre l’ampleur de la crise avait aggravé son anxiété, car elle s’inquiétait désormais du nombre de personnes qui auraient pu voir ses deepfakes. Au début, elle s’en voulait. « Je ne pouvais pas m’empêcher de me demander si c’était parce que j’avais téléchargé mes photos sur les réseaux sociaux. Aurais-je dû faire plus attention ? »
Des dizaines de femmes et d’adolescentes à travers le pays ont depuis retiré leurs photos des réseaux sociaux ou désactivé complètement leurs comptes, craignant d’être exploitées à leur tour.
« Nous sommes frustrées et en colère de devoir censurer notre comportement et notre utilisation des réseaux sociaux alors que nous n’avons rien fait de mal », a déclaré Ah-eun, une étudiante universitaire dont les pairs ont été pris pour cible.
Ah-eun a déclaré qu'une victime de son université s'était vu dire par la police de ne pas s'embêter à poursuivre son affaire car il serait trop difficile d'attraper l'auteur, et que ce n'était « pas vraiment un crime » car « les photos étaient fausses ».
Les Sud-Coréens sont choqués et en colère depuis que le scandale des deepfakes a été révélé.
Au cœur de ce scandale se trouve l'application de messagerie Telegram. L'application est connue pour avoir une position de modération « légère » et est accusée depuis des années de ne pas en faire assez pour contrôler le contenu et en particulier les groupes.
Cela en a fait un espace privilégié pour l'épanouissement des comportements criminels.
La semaine dernière, les politiciens et la police ont réagi avec force, promettant d'enquêter sur ces crimes et de traduire les auteurs en justice.
Lundi, l'Agence nationale de police de Séoul a annoncé qu'elle chercherait à enquêter sur Telegram pour son rôle dans la diffusion de fausses images pornographiques d'enfants.
Le fondateur de l'application, Pavel Durov, a été inculpé en France la semaine dernière pour complicité de plusieurs délits liés à l'application, notamment pour avoir permis le partage de pornographie infantile.
Mais les militants des droits des femmes accusent les autorités sud-coréennes d'avoir laissé les abus sexuels sur Telegram se poursuivre trop longtemps sans contrôle, car la Corée a déjà été confrontée à cette crise. En 2019, il est apparu qu'un réseau sexuel utilisait Telegram pour contraindre des femmes et des enfants à créer et à partager des images sexuellement explicites d'eux-mêmes.
La police a alors demandé l'aide de Telegram pour son enquête, mais l'application a ignoré ses sept demandes. Bien que le meneur ait finalement été condamné à plus de 40 ans de prison, aucune mesure n'a été prise contre la plateforme, par crainte de censure.
"Ils ont condamné les principaux acteurs mais ont par ailleurs négligé la situation, et je pense que cela a aggravé la situation", a déclaré Mme Ko.
Des groupes de discussion comme ceux-ci proposent de créer des images deepfake. Le groupe du bas indique que « si vous demandez à quelqu'un d'être humilié (deepfaked), nous le ferons ».
Park Jihyun, qui, en tant que jeune journaliste étudiante, a découvert le réseau sexuel de la Nth room en 2019, est depuis devenue une défenseure politique des victimes de crimes sexuels numériques. Elle a déclaré que depuis que le scandale deepfake a éclaté, les élèves et les parents l'appelaient plusieurs fois par jour en pleurant.
« Ils ont vu leur école sur la liste partagée sur les réseaux sociaux et sont terrifiés. »
Mme Park a lancé des appels au gouvernement pour qu'il réglemente, voire interdise, l'application en Corée du Sud. « Si ces entreprises technologiques ne coopèrent pas avec les forces de l'ordre, alors l'État doit les réglementer pour protéger ses citoyens », a-t-elle déclaré.
Avant que cette dernière crise n'explose, le Centre de défense des victimes d'abus sexuels en ligne (ACOSAV) de Corée du Sud avait déjà constaté une forte augmentation du nombre de victimes mineures de pornographie deepfake.
En 2023, ils ont conseillé 86 victimes adolescentes. Ce chiffre est passé à 238 au cours des huit premiers mois de cette année. Rien que la semaine dernière, 64 autres victimes adolescentes se sont manifestées.
L'une des responsables du centre, Park Seonghye, a déclaré qu'au cours de la semaine dernière, son personnel avait été inondé d'appels et travaillait 24 heures sur 24. "C'était une urgence à grande échelle pour nous, comme une situation de guerre", a-t-elle déclaré.
"Avec la dernière technologie deepfake, il y a maintenant beaucoup plus d'images qu'avant, et nous craignons que cela ne fasse qu'augmenter."
En plus de conseiller les victimes, le centre traque les contenus préjudiciables et travaille avec les plateformes en ligne pour les faire supprimer. Mme Park a déclaré qu'il y avait eu des cas où Telegram avait supprimé du contenu à leur demande. "Ce n'est donc pas impossible", a-t-elle noté.
Dans un communiqué, Telegram a déclaré à la BBC que ses modérateurs « surveillent de manière proactive les parties publiques de l'application, utilisent des outils d'IA et acceptent les signalements des utilisateurs afin de supprimer chaque jour des millions de contenus qui enfreignent les conditions d'utilisation de Telegram ».
Si les organisations de défense des droits des femmes reconnaissent que la nouvelle technologie d'IA facilite l'exploitation des victimes, elles affirment qu'il s'agit simplement de la dernière forme de misogynie en date à se produire en ligne en Corée du Sud.
Les femmes ont d'abord été soumises à des vagues de violences verbales en ligne. Puis est arrivée l'épidémie de caméras espionnes, où elles ont été filmées en secret dans les toilettes et les vestiaires publics.
« La cause profonde de ce phénomène est le sexisme structurel et la solution est l'égalité des sexes », peut-on lire dans une déclaration signée par 84 groupes de femmes.
Il s'agit d'une critique directe du président du pays, Yoon Suk Yeol, qui a nié l'existence du sexisme structurel, réduit le financement des groupes de soutien aux victimes et abolit le ministère de l'égalité des sexes du gouvernement.
Lee Myung-hwa, qui s'occupe des jeunes délinquants sexuels, a reconnu que même si l'apparition des abus de deepfakes pouvait sembler soudaine, elle était depuis longtemps cachée sous la surface. « Pour les adolescents, les deepfakes font partie de leur culture, ils sont considérés comme un jeu ou une farce », a déclaré la conseillère, qui dirige le Centre culturel pour la jeunesse Aha de Séoul.
Mme Lee a déclaré qu'il était primordial d'éduquer les jeunes hommes, citant des recherches qui montrent que lorsque vous dites aux délinquants exactement ce qu'ils ont fait de mal, ils deviennent plus conscients de ce qui constitue un abus sexuel, ce qui les empêche de récidiver.
Dans le même temps, le gouvernement a déclaré qu'il augmenterait les peines pénales pour ceux qui créent et partagent des images deepfakes, et punirait également ceux qui regardent la pornographie.
Cela fait suite aux critiques selon lesquelles les auteurs de ces délits ne sont pas suffisamment punis. L'un des problèmes est que la majorité des délinquants sont des adolescents, qui sont généralement jugés par des tribunaux pour mineurs, où ils reçoivent des peines plus clémentes.
Depuis que les forums de discussion ont été dévoilés, beaucoup ont été fermés, mais de nouveaux vont certainement prendre leur place. Une salle d'humiliation a déjà été créée pour cibler les journalistes qui couvrent cette affaire. Mme Ko, qui a révélé la nouvelle, a déclaré que cela lui avait causé des nuits blanches. « Je n'arrête pas de vérifier la salle pour voir si ma photo a été téléchargée », a-t-elle déclaré.
Cette anxiété s'est propagée à presque toutes les adolescentes et jeunes femmes en Corée du Sud. Ah-eun, l'étudiante, a déclaré que cela l'avait rendue méfiante envers ses connaissances masculines.
« Je ne peux plus être sûre que des gens ne commettront pas ces crimes dans mon dos, sans que je le sache », a-t-elle déclaré. « Je suis devenue hyper vigilante dans toutes mes interactions avec les gens, ce qui ne peut pas être bon. »
Reportage supplémentaire de Hosu Lee et Suhnwook Lee