Incidents associés
Note de la rédaction du Korea Times : cet article est le deuxième d'une série en trois parties sur les crimes sexuels deepfake dans les écoles. Ces crimes, qui impliquent la manipulation de photos et de vidéos pour créer du contenu explicite, provoquent de la méfiance et des tensions entre les étudiants, et parfois entre les élèves et les enseignants. La série a été produite en collaboration avec Excellence Lab, une équipe dédiée au journalisme d'investigation au Hankook Ilbo, le journal frère du Korea Times. — NDLR.
A la suite des crimes sexuels deepfake qui ont touché des écoles non seulement en Corée mais aussi aux États-Unis, Francesca Mani, 15 ans, et sa mère, Dorota Mani, ont transformé leur calvaire personnel en une puissante campagne pour le changement.
"Je ne cherchais pas de la sympathie, je voulais que les responsables rendent des comptes", a déclaré Francesca au Korea Times lors d'une récente interview.
"L'école devait faire comprendre que ce comportement est inacceptable et s'assurer que les auteurs soient tenus responsables de leurs actes".
Son histoire contraste fortement avec des cas similaires en Corée, où les victimes restent souvent silencieuses ou sont confrontées à la stigmatisation sociale.
En octobre dernier, Francesca et plusieurs autres filles de 10e année de l'école publique Westfield dans le New Jersey ont signalé aux administrateurs de l'école que des camarades de classe masculins avaient utilisé un logiciel d'IA pour créer et distribuer des images deepfake explicites d'elles.
L'école a lancé une enquête plus tard dans le mois. Cependant, le système n'a pas réussi à protéger correctement les victimes.
Alors que les administrateurs de l'école ont discrètement interrogé certains des garçons impliqués, ils ont convoqué publiquement Francesca et les autres filles ciblées par les deepfakes au bureau de l'école, annonçant leurs noms par interphone.
Mary Asfendis, la directrice de l'école, a reconnu la gravité de l'incident et a envoyé un e-mail aux parents, décrivant les deepfakes comme une « affaire très grave ». Malgré les inquiétudes des élèves et des parents concernant la circulation potentielle des images, Asfendis les a rassurés en leur disant que l'école pensait que toutes les images fabriquées avaient été supprimées et n'étaient plus partagées, selon la famille Mani.
Bien que l’école ait reconnu la gravité de l’incident, elle n’a pas pris les mesures appropriées contre les contrevenants.
Quelques jours seulement après la révélation de l’incident du deepfake, Francesca a découvert que l’un des garçons responsables de la création des images manipulées n’avait été puni que d’un ou deux jours de retenue.
Les contrevenants ont continué à fréquenter l’école et ont même représenté l’école dans des événements sportifs, se comportant comme si de rien n’était.
Lorsqu’elle a remis en question la clémence de la sanction, l’école lui a répondu qu’elle ne pouvait rien faire de plus, invoquant l’absence de législation concernant de tels incidents.
« Ce jour-là, ma fille est rentrée à la maison et a dit : « Ce n’est pas bien. Je refuse de porter le badge de la victime » », se souvient Dorota.
« L’incident a d’abord été un choc, mais au fil du temps, la plus grande déception est venue du manque de lois, de législation et de réglementations », a-t-elle déclaré.
La mère a également condamné les administrateurs de l’école pour avoir fui leurs responsabilités, car ils ont justifié leur inaction en invoquant un manque de familiarité avec la technologie du deepfake et ses menaces en constante évolution.
Déterminée à faire en sorte que les écoles puissent réagir plus efficacement à l'avenir, Francesca a dit à sa mère qu'elle voulait plaider en faveur de changements juridiques et lui a demandé de l'aide.
"C'est comme ça que tout a commencé", a déclaré Dorota, en réfléchissant au début des efforts qu'elle et sa fille entreprennent.
"Ce qui semblait le plus difficile était le plus facile"
Pour Francesca et Dorota, l'incident du deepfake qui a initialement déclenché le choc et la colère est devenu un puissant catalyseur pour leur mission de recherche de justice par le biais d'un changement systémique.
"Ce que je pensais être la partie la plus difficile - changer les lois et faire passer des lois - s'est avéré être la plus facile", a déclaré Dorota.
Elles ont contacté des législateurs, notamment le représentant Joe Morelle, qui milite contre les abus du deepfake depuis sept ans.
"Morelle est le premier législateur avec lequel nous avons travaillé", a déclaré Dorota.
Le 16 janvier, Morelle a annoncé sa proposition bipartite, la loi sur la prévention des deepfakes d'images intimes, visant à stopper la propagation de la pornographie deepfake générée par l'IA.
Il a souligné que la pornographie deepfake est une forme d'exploitation et d'abus sexuels. Il a été stupéfait qu'elle ne soit pas déjà classée comme un crime fédéral.
« Ma législation rendra enfin cette pratique dangereuse illégale et tiendra les auteurs responsables », a déclaré Morelle au Korea Times par courrier électronique.
La famille Mani a également collaboré avec le sénateur du Texas Ted Cruz sur sa législation bipartite, la loi Take It Down.
Le sénateur du Texas Ted Cruz, à droite, pose avec Francesca Mani, qui milite à travers les États-Unis pour une meilleure protection des victimes de deepfakes. Avec l'aimable autorisation de Dorota Mani
Présentée le 18 juin, la proposition de loi vise à criminaliser la publication d'images sexuellement exploitantes non consensuelles, y compris les deepfakes générés par l'IA, et oblige les plateformes en ligne à mettre en œuvre des mécanismes permettant aux victimes de demander la suppression de ces contenus.
« La loi Take It Down fait vraiment écho aux crimes sexuels généraux liés aux deepfakes », a déclaré Dorota.
Elle a souligné qu'il y a des victimes qui, pour diverses raisons - religieuses, familiales ou profondément personnelles - ne se sentent pas à l'aise de se manifester.
« Ce n'est pas notre rôle de les juger ou de les pousser, mais elles ont besoin d'un moyen de reprendre le pouvoir sur ces images », a-t-elle déclaré.
Dorota a souligné l'importance de donner du pouvoir aux victimes, notant que « les gens ont besoin de moyens qui leur permettent de reprendre le pouvoir des images ».
Au 2 décembre, la loi Take It Down est toujours en attente au Sénat.
En plus de travailler avec les législateurs, Francesca et Dorota ont également contacté la société de médias sociaux Snapchat, une application de messagerie populaire utilisée par environ 60 % des adolescents, par l'intermédiaire du bureau de Cruz.
« Snapchat nous a fait part du fait qu'ils ont mené une étude de trois ans sur les effets de leur plateforme sur les jeunes générations », a déclaré Dorota.
Après des incidents récurrents impliquant des abus de deepfake, la société a développé un outil conçu pour aider les enseignants à comprendre et à enseigner aux étudiants comment se protéger à l'ère numérique.
Dorota continue de communiquer avec Snapchat, explorant les possibilités de présenter l'outil aux enseignants.
« Cela fournira aux enseignants des ressources pour mieux protéger leurs élèves en leur permettant d'acquérir une compréhension plus approfondie des technologies actuelles », a-t-elle déclaré.
Briser le silence, lutter pour la responsabilité
Bien que leurs efforts proactifs aient conduit à une proposition de loi visant à amplifier la voix des victimes, ils ont fait valoir que les écoles n'ont pas changé, toujours en retard dans l'établissement de politiques efficaces pour faire face à de tels incidents.
Le bureau de district supervisant les écoles publiques de la région s'est d'abord concentré sur le contrôle de l'utilisation d'outils d'IA génératifs comme ChatGPT pour empêcher la tricherie dans les devoirs, mais n'a pas réussi à mettre en œuvre de mesures pour lutter contre les abus de deepfake.
Après 10 mois, l'école a finalement révisé sa réglementation sur l'IA. Les politiques mises à jour incluent désormais des cours pour les étudiants sur les conséquences civiles et pénales de la création de deepfakes illégaux, ainsi qu'une éducation sur l'impact profond de ces actions sur les victimes.
Malgré son calvaire, Francesca s'est décrite comme chanceuse, car de nombreuses personnes ont soutenu ses efforts pour créer un changement significatif.
"Mes professeurs m'ont incroyablement soutenue, tout comme mes amis. C'est l'administration scolaire qui nous a laissé tomber", a déclaré Francesca.
Elle a également exprimé son enthousiasme à l'idée de poursuivre son plaidoyer contre les deepfakes, soulignant son travail en tant que partenaire de la Dynamic Teen Coalition de l'ONU et en tant qu'ambassadrice de l'IA à l'université de Yale.
Ses efforts lui ont valu une reconnaissance importante, notamment en étant nommée la plus jeune personne sur la liste Time 100 AI cette année.
La Corée prend également des mesures pour lutter contre les crimes de deepfake, avec une nouvelle législation approuvée le 10 octobre qui prévoit des sanctions plus sévères pour les crimes sexuels numériques impliquant cette technologie.
La loi révisée sur la répression des crimes sexuels impose des sanctions allant jusqu'à trois ans de prison ou des amendes allant jusqu'à 30 millions de wons (22 251 $) pour ceux qui sont pris en possession, en achetant, en stockant ou en visionnant des contenus sexuels deepfake et d'autres vidéos fabriquées.
En outre, le gouvernement a annoncé des mesures en novembre, visant à réprimer plus efficacement les abus sexuels liés aux deepfakes, notamment la suppression immédiate des contenus exploiteurs et le recours à des enquêtes secrètes.
Cependant, le cas de Francesca montre à quel point les voix des personnes concernées peuvent jouer un rôle central dans la conduite d'un changement systémique.
Francesca souligne l'importance de défendre ses droits.
« Si le système vous laisse tomber, il est temps de le revoir et d'exiger des comptes », a-t-elle déclaré.