Incidents associés
En octobre dernier, Francesca Mani est rentrée de l’école dans la banlieue du New Jersey avec une nouvelle dévastatrice pour sa mère, Dorota.
Plus tôt dans la journée, la jeune fille de 14 ans avait été convoquée dans le bureau du directeur adjoint et informée qu’elle et un groupe de filles du lycée Westfield avaient été victimes d’abus ciblés de la part d’une autre élève.
De fausses images nues d’elle et d’autres personnes circulaient dans l’école. Elles avaient été générées par l’intelligence artificielle.
Dorota était vaguement consciente de la puissance de cette technologie relativement nouvelle, mais la facilité avec laquelle les images étaient générées l’a surprise.
« Je ne savais pas à quelle vitesse cela pouvait arriver, avec une seule image », se souvient-elle. « Que cela pouvait arriver à n’importe qui, par n’importe qui, en un clic de bouton. »
Selon une plainte fédérale récemment déposée par une autre famille, les images explicites du lycée Westfield ont été créées via l’utilisation d’une application appelée ClothOff, qui a fonctionné sous une couche profonde de secret.
Mais une enquête de six mois, qui fait partie de la série de podcasts du Guardian intitulée Black Box, a révélé les noms de plusieurs personnes affiliées à l’application, qui reçoit des millions de visites mensuelles et dont les origines se situent en Biélorussie et en Russie.
Lorsque le choc de cet après-midi d’octobre s’est atténué, Francesca Mani a essuyé ses larmes et a décidé de passer à l’action en rendant l’affaire publique. La mère et la fille étaient insatisfaites de la réponse de leur conseil scolaire et déçues de constater qu’en l’absence de lois, il était peu probable que les auteurs présumés soient tenus pénalement responsables.
« Je dois faire quelque chose », a dit Francesca à sa mère. « Ce n’est pas acceptable et je ne veux pas être une victime. »
Depuis, le couple a effectué plusieurs voyages à Washington, notamment pour le discours sur l’état de l’Union la semaine dernière. Ils sont apparus ensemble dans les chaînes d’information en continu et ont été cités par les législateurs du New Jersey et de Washington comme catalyseurs d’une nouvelle législation visant à tenir les créateurs de deep fakes sexuellement explicites non consensuels légalement responsables aux États-Unis.
L’affaire Westfield, et d’autres du même genre, ont mis en évidence des lacunes croissantes dans les lois fédérales et étatiques, dont les législateurs des deux côtés de l’échiquier politique conviennent qu’elles ne font pas assez pour protéger les gens, en particulier les mineurs, de la prolifération rapide de deep fakes explicites par l’IA.
« Il existe un danger unique autour de ces applications », a déclaré Yiota Souras, conseiller juridique en chef du National Center for Missing and Exploited Children [NCMEC]. « Parce que le volume de victimes qu’elles peuvent créer en très peu de temps est immense. »
Le NCMEC a travaillé directement avec la famille Mani pour tenter de voir si l’une des images générées au lycée de Westfield a circulé davantage en ligne.
Les parents des victimes ont reçu l’assurance des responsables de l’école que les deep fakes avaient été supprimés, mais l’école n’a pas déclaré publiquement combien d’élèves étaient concernés.
Le district scolaire public de Westfield a déclaré avoir lancé une enquête sur l’incident dès qu’il en a été informé et avoir fourni des conseils aux « élèves en quête de soutien ».
« Tous les districts scolaires sont aux prises avec les défis et l’impact de l’intelligence artificielle et d’autres technologies accessibles aux élèves à tout moment et en tout lieu », a déclaré le surintendant Dr Raymond González, qui a ajouté que le district continuait à renforcer ses efforts pour prévenir de futurs incidents en « éduquant nos élèves et en établissant des directives claires pour garantir que ces nouvelles technologies soient utilisées de manière responsable dans nos écoles et au-delà ».
ClothOff a nié que sa plateforme ait été utilisée dans l’affaire du New Jersey et a suggéré qu’il s’agissait peut-être d’une application concurrente, mais n’a fourni aucune preuve pour étayer cette affirmation.
Peu de temps après avoir pris la parole en public, la mère et la fille ont été invitées à Washington pour marquer l'introduction d'un projet de loi au Congrès, le Preventing Deepfakes of Intimate Images Act.
La législation vise à interdire la divulgation non consensuelle d'images générées par l'IA en faisant de leur partage une infraction pénale, ainsi qu'en accordant aux victimes le droit d'engager une action civile devant un tribunal fédéral.
Dorota se rendra à nouveau au Capitole cette semaine pour une audience de sous-commission sur « la lutte contre les préjudices réels causés par les deepfakes », tandis qu'un autre projet de loi](https://kean.house.gov/media/press-releases/kean-introduces-bill-provide-more-transparency-ai-generated-content), présenté par le député républicain Tom Kean Jr, qui représente le district de la famille, cherche à créer des règles d'étiquetage pour le contenu de l'IA afin de le rendre plus facile à distinguer.
« Ce n'est pas parce que je suis une adolescente que ma voix n'est pas puissante », a déclaré Francesca lors du dévoilement de la législation à Washington. « Rester silencieux ? Pas une option. »
Les deux projets de loi et leurs homologues sénatoriaux bénéficient d’un soutien bipartisan, mais avec une Chambre si concentrée sur les questions partisanes, notamment les enquêtes de destitution dirigées contre le président Joe Biden, Dorota Mani se rend compte que le processus législatif au niveau fédéral en est encore à ses balbutiements.
« Suis-je frustrée ? Non. Parce que c’est notre gouvernement – il a toujours fonctionné de cette façon », a-t-elle déclaré. « C’est pourquoi je ne suis pas une politicienne. C’est pourquoi c’est ma première et dernière campagne. »
Pourtant, au moins cinq États américains ont déjà promulgué des lois pour limiter l’utilisation de deep fakes explicites, et une vingtaine d’entre eux ont présenté des projets de loi, selon une base de données gérée par le NCMEC.
Dans le New Jersey, un projet de loi présenté à la suite de l’épisode de Westfield High a été adopté par une commission sénatoriale vendredi dernier avec le soutien bipartisan.
Migrante polonaise arrivée aux États-Unis pour étudier dans les années 1990, Mani est une riche entrepreneuse qui a fondé une école maternelle locale et dirige une entreprise de décoration intérieure. Elle parle également en toute franchise de la façon dont le privilège financier a aidé sa campagne, qui a suscité l’admiration des deux partis au Congrès.
Un porte-parole du député de New York Joe Morelle, qui a présenté la loi sur la prévention des deepfakes d’images intimes, a déclaré que la mère et la fille avaient « pris leur traumatisme [voir note de bas de page] et l’avaient transformé en un plaidoyer acharné pour garantir que davantage de femmes n’aient pas à subir la douleur que Francesca a endurée ».
Le porte-parole a ajouté que les récents reportages du Guardian révélant que certains individus étaient associés à l’application ClothOff « soulignent pourquoi il doit y avoir des sanctions pénales et civiles pour tenir les personnes responsables de ce comportement méprisable ».
« Nous devons établir des mesures de dissuasion fortes pour empêcher les gens de créer des deepfakes et certainement d’en tirer profit. »
Mais l’épisode du New Jersey est loin d’être isolé aux États-Unis. La semaine dernière, un collège de Beverly Hills a expulsé cinq élèves qui ont victimisé 16 élèves de huitième année en créant des images explicites deepfake générées par l’IA. Un porte-parole du conseil scolaire n’a pas souhaité faire de commentaire sur l’application spécifique utilisée pour créer les images.
« Cette technologie émergente devient de plus en plus accessible aux individus de tous âges », a déclaré le Dr Michael Bregy, surintendant du district scolaire unifié de Beverly Hills.
« Nous sommes consternés par toute utilisation abusive de l’IA et devons protéger les membres les plus vulnérables de la société, nos enfants. »
En décembre dernier, deux étudiants de la Pinecrest Cove Academy ont été suspendus après avoir généré des images nues de plusieurs camarades de classe à l’aide d’une application non nommée par la police locale.
Et à Issaquah, dans l’État de Washington, un étudiant de 14 ans a fait l’objet d’une enquête de la police pour avoir généré des photos nues de plusieurs camarades de classe à l’aide d’images qu’il avait prises lors d’événements scolaires, puis les avoir partagées via Snapchat, selon un rapport de police consulté par le Guardian, qui ne nomme pas l’application utilisée.
Mani a déclaré avoir entendu des parents dans de nombreux endroits du pays, y compris dans des zones qui n’avaient pas été rapportées dans les médias.
« De nombreuses personnes ne se sentent pas à l’aise de rendre public ce qui s’est passé », a-t-elle déclaré. « Parce que, tout comme dans mon école, ils entendent constamment que rien ne peut être fait. »
Interrogée sur le message qu’elle allait adresser à ceux qui se cachent derrière l’application qui aurait été utilisée pour cibler sa fille et ses camarades de classe, Mani a été directe : « Honte à eux. Ils ne font que gagner de l’argent. »
Mais elle a immédiatement pivoté vers l’étape suivante de sa campagne, en ciblant des plateformes comme Apple, Google et Amazon et les institutions financières comme PayPal, Amex et Visa qui, selon elle, ont finalement permis à cette technologie de prospérer.
« Sinon, c’est comme chasser des fantômes. »
Note de bas de page ajoutée le 14 mars 2024. Après la publication, Dorota et Francesca Mani ont contacté le Guardian pour demander qu’il soit clair qu’elles ne considèrent pas qu’une référence au « traumatisme » dans les remarques du bureau du député Joe Morelle soit une description précise de leur expérience, et que ce n’est pas un terme qu’elles utiliseraient elles-mêmes.