Problème 3449

Aux États-Unis, les adolescentes qui sont de plus en plus ciblées ou menacées par de fausses photos nues créées avec l'intelligence artificielle ou d'autres outils disposent de moyens limités pour demander des comptes ou des recours, alors que les écoles et les législatures des États ont du mal à rattraper leur retard sur les nouvelles technologies, selon les législateurs. des experts juridiques et une victime qui plaide désormais en faveur d'un projet de loi fédéral.

Depuis le début de l’année scolaire 2023, les cas impliquant des adolescentes victimes de fausses photos nues, également connues sous le nom de deepfakes, se sont multipliés dans le monde entier, notamment dans les lycées du New Jersey et de l’État de Washington.

Les services de police locaux enquêtent sur les incidents, les législateurs s'empressent d'adopter de nouvelles mesures qui imposeraient des sanctions contre les créateurs des photos, et les familles concernées font pression pour obtenir des réponses et des solutions.

Des deepfakes irréalistes peuvent être réalisés avec de simples outils de retouche photo qui existent depuis des années. Mais deux districts scolaires ont déclaré à NBC News qu'ils pensaient que de fausses photos d'adolescents ayant affecté leurs élèves étaient générées par l'IA.

La technologie de l'IA est de plus en plus disponible, comme la diffusion stable (technologie open source capable de produire des images à partir de messages texte) et les outils d'« échange de visage » qui peuvent mettre le visage d'une victime à la place de celui d'un artiste pornographique dans une vidéo ou une photo. .

Des applications censées « déshabiller » des photos habillées ont également été identifiées comme des outils possibles utilisés dans certains cas et ont été trouvées [disponibles gratuitement](https://www.nbcnews.com/tech/internet/chinas-crackdown-deepfakes- don't-stop-apps-finding-us-audience-rcna77423) sur les magasins d'applications. Ces deepfakes modernes peuvent être plus réalistes et plus difficiles à identifier immédiatement comme faux.

"Je ne savais pas à quel point la technologie de l'IA était complexe et effrayante", a déclaré Francesca Mani, 15 ans, étudiante en deuxième année à la Westfield High School du New Jersey, où plus de 30 filles ont appris le 20 octobre qu'elles pouvaient avoir été représentées de manière explicite. -images manipulées.

"J'ai été choquée parce que les autres filles et moi avons été trahies par nos camarades de classe", a-t-elle déclaré, "ce qui signifie que cela peut arriver à n'importe qui et à n'importe qui."

Les politiciens et les experts juridiques affirment qu’il existe peu, voire aucun, de voies de recours pour les victimes de pornographie générée par l’IA et de deepfake, qui attachent souvent le visage d’une victime à un corps nu.

Les photos et les vidéos peuvent être étonnamment réalistes et, selon Mary Anne Franks, experte juridique en médias sexuellement explicites non consensuels, la technologie permettant de les réaliser est devenue plus sophistiquée et plus accessible.

Un mois après l'incident survenu au lycée de Westfield, Francesca et sa mère, Dorota Mani, ont déclaré qu'elles ne connaissaient toujours pas l'identité ni le nombre de personnes qui ont créé les images, combien ont été réalisées ou si elles existent toujours. On ne sait pas non plus quelle punition le district scolaire a infligée, le cas échéant.

La ville de Westfield a adressé ses commentaires aux écoles publiques de Westfield, qui ont refusé de commenter. Invoquant la confidentialité, le district scolaire a précédemment déclaré à [NBC New York](https://www.nbcnewyork.com/news/local/students-at-nj-school-reportedly-used-ai-to-make-pornographic-images- of-classmates/4829307/) qu'il "ne divulguerait aucune information sur les étudiants accusés d'avoir créé de fausses photos de nus, ni sur la discipline à laquelle ils sont confrontés".

Le surintendant Raymond Gonzalez a déclaré au média que le district « continuerait à renforcer nos efforts en éduquant nos élèves et en établissant des lignes directrices claires pour garantir que ces nouvelles technologies sont utilisées de manière responsable dans nos écoles et au-delà ».

Dans un courriel obtenu par NBC News, Mary Asfendis, la directrice du lycée, a déclaré le 20 octobre aux parents qu'elle enquêtait sur les allégations d'élèves selon lesquelles certains de leurs pairs avaient utilisé l'IA pour créer des images pornographiques à partir de photos originales.

À l’époque, les responsables de l’école pensaient que toutes les images créées avaient été supprimées et n’étaient pas diffusées, selon la note.

"Il s'agit d'un incident très grave", a écrit Asfendis, en exhortant les parents à discuter de leur utilisation de la technologie avec leurs enfants. « Les nouvelles technologies ont rendu possible la falsification des images et les étudiants doivent connaître l’impact et les dommages que ces actions peuvent causer aux autres. »

Bien que Francesca n'ait pas vu l'image d'elle-même ou d'autrui, sa mère a déclaré que le directeur de Westfield lui avait dit que quatre personnes avaient identifié Francesca comme une victime. Francesca a déposé un rapport de police, mais ni le département de police de Westfield ni le bureau du procureur n'ont répondu aux demandes de commentaires.

Le sénateur de l'État du New Jersey, Jon Bramnick, a déclaré que les forces de l'ordre lui avaient fait part de leurs inquiétudes quant au fait que l'incident ne ferait que se transformer en une "allégation de harcèlement de type cyber, même s'il devrait en réalité atteindre le niveau d'un crime plus grave".

"Si vous attachez un corps nu au visage d'un enfant, c'est pour moi de la pornographie juvénile", a-t-il déclaré.

Le législateur républicain a déclaré que les lois des États ne parviennent actuellement pas à punir les créateurs de contenu, même si les dommages infligés par des images réelles ou manipulées peuvent être les mêmes.

«Cela les victimise de la même manière que les personnes qui s'adonnent au trafic de pédopornographie. Ce n’est pas seulement offensant pour le jeune, cela le diffame. Et on ne sait jamais ce qui va arriver à cette photo », a-t-il déclaré. "On ne sait pas où ça se trouve une fois qu'il est transmis, quand ça va revenir hanter la jeune fille."

Un projet de loi d'État en attente dans le New Jersey, a déclaré Bramnick, interdirait la pornographie deepfake et imposerait des sanctions pénales et civiles en cas de divulgation non consensuelle. En vertu du projet de loi, une personne reconnue coupable de ce crime encourrait trois à cinq ans de prison et/ou une amende de 15 000 dollars, a-t-il déclaré.

S'il est adopté, le New Jersey rejoindra au moins 10 autres États qui ont adopté une législation ciblant les deepfakes, selon Franks, professeur de droit et président de la Cyber Civil Rights Initiative, un groupe à but non lucratif qui lutte contre la pornographie non consensuelle.

Les lois des États ciblant les deepfakes varient considérablement en termes de portée. Certains d’entre eux, comme ceux du Texas et du Wyoming, font des deepfakes pornographiques non consensuels une infraction pénale. D'autres États, comme New York, ont des lois qui autorisent uniquement les victimes à intenter une action civile.

Franks a déclaré que les lois sont « partout », non exhaustives, et que la constitutionnalité des lois a été remise en question.

« Vous avez donc toute une série d’accusations criminelles, qui vont être difficiles dans ces affaires parce que les auteurs seront des mineurs, donc cela soulève ses propres questions », a-t-elle déclaré.

'Probablement juste la pointe de l'iceberg'

On ne sait pas exactement combien de jeunes ont été victimes de nus générés par l’IA.

Le FBI a déclaré qu'il était difficile de calculer le nombre de mineurs exploités sexuellement. Mais l'agence a déclaré avoir constaté une augmentation du nombre de dossiers ouverts impliquant des crimes contre des enfants. Il y a eu plus de 4 800 cas en 2022, contre plus de 4 100 l’année précédente, a déclaré le FBI à NBC News.

"Le FBI prend au sérieux les crimes contre les enfants et s'efforce d'enquêter sur les faits de chaque allégation dans un effort collectif avec nos partenaires chargés de l'application des lois au niveau de l'État, local et tribal", a déclaré l'agence, ajoutant que les victimes peuvent faire face à des défis importants lorsqu'elles tentent d'arrêter le crime. diffuser l’image ou la faire supprimer d’Internet.

Franks a déclaré qu’il y aurait probablement beaucoup plus d’incidents et qu’ils ne feraient qu’augmenter.

« Tout ce dont nous entendons parler et qui remonte à la surface n’est probablement que la pointe de l’iceberg », a-t-elle déclaré. "Cela se produit probablement assez souvent en ce moment, et les filles ne l'ont tout simplement pas encore découvert ou découvert ou l'école est en train de le dissimuler."

Au lycée Issaquah, dans l’État de Washington, un représentant du district scolaire a déclaré qu’un incident survenu à la mi-octobre « impliquant de fausses images d’élèves générées par l’IA » continuait d’affecter le corps étudiant.

Dans la ville espagnole d'Almendralejo, [les mères disent](https://english.elpais.com/international/2023-09-18/in-spain-dozens-of-girls-are-reporting-ai-generated-nude- photos-d'elles-circulant-à-l'école-mon-coeur-a-sauté-un-battement.html), des dizaines de leurs filles d'âge scolaire ont été victimes de photos nues générées par l'IA, créées avec une application qui peut " déshabiller »photos habillées. Les polices locales du New Jersey, de Washington et d'Espagne enquêtent sur les cas des lycées.

Dans un [annonce d'intérêt public] de juin (https://www.ic3.gov/Media/Y2023/PSA230605), le FBI a averti que la technologie utilisée pour créer de fausses photos et vidéos pornographiques non consensuelles s'améliorait et était utilisée à des fins de harcèlement et de sextorsion.

Pendant ce temps, l’Association nationale des procureurs généraux a appelé le Congrès en septembre à étudier les effets de l’IA sur les enfants et à proposer une législation qui les protégerait de ces abus.

Dans une lettre signé par 54 procureurs généraux des États et territoires, le groupe s’est dit préoccupé par le fait que « l’IA crée une nouvelle frontière pour les abus qui rend les poursuites plus difficiles ».

"Nous sommes engagés dans une course contre la montre pour protéger les enfants de notre pays des dangers de l'IA", indique la lettre.

Francesca et sa mère ont déclaré qu'elles prévoyaient de se rendre à Washington, D.C., en décembre pour exhorter personnellement les membres du Congrès à agir, alors qu'elles continuent de plaider en faveur de politiques actualisées au sein du système scolaire et de demander des comptes pour ce qui s'est passé.

"Nous savons tous qu'il ne s'agit pas d'un incident isolé", a déclaré Dorota Mani. « Ce ne sera jamais un incident isolé. Cela va continuer à se produire tout le temps. Il faut arrêter de prétendre que ce n’est pas important. »

L'augmentation des incidents ciblant les lycéennes fait suite à la prolifération des [applications AI deepfake](https://www.nbcnews.com/tech/internet/chinas-crackdown-deepfakes-doesnt-stop-apps-finding-us-audience- rcna77423) et sites Web pornographiques deepfake où ce matériel est créé, partagé et vendu.

Un rapport 2019 de Sensity, une société basée à Amsterdam qui suit les médias générés par l'IA, a révélé que 96 % des deepfakes créés à cette époque Les points étaient sexuellement explicites et mettaient en vedette des femmes qui ne consentaient pas à leur création. De nombreuses victimes ignorent l’existence des deepfakes.

Franks a déclaré que les parents et les enfants ne pouvaient rien faire pour empêcher la création de contrefaçons utilisant leur image. Au lieu de cela, Franks a déclaré que les écoles et les forces de l'ordre locales doivent donner l'exemple aux auteurs dans les cas qui touchent le grand public, afin de décourager les autres de créer des deepfakes.

"Si vous pouviez imaginer une réponse dramatique et importante de la part de l'école du New Jersey ou des autorités du New Jersey pour faire un exemple de cette affaire, des sanctions très strictes, les gens vont en prison, vous pourriez être découragé", a déclaré Franks. .

« En l’absence de cela, cela va simplement devenir un outil de plus que les hommes et les garçons utilisent contre les femmes et les filles pour les exploiter et les humilier, et sur lequel la loi n’a pratiquement rien à dire. »