Incidents associés
Francesca Mani, une lycéenne de Westfield High School, dans le New Jersey, a été victime d'une nouvelle forme de cybercriminalité impliquant l'intelligence artificielle (IA) et la technologie deepfake en octobre 2023. La jeune fille de 14 ans a révélé qu'elle n'avait eu connaissance de l'incident que lorsque les autorités scolaires l'ont convoquée dans le bureau du directeur. Il a été révélé qu'un garçon de l'école aurait utilisé la technologie de l'IA pour générer des photos nues d'elle et d'un certain nombre d'autres filles.
L'agresseur aurait pris des images publiées sur des sites de réseaux sociaux tels qu'Instagram et les aurait manipulées pour faire ressembler les élèves à des mannequins nus. Les images deepfake ont ensuite été partagées entre les enfants via Snapchat. Francesca a été consternée et attristée par cette nouvelle, mais en voyant ses camarades de classe - certains pleuraient, d'autres riaient - elle a ressenti la montée de la colère et la naissance de la détermination.
"Et c'est à ce moment-là que j'ai réalisé que je devais arrêter de pleurer et que je devais être en colère parce que c'est inacceptable", a déclaré Francesca à Good Morning America (GMA).
Motivées par leur désir de protéger les autres, Francesca et sa mère, Dorota Mani, ont fait pression pour que les humiliations qu'elles ont subies aux mains de la société soient changées.
Réponses juridiques et institutionnelles
Les sénateurs Cruz et Lummis tiennent une conférence de presse pour discuter des deepfakes - Source : Getty
Cela met en lumière des questions vitales concernant le paysage juridique impliqué dans le contenu généré par l'IA. Le New Jersey a des lois très strictes sur les représentations sexuellement explicites d'un mineur, mais la législation existe toujours autour des zones grises des images créées par l'IA, qui techniquement ne s'appliquent pas aux interprétations traditionnelles de la pornographie infantile. Cela nécessite une législation supplémentaire qui identifie clairement les zones grises concernant les technologies de deep fake et les abus qu'elles entraînent.
Mary Anne Franks, professeure de droit à l'université George Washington, a déclaré à GMA :
« Le fait que les auteurs soient mineurs pourrait signifier qu'il y a ici une certaine clémence ou certains types de tentatives pour les garder hors du système carcéral, mais cela ne signifie pas qu'ils ne peuvent pas être punis du tout. »
Après l'incident, la mère de Francesca a déposé une plainte auprès de la police et informé les autorités scolaires. Les enfants n'ont subi aucune conséquence pour un incident aussi grave, à part la suspension temporaire d'un élève, qui a ensuite été réadmis. Ce manque de responsabilité a fait que Francesca se sentait en insécurité et mal à l'aise avec ses camarades.
« Je me sens simplement très mal à l'aise et très effrayée. Beaucoup d'autres filles sont d'accord avec moi. Nous ne pensons tout simplement pas qu'il soit juste qu'il marche dans les couloirs », a ajouté Francesca.
A la suite de cet incident, Francesca et sa mère ont porté leur combat bien au-delà de leur communauté. Elles ont fait pression sur les législateurs de l'État et du gouvernement fédéral pour que les lois et les politiques scolaires soient mises à jour sur la technologie de l'IA. Selon Time, leur plaidoyer s'est concentré sur l'amélioration de la protection juridique contre le harcèlement généré par l'IA, sur des politiques scolaires plus rigoureuses pour gérer de tels incidents et sur la promotion de la sensibilisation au consentement et à la confidentialité numérique.
L'activisme de Francesca a touché une corde sensible chez de nombreux jeunes qui se sentaient également désespérés. Elle a reçu des messages de filles du monde entier qui ressentaient la même chose, à savoir que les écoles ne les protégeaient pas suffisamment contre l'utilisation abusive de l'IA.
Les sites Web « Nudify » sont en plein essor
Image représentative (Image via Pexels/ThisIsEngineering)
Le problème a été encore exacerbé par la prolifération de sites Web dits « nudify » qui permettent aux utilisateurs de télécharger des images et de recevoir en retour des versions réalistes de nus. Ces sites sont largement accessibles et ont été impliqués dans de nombreux incidents au sein d'écoles à travers les États-Unis. Des rapports indiquent que ces plateformes ne sont pas cachées sur le dark web mais ouvertement annoncées en ligne, ce qui est particulièrement dangereux pour les mineurs.
60 Minutes a découvert près de 30 cas similaires dans des écoles aux États-Unis au cours des 20 derniers mois, ainsi que d'autres à l'étranger.