Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 4091

Incidents associés

Incident 7981 Rapport
Australian Schools Grappling with Significant Spread of Non-Consensual Spread of Deepfake Pornography of Students

Loading...
Au cœur des applications d’IA « deepnude » qui infiltrent les écoles australiennes
smh.com.au · 2024

"Voyez n'importe qui nu gratuitement", peut-on lire sur le slogan du site.

"Il suffit de peindre sur les vêtements, de définir l'âge et le type de corps, et d'obtenir un nu profond en quelques secondes."

Plus de 100 000 personnes utilisent le site Web "Undress AI" chaque jour, selon sa société mère. Les utilisateurs téléchargent une photo, choisissent parmi les paramètres d'image tels que "nu", "BDSM" ou "sexe", et parmi les options d'âge, y compris "soustraire cinq", qui utilise l'IA pour faire paraître le sujet cinq ans plus jeune.

Le résultat est une image "deepnude" générée automatiquement gratuitement en moins de 30 secondes.

Undress AI est actuellement légal en Australie, comme des dizaines d'autres. Mais beaucoup ne disposent pas de contrôles adéquats les empêchant de générer des images d'enfants.

Plus de 100 000 personnes utilisent le site Web "Undress AI" chaque jour, selon sa société mère, y compris des Australiens.

Il existe des preuves que les pédophiles utilisent ces applications pour créer et partager du matériel pédopornographique, et ces outils se retrouvent également dans les écoles, notamment à la Bacchus Marsh Grammar de Melbourne, où une arrestation a eu lieu plus tôt ce mois-ci.

L'utilisation de la technologie pour créer de fausses images pornographiques réalistes, y compris d'enfants, n'est pas nouvelle. Les auteurs peuvent depuis longtemps utiliser des logiciels de retouche d'image tels que Photoshop pour coller le visage d'un enfant sur le corps d'un acteur porno.

La nouveauté est que ce qui nécessitait auparavant des heures de travail manuel, un ordinateur de bureau et quelques compétences techniques, peut désormais être réalisé en quelques secondes grâce à la puissance et à l'efficacité de l'IA.

Ces applications, facilement accessibles aux utilisateurs australiens via une recherche rapide sur Google, permettent à n'importe qui de créer facilement une image nue d'un enfant à son insu et sans son consentement. Et leur popularité ne cesse de croître : la société d'analyse du trafic Web Similarweb a constaté qu'elle reçoit plus de 20 millions de visiteurs chaque mois dans le monde.

Les applications « deepnude » comme Undress AI sont entraînées à partir d'images et de données réelles récupérées sur Internet.

Les outils peuvent être utilisés à des fins légitimes (les industries de la mode et du divertissement peuvent les utiliser à la place de modèles humains, par exemple), mais les régulateurs et les éducateurs australiens s'inquiètent de plus en plus de leur utilisation entre de mauvaises mains, en particulier lorsque des enfants sont impliqués.

La société mère d'Undress AI n'a pas répondu aux demandes d'interview.

Les écoles et les familles, ainsi que les gouvernements et les régulateurs, sont tous aux prises avec le côté obscur des nouvelles technologies d'IA.

Julie Inman Grant, commissaire australienne à la sécurité électronique, est la personne chargée de protéger tous les Australiens, y compris les enfants, contre les dangers en ligne.

Si Inman Grant obtient gain de cause, des outils comme Undress AI seront mis hors ligne, ou « déplateformés », s'ils ne parviennent pas à empêcher de manière adéquate la production de pornographie infantile.

Ce mois-ci, elle a lancé de nouvelles normes qui, en partie, porteront spécifiquement sur les sites Web qui peuvent être utilisés pour générer du matériel pédopornographique. Elles devraient entrer en vigueur dans six mois, après une période d'interdiction de 15 jours au Parlement.

"L'accélération et la prolifération rapides de ces technologies d'IA vraiment puissantes sont assez stupéfiantes. Vous n'avez pas besoin de milliers d'images de la personne ou d'énormes quantités de puissance de calcul... Vous pouvez simplement récolter des images sur les réseaux sociaux et indiquer à l'application un âge et un type de corps, et elle crache une image en quelques secondes", a déclaré Inman Grant.

« J'ai l'impression que ce n'est que la pointe de l'iceberg, compte tenu de la puissance et de l'accessibilité de ces applications. Et je ne pense pas qu'aucun d'entre nous aurait pu prévoir à quelle vitesse elles ont proliféré.

« Il existe littéralement des milliers d'applications de ce type. »

Inman Grant a déclaré que les abus basés sur des images, y compris les deepfakes nus générés par l'IA, étaient couramment signalés à son bureau. Elle a déclaré qu'environ 85 % des images et vidéos intimes signalées ont été supprimées avec succès.

« Tous les niveaux de gouvernement prennent cela au sérieux, et il y aura des répercussions pour les plateformes et pour les personnes qui génèrent ce matériel. »

« J'ai failli vomir quand je l'ai vu »

Le problème est devenu une sombre réalité pour les étudiants et leurs parents en juin, lorsqu'un adolescent de Bacchus Marsh Grammar a été arrêté pour avoir créé des images nues d'environ 50 de ses camarades de classe à l'aide d'un outil alimenté par l'IA, puis les avoir diffusées via Instagram et Snapchat.

Emily, parent d'un des élèves de l'école, est thérapeute en traumatologie et a déclaré à ABC Radio qu'elle avait vu les photos quand elle est allée chercher sa fille de 16 ans après une soirée pyjama.

Elle avait un seau dans la voiture pour sa fille, qui avait « mal au ventre » sur le chemin du retour.

« Elle était très bouleversée et vomissait. C'était incroyablement explicite », a déclaré Emily.

« Je veux dire, ce sont des enfants... Les photos étaient mutilées et tellement explicites. J'ai failli vomir quand je les ai vues.

« Cinquante filles, c'est beaucoup. C'est vraiment dérangeant. »

Bacchus Marsh Grammar a fait la une des journaux à cause d'images pornographiques, mais l'activiste Melinda Tankard Reist affirme que le problème est répandu.

Selon Emily, les comptes Instagram des victimes étaient définis comme privés, mais cela n'a pas empêché l'agresseur de générer les images nues.

« Il y a juste ce sentiment de... est-ce que cela va se reproduire ? C'est très traumatisant. Comment pouvons-nous les rassurer sur le fait qu'une fois les mesures mises en place, cela ne se reproduira plus ? »

Une porte-parole de la police de Victoria a déclaré qu'aucune accusation n'avait encore été portée et qu'une enquête était en cours.

La militante Melinda Tankard Reist dirige Collective Shout, le groupe de campagne qui lutte contre l'exploitation des femmes et des filles. Elle a rencontré des filles dont le visage a été appliqué sur des images explicites.

Tankard Reist a déclaré que les filles dans les écoles de tout le pays étaient traumatisées par le fait que les garçons « se transforment en producteurs de porno autoproclamés ».

« Nous utilisons le terme deepfakes, mais je pense que cela dissimule le fait qu'il s'agit d'une vraie fille dont le visage a été retiré de ses profils sur les réseaux sociaux et superposé sur un corps nu », a-t-elle déclaré. « Et vous n'avez pas besoin d'aller sur le dark web ou dans un endroit secret, tout est là, dans le grand public.

« Je suis dans les écoles tout le temps, dans tout le pays, et certaines écoles ont reçu l'attention des médias - mais cela se produit partout. »

L'incident de Bacchus Marsh Grammar est survenu après qu'un autre étudiant de Victoria, du Salesian College de Melbourne, a été expulsé après avoir utilisé un logiciel basé sur l'IA pour faire des « deepnudes » d'une de ses enseignantes.

Une lacune dans la loi

En Australie, la loi rattrape le problème.

Jusqu'à présent, des lois spécifiques sur le deepfake pornographique par IA n'existaient qu'à Victoria, où l'utilisation de l'IA pour générer et distribuer des deepfakes sexualisés est devenue illégale en 2022.

Ce mois-ci, le gouvernement fédéral a présenté une loi visant à interdire la création et le partage de deepfakes pornographiques, qui est actuellement débattue par le Parlement. Les contrevenants encourront des peines de prison allant jusqu'à six ans pour avoir transmis du matériel sexuellement explicite sans consentement, et une année supplémentaire s'ils ont créé le deepfake.

La législation s'appliquera au matériel sexuel représentant des adultes, le matériel pédopornographique étant déjà traité par le code pénal australien, selon le procureur général Mark Dreyfus. Les images générées par l'IA sont déjà illégales si elles représentent une personne de moins de 18 ans de manière sexualisée, a-t-il déclaré.

« Ce sont en grande majorité des femmes et des filles qui sont la cible de ce comportement offensant et dégradant. Et cela devient de plus en plus préoccupant, car les nouvelles technologies émergentes facilitent ce type d'abus », a déclaré Dreyfus.

« Nous avons présenté cette législation au Parlement pour combler une lacune dans la loi. Les infractions pénales existantes ne couvrent pas de manière adéquate les cas où du matériel sexuel truqué pour adultes est partagé en ligne sans consentement. »

Le gouvernement fédéral a également proposé un examen indépendant de la loi sur la sécurité en ligne pour s'assurer qu'elle est adaptée à son objectif.

Noelle Martin est avocate et chercheuse. À l'âge de 18 ans, elle a été la cible de prédateurs sexuels qui fabriquaient et partageaient des images pornographiques truquées d'elle sans son consentement.

Pour Martin, plus une victime-survivante est jeune, plus le préjudice est grave.

« Les dommages causés aux victimes survivantes de contenus intimes fabriqués sont tout aussi graves que s'ils étaient réels, et les conséquences peuvent être mortelles », a-t-elle déclaré.

« Pour les adolescentes en particulier, cette forme d'abus peut rendre plus difficile la gestion de la vie quotidienne, de l'école et de l'entrée sur le marché du travail. »

Ces abus « pourraient priver les victimes de leur plein potentiel et potentiellement faire dérailler leurs espoirs et leurs rêves », a déclaré Martin.

Martin souhaite que toutes les parties impliquées dans le pipeline des deepfakes soient tenues responsables de la facilitation des abus, y compris les sites de médias sociaux qui font la publicité des fournisseurs de deepfakes, Google et d'autres moteurs de recherche qui dirigent le trafic vers eux, et les fournisseurs de cartes de crédit qui facilitent leurs transactions financières.

« En fin de compte, les lois ne sont qu'une partie de la solution à ce problème », a-t-elle déclaré. « Nous avons également besoin d'une meilleure éducation dans les écoles pour prévenir ces abus, de services d'assistance spécialisés pour les victimes et de moyens solides pour supprimer ces contenus une fois qu'ils ont été diffusés en ligne.

« Mais les pays, les gouvernements, les forces de l'ordre, les régulateurs et les plateformes numériques devront coopérer et se coordonner pour s'attaquer à ce problème. Si ce n’est pas le cas, le problème ne fera qu’empirer. »

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd