Deepfakes et sécurité des enfants : une enquête et une analyse des incidents et des réponses de 2023

AVERTISSEMENT : Cet article ne constitue pas un avis ou un commentaire juridique et ne doit pas être interprété comme tel.

L'année 2023 a été marquée par une augmentation du nombre de matériels pédophiles générés par l'IA, ainsi que par des poursuites contre les contrevenants, diverses tentatives législatives pour lutter contre les deepfakes de l'IA ciblant les mineurs et le décret exécutif sur l'intelligence artificielle de l'administration Biden.

Les deepfakes peuvent être globalement classés en deux catégories principales, chacune avec son propre sous-ensemble lié au CSAM. La première catégorie comprend les deepfakes d’individus réels, où le préjudice prédominant associé au CSAM provient de la génération de deepfake pornographie mettant en scène de vrais enfants. La deuxième catégorie englobe les deepfakes dont les sujets sont entièrement virtuels mais d’un réalisme convaincant. Dans cette catégorie, les préoccupations liées au CSAM sont principalement liées à la création de supports audiovisuels synthétiques inappropriés représentant des enfants virtuels. Collectivement, ces deux catégories taxonomiques démontrent les différentes manières troublantes dont la technologie deepfake peut être utilisée, en particulier dans la génération et la prolifération de CSAM.

Cet article fournit un aperçu de certains des travaux de la base de données d'incidents d'IA pour suivre ces incidents émergents, ainsi qu'une enquête sur certaines des réponses législatives naissantes.

Trois affaires judiciaires spécifiques – une en Corée du Sud, une au Québec et une en Caroline du Nord – se concentrent sur des hommes qui ont utilisé l’IA pour générer de la fausse pornographie d’enfants.

En Corée du Sud, l'accusé anonyme a généré 360 images d'enfants dans des situations sexuelles. Au cours du procès, les procureurs ont souligné que la définition légale du matériel d’exploitation sexuelle devrait s’étendre aux représentations impliquant des « humains virtuels » et ne pas se limiter aux images d’enfants réels. Ils ont fait valoir qu’avec l’avènement de technologies « de haut niveau », telles que l’IA, des images suffisamment réalistes pour ressembler à de véritables mineurs peuvent constituer un contenu sexuellement abusif. Cette position a été soutenue par la décision rendue dans cette affaire, qui s’aligne sur le point de vue du procureur sur les capacités technologiques modernes et leurs implications juridiques.

Dans l'Affaire du Québec, Steven Larouche de Sherbrooke a été condamné à plus de trois ans de prison pour avoir produit de la pornographie juvénile synthétique à l'aide de la technologie deepfake. Il a admis avoir créé au moins sept vidéos en superposant des visages sur d'autres corps. De plus, Larouche a été reconnu coupable de possession d'une vaste collection de pornographie juvénile, ce qui lui a valu quatre ans et demi de prison supplémentaires. Le juge de la Cour provinciale Benoit Gagnon a souligné qu'il s'agissait du premier cas d'exploitation d'enfants lié au deepfake au pays, exprimant ses inquiétudes quant à l'utilisation abusive potentielle de cette technologie pour manipuler des images d'enfants sur les réseaux sociaux.

L'affaire de Caroline du Nord impliquait le pédopsychiatre David Tatum. Parmi ses autres accusations, les preuves présentées lors de son procès ont révélé que Tatum a utilisé l'IA pour transformer des images habillées de mineurs en matériel explicite, notamment en modifiant des photos d'un bal à l'école et d'une célébration du premier jour d'école à l'aide d'une application d'IA basée sur le Web.

L’analyse du discours médiatique révèle une divergence dans les types d’incidents résultant de cette technologie. Les cas ci-dessus correspondent à des reportages de longue date sur les prédateurs d’enfants et leurs condamnations, bien qu’avec la présence émergente de l’IA dans le profil global de la criminalité. Ci-dessous, deux cas majeurs d’une nature différente démontrent la prolifération dans les communautés locales (qu’il s’agisse de villes ou d’écoles) de portraits de filles utilisés dans la pornographie deepfake.

À Almendralejo, Espagne, l'IA a été utilisée pour créer et diffuser des images de jeunes filles dans lesquelles elles devaient apparaître nues. Les images, impliquant plusieurs filles du quartier, auraient été largement partagées, ce qui aurait donné lieu à une enquête policière. Les mères des filles ont sensibilisé à ce problème, s'inquiétant du potentiel de téléchargement de ces images sur des sites pornographiques. Les responsables régionaux ont confirmé qu'une enquête était en cours et que certains suspects ont été identifiés. Cet incident, décrit comme une violence numérique basée sur le genre, a suscité une large condamnation.

De même, au Westfield High School du New Jersey, des images pornographiques d'élèves générées par l'IA ont provoqué une détresse considérable et ont déclenché une enquête. Dorota Mani, dont la fille Francesca a été ciblée, a exprimé ses inquiétudes quant à l'impact de l'IA sur les enfants et a déposé un rapport de police, et les deux ont passé sur CNN pour discuter de l'incident. La réponse de l’école pourrait, à terme, être considérée comme l’une des premières études de cas majeures en matière de réponse à ces incidents. À peu près au même moment que Westfield, le lycée Issaquah, dans l'État de Washington, était confronté à son propre problème similaire avec des deepfakes.

La plupart des exemples examinés ci-dessus semblent principalement impliquer l’appropriation illicite de véritables portraits d’enfants. En revanche, le cas sud-coréen est un exemple de technologie utilisée pour générer des médias audiovisuels synthétiques représentant des enfants qui n’existent pas dans la vie réelle, ce qui présente également des problèmes importants.

Récemment, un incident a été révélé lorsqu'un utilisateur de LinkedIn a signalé qu'une application d'IA connue sous le nom de PicSo_ai générait un contenu inapproprié, de manière alarmante, en mettant l'accent sur les « filles ». Il ne s’agissait pas d’un cas isolé. Une recherche sur Instagram a recommandé des suggestions automatiques troublantes liées à des images de filles mineures générées par l’IA, marquées comme « populaires ». Cette découverte indique une tendance inquiétante selon laquelle l'IA est exploitée dans une zone grise et où, selon une enquête récente du Wall Street Journal, l'algorithme Reels d'Instagram recommande aux utilisateurs qui suivent de jeunes influenceurs des contenus sexuellement suggestifs et explicites liés aux enfants et aux adultes. Cela a soulevé d’importantes inquiétudes quant à la modération et à la sécurité du contenu de la plateforme, les publicités des grandes marques apparaissant à côté de ce contenu. Malgré les efforts de Meta pour mettre en œuvre des outils de sécurité, les défis en matière de curation de contenu algorithmique et de sécurité numérique sur les réseaux sociaux restent persistants.

Le Wall Street Journal a également rapporté récemment sur le procureur général du Nouveau-Mexique qui a déposé une plainte contre Meta, alléguant que les algorithmes de Facebook et d'Instagram ont dirigé les prédateurs et le contenu pornographique vers des comptes tests à thème mineur. L’enquête portait sur des images d’enfants fictifs générées par l’IA, ce qui a permis aux comptes de recevoir des messages explicites et des propositions sexuelles. Le procès affirme que les plateformes de Meta sont devenues un marché pour les prédateurs et critique leur incapacité à protéger les utilisateurs mineurs, citant plusieurs cas criminels d’exploitation via ces plateformes. Dans ce cas, ce sont les enquêteurs qui ont généré les images des mineurs fictifs, en adaptant les nouvelles technologies aux anciennes techniques de ce domaine spécifique de l'application de la loi.

Une étude récente de David Thiel de l'Observatoire Internet de Stanford détaille la présence de CSAM dans les données de formation de modèles d'apprentissage automatique génératifs, en se concentrant sur l'ensemble de données LAION-5B utilisé pour des modèles tels que Stable Diffusion. Grâce à diverses méthodes, notamment les classificateurs PhotoDNA et ML, Thiel a identifié de nombreuses instances connues et nouvelles de CSAM dans l'ensemble de données. Les résultats arrivent à point nommé car ils mettent en évidence la nécessité d'une conservation des données plus rigoureuse et de pratiques de formation modèles pour empêcher la perpétuation de contenus préjudiciables, conformément aux préoccupations soulevées par les incidents sur les plateformes de médias sociaux et soulignant l'importance d'un développement plus responsable de l'IA dans ce domaine. devant.

Actuellement, les efforts juridiques visant à lutter contre les deepfakes CSAM ont été réactifs et fragmentaires. Le décret du président Biden sur l’IA vise cependant à établir des normes strictes pour empêcher toute utilisation abusive de l’IA, en se concentrant sur la sécurité nationale et la sécurité individuelle, ce qui implique l’authentification du contenu numérique et l’étiquetage des médias synthétiques, en particulier pour protéger les enfants des dommages causés par l’IA. Les développeurs doivent partager les résultats des tests de sécurité de l’IA avant leur utilisation publique, en ciblant des problèmes tels que la création de CSAM. L’ordonnance ordonne l’élaboration de normes pour l’authentification du contenu et la détection de l’IA, et traite du CSAM généré par l’IA et des images sexualisées non consensuelles. Avant le décret, U.S. les procureurs généraux ont exhorté le Congrès à enquêter sur le rôle de l'IA dans l'exploitation des enfants, soulignant la nécessité d'une législation complète sur la confidentialité des données.

Pour l'instant, aucun projet de loi fédéral global n'existe, mais des efforts ont été déployés. été faites (par exemple, H.R.3230 DEEP FAKES Accountability Act). Vous trouverez ci-dessous quatre exemples de législation au niveau des États :

• Californie, AB 602, Section 1708.86 : modifie la loi existante pour permettre non seulement des mesures contre ceux qui créent et partagent du matériel sexuellement explicite sans consentement, mais met également l'accent spécifiquement sur les poursuites judiciaires contre les individus qui distribuent du matériel qu'ils n'ont pas créé, à condition qu'ils sachent que la personne représentée n'a pas consenti à sa création. Cet aspect du projet de loi est important car il étend la responsabilité à ceux qui propagent du contenu explicite non consensuel, quel que soit leur rôle dans sa création originale.

• Floride, CS/CS/SB 1798 : traite des infractions sexuelles impliquant des images modifiées, en particulier des deepfakes. Il criminalise la promotion de représentations sexuelles modifiées sans consentement, les définissant comme des crimes au troisième degré. Le projet de loi élargit la définition de « pornographie juvénile » pour inclure les images modifiées numériquement représentant des mineurs en train de se livrer à des relations sexuelles. Il augmente également les sanctions en cas de cyberharcèlement sexuel et de contact sexuel avec des animaux, y compris la possession de poupées sexuelles ressemblant à des enfants. Des exemptions sont accordées à certaines entités, comme les médias d'information et les forces de l'ordre, dans des conditions spécifiées. Le projet de loi met l’accent sur la protection des mineurs et sur la lutte contre les tendances émergentes en matière d’exploitation sexuelle numérique.

• Illinois, House Bill 2123 : Redéfinit « l'image sexuelle » dans la Loi sur les recours civils en cas de diffusion non consensuelle d'images sexuelles privées pour inclure des images montrant de la nudité ou des images sexuelles. conduite, qu’elle soit réelle ou modifiée numériquement. Il permet aux personnes figurant sur ces images d’intenter des poursuites judiciaires contre ceux qui partagent ou menacent de partager ces images, notamment en l’absence de consentement. L’amendement précise que la divulgation de la modification numérique d’une image ne constitue pas une défense. Il supprime également certaines responsabilités des services informatiques interactifs et précise que l’ajout d’un message politique à de telles images n’en fait pas un sujet d’intérêt public. De plus, les tribunaux peuvent ordonner l’arrêt de la diffusion de ces images.

• Virginia, Code 18.2-386.2 : le partage ou la vente malveillante de nu constitue un délit de classe 1. ou des images sexuellement explicites de quelqu'un sans son consentement, surtout si elles sont faites pour harceler, contraindre ou intimider. Cela inclut les images qui ont été modifiées numériquement pour représenter une personne. Les fournisseurs de services Internet ne sont pas tenus responsables du contenu partagé par d'autres. Une action en justice peut être intentée là où l'acte illicite a eu lieu ou là où l'image a été manipulée. D'autres frais juridiques peuvent également s'appliquer.

Dans la base de données des incidents AI (AIID), nous avons catalogué et étudié avec inquiétude ces récents incidents CSAM. Comme toute technologie, l’IA générative présente des risques et des opportunités – et les risques pour les enfants dans ce cas sont sérieux. Si vous souhaitez nous rejoindre dans notre mission de documentation des incidents d'IA dans le but d'apprendre des erreurs passées pour atténuer les risques futurs, vous pouvez nous contacter via notre page contact . Nous acceptons les soumissions signalant tout incident d'IA en utilisant notre page submission ; Cependant, veuillez noter que même si nous suivons et analysons activement les tendances et les incidents CSAM, l'AIID n'est pas la destination directe des rapports pour les CSAM réels. Veuillez adresser le signalement des abus sexuels sur les enfants au ministère de la Justice Section contre l'exploitation des enfants et l'obscénité.