Un vaste ensemble de données publiques qui a servi de données de formation pour un certain nombre de générateurs d’images d’IA s’est avéré contenir des milliers de cas de matériel d’abus sexuel sur des enfants (CSAM).
Dans une étude publiée aujourd'hui, le Stanford Internet Observatory (SIO) a déclaré avoir examiné plus de 32 millions de points de données dans l'ensemble de données LAION-5B et avoir pu valider : à l'aide de l'outil PhotoDNA développé par Microsoft, 1 008 images CSAM – certaines incluses plusieurs fois. Ce nombre est probablement « un sous-estimation importante », ont indiqué les chercheurs dans leur article.
LAION-5B n'inclut pas les images elles-mêmes, mais constitue plutôt une collection de métadonnées comprenant un hachage de l'identifiant de l'image, une description, des données de langue, si elle peut être dangereuse et une URL pointant vers l'image. Un certain nombre de photos CSAM liées à LAION-5B ont été trouvées hébergées sur des sites Web comme Reddit, Twitter, Blogspot et Wordpress, ainsi que sur des sites Web pour adultes comme XHamster et XVideos.
Pour trouver des images dans l'ensemble de données qui méritent d'être testées, SIO s'est concentré sur les images marquées par le classificateur de sécurité de LAION comme « dangereuses ». Ces images ont été numérisées avec PhotoDNA pour détecter les CSAM, et les correspondances ont été envoyées au Centre canadien de protection de l'enfance (C3P) pour être vérifiées.
"La suppression du matériel source identifié est actuellement en cours alors que les chercheurs ont signalé les URL des images au Centre national pour les enfants disparus et exploités (NCMEC) aux États-Unis et au C3P", a déclaré le SIO [a déclaré](https://cyber.fsi .stanford.edu/io/news/investigation-finds-ai-image-generation-models-trained-child-abuse).
LAION-5B a été utilisé pour entraîner, entre autres choses, le populaire générateur d'images d'IA Stable Diffusion version 1.5, bien connu dans certains coins d'Internet pour sa capacité à créer des images explicites. Bien qu'elle ne soit pas directement liée à des cas comme celui d'un pédopsychiatre utilisant l'IA pour générer des images pornographiques de mineurs, c'est ce genre de technologie qui a été créée deepfake sextorsion et d'autres crimes plus faciles.
Selon le SIO, Stable Diffusion 1.5 reste populaire en ligne pour générer des photos explicites après « un mécontentement généralisé de la communauté » avec la sortie de Stable Diffusion 2.0, qui a ajouté des filtres pour empêcher les images dangereuses de se glisser dans l'ensemble de données d'entraînement.
Nous avons demandé à Stability AI, qui finance et dirige le développement de Stable Diffusion, si elle était au courant de la présence de CSAM dans LAION-5B, et si l'un de ces éléments avait trouvé sa place dans la série de modèles de la startup ; l'entreprise n'a pas répondu à nos questions.
Nous notons que bien que Stability ait publié diverses versions de Stable Diffusion, y compris la version 2.0 avec les filtres susmentionnés, la version 1.5, qui a été étudiée par le SIO et formée sur LAION-5B, a été publiée par une autre startup appelée RunwayML, qui collabore avec Stability AI. .
Oups, ils ont encore recommencé
Bien que ce soit la première fois que les données de formation à l'IA de l'association allemande à but non lucratif LAION sont accusées d'héberger de la pédopornographie, l'organisation a déjà été critiquée pour avoir inclus du contenu douteux dans ses données de formation.
Google, qui a utilisé un prédécesseur de LAION-2B connu sous le nom de LAION-400M pour former son générateur Imagen AI, a décidé de ne jamais publier l'outil en raison de plusieurs préoccupations, notamment si les données de formation LAION l'avaient aidé à construire un modèle biaisé et problématique.
Selon l'équipe Imagen, le générateur a montré "un biais global vers la génération d'images de personnes à la peau plus claire et... représentant différents professions pour s'aligner sur les stéréotypes de genre occidentaux. La modélisation d'objets autres que les humains n'a pas amélioré la situation, ce qui a amené Imagen à "coder une gamme de préjugés sociaux et culturels lors de la génération d'images d'activités, d'événements et d'objets".
Un audit du LAION-400M lui-même « a révélé un large éventail de contenus inappropriés, notamment des images pornographiques, des insultes racistes et des stéréotypes sociaux préjudiciables ».
Quelques mois après que Google ait décidé de ne pas rendre Imagen publique, une artiste repéré des images médicales d'une opération chirurgicale qu'elle a subie 2013 présent dans LAION-5B, qu'elle n'a jamais donné la permission d'inclure.
LAION n'a pas répondu à nos questions à ce sujet, mais le fondateur Christoph Schuhmann a déclaré à Bloomberg plus tôt cette année qu'il n'était [pas au courant](https://www.bloomberg.com/news/features/2023-04-24/a -high-school-teacher-s-free-image-database-powers-ai-unicorns?leadSource=uverify%20wall) de tout CSAM présent dans LAION-5B, tout en admettant également "qu'il n'a pas examiné les données en profondeur". "
Par coïncidence ou non -- l'étude SIO n'est pas mentionnée -- LAION a choisi hier de présenter des plans de "procédures de maintenance régulières", commençant immédiatement, pour supprimer "des liens dans les ensembles de données LAION qui pointent toujours vers des contenus suspects et potentiellement illégaux sur l'Internet public."
"LAION a une politique de tolérance zéro à l'égard des contenus illégaux", a déclaré la société. "Les ensembles de données publics seront temporairement supprimés, pour revenir après le filtrage des mises à jour." LAION prévoit de rendre ses ensembles de données au public dans la seconde quinzaine de janvier. ®
Mis à jour pour ajouter
Un porte-parole de Stability AI a refusé de préciser si le nouveau venu était au courant du contenu problématique de LAION-5B, et a déclaré à la place que sa propre série Stable Diffusion avait été formée sur une partie des images de l'ensemble de données – bien que l'on ne nous dise pas si cela partie contenait ou non du CSAM.
"Les modèles d'IA de stabilité ont été formés sur un sous-ensemble filtré de cet ensemble de données", a déclaré le représentant. "De plus, nous avons ensuite affiné ces modèles pour atténuer les comportements résiduels."
Le porte-parole a également déclaré qu'il place des filtres sur les invites de saisie et les images de sortie pour idéalement détecter et empêcher les tentatives de création de contenu illégal. "Nous nous engageons à empêcher l'utilisation abusive de l'IA et à interdire l'utilisation de nos modèles d'images et de nos services à des fins d'activités illégales, y compris les tentatives de modification ou de création de CSAM", ont-ils déclaré à The Register.
Enfin, Stability AI nous a souligné que le SIO étudiait la version 1.5 de Stable Diffusion, que la startup n'a pas publiée. Il a déclaré qu'il n'était pas d'accord avec la décision du collaborateur RunwayML de publier cette version du modèle formé par LAION-5B.