Stable Diffusion, l'un des outils d'IA générative de texte en image les plus populaires sur le marché de [la startup Stability AI d'un milliard de dollars](https://www.forbes.com/sites/kenrickcai/2023/06/04/stable -diffusion-emad-mostaque-stability-ai-exaggeration/?sh=27a1179275c5 "https://www.forbes.com/sites/kenrickcai/2023/06/04/stable-diffusion-emad-mostaque-stability-ai- exaggeration/?sh=27a1179275c5"), a été formé sur une mine de matériel illégal d'abus sexuels sur des enfants, selon une nouvelle étude de l'Observatoire Internet de Stanford.
Le modèle a été formé sur des ensembles de données ouverts massifs afin que les utilisateurs puissent générer des images réalistes à partir d'invites telles que : "Montrez-moi un chien habillé comme un astronaute chantant sous la pluie à Times Square". Plus ces types de modèles sont alimentés en images, plus ils deviennent forts --- et plus les résultats de cet astro-chiot chantant à Times Square sont proches de la perfection. Mais des chercheurs de Stanford ont découvert qu'un vaste ensemble de données publiques de milliards d'images utilisé pour former Stable Diffusion et certains de ses pairs, appelé [LAION-5B](https ://laion.ai/blog/laion-5b/ "https://laion.ai/blog/laion-5b/"), contient des centaines d'images connues de matériel d'abus sexuel sur des enfants. En utilisant du vrai CSAM récupéré sur le Web, l’ensemble de données a également contribué à la création de CSAM générés par l’IA, selon l’analyse de Stanford. Et la technologie s’est améliorée si rapidement qu’il est souvent presque impossible à l’œil nu de distinguer les fausses images des vraies.
"Malheureusement, les répercussions du processus de formation de Stable Diffusion 1.5 seront présentes pendant un certain temps encore", déclare l'étude, dirigé par le technologue en chef de l'observatoire, David Thiel. Le rapport appelle à débrancher tous les modèles construits sur Stable Diffusion 1.5 qui ne disposent pas de protections appropriées. (D'autres itérations de Stable Diffusion ont une certaine capacité à produire des images explicites, selon Thiel, mais la recherche a révélé que la version 1,5 était la plus problématique.)
Les chercheurs, qui ont trouvé plus de 3 000 éléments suspects de CSAM dans les données publiques de formation, ont averti que le volume réel est probablement beaucoup plus élevé, étant donné que leur évaluation ne date que de septembre et qu'elle s'est concentrée sur une petite partie seulement de l'ensemble des milliards. d'images. Ils ont mené l'étude à l'aide de PhotoDNA, un outil Microsoft qui permet aux enquêteurs de faire correspondre les « empreintes digitales » numériques des images en question avec des éléments CSAM connus dans des bases de données gérées par le Centre national pour les enfants disparus et exploités et le Centre canadien de protection de l'enfance. Ces organisations à but non lucratif sont chargées de transmettre ces informations aux forces de l’ordre.
"Nous nous engageons à empêcher l'utilisation abusive de l'IA et à interdire l'utilisation de nos modèles d'images et de nos services à des fins d'activités illégales, y compris les tentatives de modification ou de création de CSAM", a déclaré Ben Brooks, responsable des politiques publiques chez Stability AI, dans un e-mail après la publication. . Stable Diffusion 1.5 a été publié par RunwayML, et non par Stability AI, a-t-il déclaré.
Les règles de Stability AI indiquent que ses modèles ne peuvent pas être utilisés à des fins "d'exploitation ou de préjudice envers des enfants, y compris la sollicitation, création, acquisition ou diffusion de contenu exploitant des enfants. La société a également pris des mesures pour résoudre le problème, comme la publication de versions plus récentes de Stable Diffusion qui filtraient les éléments explicites plus « dangereux » des données et des résultats de formation. Brooks a ajouté que Stability AI a "implémenté des filtres pour intercepter les invites ou les sorties dangereuses" et "a investi dans des fonctionnalités d'étiquetage de contenu pour aider à identifier les images générées sur notre plate-forme... [rendant] plus difficile pour les mauvais acteurs d'abuser de l'IA".
Néanmoins, l'étude de Stanford a révélé que Stable Diffusion est formé en partie sur le contenu illégal des enfants --- y compris les CSAM sélectionnés sur des sites grand public comme [Reddit](https://www.forbes.com/sites/rashishrivastava/2023/05/11 /reddit-ai-generated-porn/?sh=76bb3392e52a "https://www.forbes.com/sites/rashishrivastava/2023/05/11/reddit-ai-generated-porn/?sh=76bb3392e52a"), Twitter (maintenant X) et WordPress, qui ne le permettent pas en premier lieu --- et que ces types d'outils d'IA peuvent également être utilisés à mauvais escient pour produire de faux CSAM. Stability AI ne semble pas avoir rapporté a soupçonné du CSAM au "CyberTipline" géré par NCMEC, mais Christine Barndt, porte-parole de l'organisation à but non lucratif, a déclaré que l'IA générative "rend la tâche beaucoup plus difficile pour les forces de l'ordre doivent faire la distinction entre les enfants victimes réels qui doivent être retrouvés et secourus, et les images et vidéos artificielles. (Brooks de Stability AI a déclaré après la publication que "nous n'avons connaissance d'aucun cas confirmé de CSAM sur notre plateforme, mais nous nous engageons à signaler... au NCMEC le cas échéant."
"Si j'ai utilisé du matériel illégal pour entraîner ce modèle, le modèle lui-même est-il illégal ?"
Stable Diffusion 1.5 est le modèle le plus populaire construit sur LAION-5B, selon le rapport, mais ce n'est pas le seul formé sur les ensembles de données LAION. Midjourney, le laboratoire de recherche à l'origine d'un autre générateur d'images IA de premier plan, utilise également LAION-5B. Imagen de Google a été formé sur un ensemble de données différent mais connexe appelé LAION-400M, mais après que les développeurs ont découvert des images et des stéréotypes troublants dans les données, ils « l'ont jugé impropre à un usage public », indique le rapport. Stanford s'est concentré sur le logiciel Stability AI car il s'agit d'un grand modèle open source qui divulgue ses données de formation, mais affirme que d'autres ont probablement été formés sur le même ensemble LAION-5B. En raison du peu de transparence dans ce domaine, il est difficile de savoir quels acteurs clés ont formé leurs propres modèles sur les mêmes données.
Midjourney n'a pas répondu à une demande de commentaire. Hannah Wong, porte-parole d'OpenAI --- créatrice du rival DALL-E de Stable Diffusion --- a déclaré qu'OpenAI ne s'entraîne sur aucun ensemble de données LAION, y compris 5B.
"Supprimer des éléments des modèles eux-mêmes est la tâche la plus difficile", note le rapport. Certains contenus générés par l’IA, en particulier ceux d’enfants qui n’existent pas, peuvent également tomber dans un territoire juridique obscur. Inquiets du fait que la technologie ait dépassé les lois fédérales protégeant contre les abus sexuels sur les enfants et l'exploitation de leurs données, les procureurs généraux des États-Unis ont récemment [appelé le Congrès](https://www.naag.org/press-releases/54-attorneys- appel-général-au-congress-to-study-ai-and-its-harmful-effects-on-children/ "https://www.naag.org/press-releases/54-attorneys-general-call-on -congress-to-study-ai-and-its-nocif-effects-on-children/") pour prendre des mesures pour lutter contre la menace de l'IA CSAM.
Le Centre canadien de protection de l'enfance, qui a contribué à valider les conclusions de Stanford, est très préoccupé par le manque général de soin dans la conservation de ces énormes ensembles de données --- qui ne font qu'exacerber les problèmes de longue date liés au CSAM qui affligent toutes les grandes entreprises technologiques, y compris [Apple](https https://www.forbes.com/sites/thomasbrewster/2023/09/07/apple-icloud-child-sexual-abuse-material-privacy/?sh=7d75916e727e "https://www.forbes.com/sites/ thomasbrewster/2023/09/07/apple-icloud-child-sexual-abuse-material-privacy/?sh=7d75916e727e") et [TikTok](https://www.forbes.com/sites/alexandralevine/2022/11 /11/tiktok-private-csam-child-sexual-abuse-material/?sh=605995663ad9 "https://www.forbes.com/sites/alexandralevine/2022/11/11/tiktok-private-csam-child- matériel-d'abus-sexuel/?sh=605995663ad9").
"L'idée de conserver un milliard d'images de manière responsable est une chose très coûteuse, il faut donc prendre des raccourcis pour essayer d'automatiser autant que possible", a déclaré Lloyd Richardson, directeur informatique de l'organisation, à Forbes. "Il y avait du matériel connu d'abus sexuels sur des enfants qui figurait certainement dans des bases de données qu'ils auraient pu filtrer, mais ne l'ont pas fait... [et] si nous y trouvons du CSAM connu, il y a certainement du contenu inconnu également."
Cela, a-t-il ajouté, soulève une question majeure pour de nombreux acteurs de l'IA générative : « Si j'ai utilisé du matériel illégal pour entraîner ce modèle, le modèle lui-même est-il illégal ? Et c'est une question vraiment inconfortable pour beaucoup de ces entreprises qui sont, assez franchement, je ne fais vraiment rien pour organiser correctement leurs ensembles de données. »
Stability AI et Midjourney font partie séparément de plusieurs entreprises technologiques poursuivies par un groupe d'artistes qui ont allégué que les nouveaux arrivants avaient utilisé à tort leur travail créatif pour former l'IA.
Cette histoire et son titre ont été mis à jour pour refléter les commentaires de Stability AI fournis après la publication.