L’IA générative s’est démocratisée. Les kits d'outils permettant de télécharger, de configurer, d'utiliser et d'affiner une variété de modèles ont été transformés en frameworks en un clic pour toute personne disposant d'un ordinateur portable. Bien que cette technologie permette aux utilisateurs de générer et d’expérimenter un large éventail de contenus, elle permet également, sans garde-fous, de générer du matériel incroyablement nocif.
Le mois dernier, le Stanford Internet Observatory (SIO) publié un rapport identifiant les enfants Matériel d'abus sexuel (CSAM) dans le Réseau ouvert d'intelligence artificielle à grande échelle (LAION) LAION-5B, une base de données populaire de formation d'images d'IA. S'appuyant sur travaux antérieurs, le rapport et la couverture médiatique qui a suivi ont mis en évidence un côté laid et inquiétant du boom de l'IA générative et les défis auxquels sont confrontés les forces de l'ordre, les gouvernements et le secteur privé. dans la poursuite, la lutte et la création d’une législation autour du CSAM généré par l’IA.
Les organismes chargés de l'application de la loi et les décideurs politiques, déjà submergés par le volume considérable de contenus pédopornographiques numériques, trouvent la prolifération rapide et les capacités de l'IA générative intimidantes. Ces systèmes avancés peuvent non seulement reproduire des contenus CSAM existants, mais également générer de nouvelles instances n’impliquant pas de victimes humaines directes, ce qui complique les réponses juridiques. Les implications sont profondes : si un modèle est entraîné à l'aide de données incluant du CSAM d'origine, ses pondérations peuvent se répliquer, voire générer de nouveaux CSAM, conduisant à une forme de revictimisation numérique qui est complexe et omniprésent. Les résultats de LAION sont particulièrement alarmants : l'ensemble de données sous-tend des modèles largement utilisés tels que Stable Diffusion 1.5 et Midjourney et contient pas moins de 1 679 instances de CSAM, comme identifié par le SIO.
Compte tenu de la nature technique de ces modèles, en particulier de la manière dont les pondérations des modèles pourraient encapsuler le CSAM réel, il est urgent de réévaluer la manière dont ils sont perçus au regard de la loi. Actuel juridique frameworks doivent évoluer pour tenir compte des nuances des représentations non visuelles du CSAM et du CSAM synthétique, en reconnaissant le potentiel de ces modèles à héberger et perpétuer des abus. Un effort concerté entre les organismes gouvernementaux, le secteur privé et le monde universitaire est impératif pour guider le développement de l’IA générative de manière responsable et éthique.
Contexte – IA générative
Les progrès récents de l’IA générative ont permis au profane de générer des œuvres d’art, des images et des vidéos réalistes à partir d’invites textuelles. Les derniers modèles d'IA générative sont appelés « modèles de diffusion », nés de [academic](https://arxiv. org/abs/1503.03585) research à l'Université de Californie, Berkeley et à l'Université de Stanford. En termes de contexte utile, un « modèle » est composé d'un ensemble de codes qui définissent une « architecture » et d'un ensemble de « poids » qui définissent la manière dont une invite de texte est transformée en une image significative. Considérez « l'architecture » comme le châssis d'une voiture et les « poids » comme le carburant : le châssis est inutile sans le carburant. Ces modèles sont formés sur des ensembles de données organisés en récupérant une quantité massive d'images et de textes associés sur Internet --- avec différents modèles de différentes entreprises comme OpenAI ou Stability AI utilisant des données collectées via différentes sources. Cela permet à ces modèles d'être des générateurs d'images généralistes : ils génèrent bien des éléments communs, tandis que des éléments spécifiques de niche sont souvent médiocres.
Pour que ces modèles fonctionnent pour des invites plus spécifiques, les utilisateurs peuvent collecter un petit ensemble d'images et de légendes sur un sujet et « affiner » le modèle, modifiant ainsi les poids (mais pas l'architecture) du modèle pour générer des images adaptées à leurs spécifications.
À partir d'une invite textuelle, n'importe quel smartphone courant sur le marché aujourd'hui peut générer une image réaliste en [moins de 12 secondes](https://ai.googleblog.com/2023/06/speed-is-all-you-need-on- appareil.html). Ce délai diminue rapidement à mesure que la recherche sur l’IA progresse. Les architectures et les poids affinés de nombreux modèles sont disponibles en téléchargement pour tous, partout dans le monde. Les pondérations pour des sujets spécifiques tels que "chibi anime", "portraits hyperréalistes", "artiste lo-fi" et bien d'autres ont été affinées et [rendues facilement accessibles](https://huggingface.co/spaces/huggingface-projects /diffuseurs-galerie).
De plus, un aspect troublant de ces modèles est leur capacité à « mémoriser » leurs données d'entraînement, ce qui signifie que les poids d'un modèle entraîné contiennent des représentations latentes des données d'origine, qui peut ensuite être reconstruit pour produire le contenu original ou similaire. Le problème devient particulièrement alarmant lorsqu’on considère la génération de CSAM. Étant donné que les modèles peuvent mémoriser et potentiellement recréer efficacement les données d'entraînement originales, les poids de ces modèles, lorsqu'ils sont entraînés ou affinés sur CSAM, ne sont pas de simples nombres abstraits mais peuvent représenter des reproductions potentielles de contenu réel et nuisible. Reconnaître les poids comme des reproductions potentielles du CSAM est crucial pour comprendre et légiférer contre la perpétuation du CSAM à travers ces technologies.
Cas préoccupants
Pour saisir la gravité et la complexité de ce problème, il est essentiel de comprendre les mécanismes par lesquels les acteurs malveillants peuvent exploiter l’IA générative pour produire du CSAM. En règle générale, cela implique de collecter du CSAM, d’affiner un modèle d’IA génératif avec ces données, puis d’utiliser les pondérations du modèle résultantes comme fonction générative pour produire continuellement de nouvelles instances de CSAM. Les modèles d'IA générative accessibles au public, comme Stable Diffusion XL1.5 et MidJourney, ont été [documentés](https://cyber.fsi.stanford.edu/news/investigation-finds-ai-image-generation-models-trained -child-abuse) pour avoir été formé sur des ensembles de données contenant des CSAM tels que LAION-5B, ce qui soulève d'importantes inquiétudes.
Examinons plus en détail deux cas illustratifs :
Cas 1 : Affiner un modèle d'IA générative pour générer du CSAM
Prenons l’exemple d’un individu visant à générer du CSAM. Ils commencent par télécharger un modèle fondamental d’IA générative – généralement conçu pour produire des images inoffensives – à partir d’Internet. Armé d'une collection de CSAM et utilisant des boîtes à outils open source facilement disponibles, cette personne affine ensuite le modèle d'IA génératif, créant ainsi un ensemble de pondérations de modèle optimisées pour produire du CSAM. Par conséquent, l’individu est en possession de plusieurs éléments habilitants : le CSAM original, un modèle capable de générer à la fois des répliques de CSAM et un nouveau CSAM synthétique, et la possibilité de générer un volume substantiel de ce matériel illégal avec un minimum d’effort.
Cas 2 : Téléchargement d'un modèle d'IA génératif pour générer du CSAM
Dans ce scénario, un individu acquiert un modèle déjà affiné pour la génération CSAM, éventuellement par téléchargement depuis Internet ou via le transfert de fichiers via un support physique.
Grâce à l’utilisation de boîtes à outils largement disponibles, cette personne peut facilement générer un grand volume de CSAM. Contrairement au premier cas, l’individu ne possède pas ici d’images CSAM physiques mais plutôt les poids modèles dérivés de ce matériel. Ces poids, cependant, sont capables de contenir des représentations presque parfaites du CSAM original, bien que sous une forme transformée ou brouillée.
Comme mentionné ci-dessus, les modèles d'IA générative ont la capacité déconcertante de « mémoriser » leurs données d'entraînement, ce qui signifie que lorsque les modèles sont entraînés ou affinés sur CSAM, ils possèdent la possibilité de produire des répliques presque exactes des images abusives originales dans les limites des pondérations. Dans ce deuxième cas, même si l’individu ne détient pas physiquement le CSAM d’origine, les représentations internes au sein des poids du modèle constituent effectivement des duplications du CSAM. Cela implique que chaque utilisation de ces pondérations pour générer de nouveaux CSAM contribue indirectement à la revictimisation des individus du CSAM d'origine, car leurs ressemblances sont exploitées pour créer de nouveaux cas réalistes d'abus sexuels sur des enfants.
Défis d'application de la loi
Dans cet environnement changeant, les forces de l'ordre s'efforcent de suivre le rythme, tant aux États-Unis que dans le monde entier.(https://www.iwf.org.uk/media/q4zll2ya/iwf-ai-csam-report_public -oct23v1.pdf). Aux États-Unis, 18 U.S. Code § 2256 définit la « pornographie enfantine » comme « toute représentation visuelle, y compris toute photographie, film, vidéo. , image, ou image ou image générée par ordinateur ou générée par ordinateur, qu'elle soit réalisée ou produite par des moyens électroniques, mécaniques ou autres, d'un comportement sexuellement explicite. En outre, il définit la production de pornographie juvénile comme étant « la production, la réalisation, la fabrication, la diffusion, la publication ou la publicité » de pornographie juvénile. De plus, la loi PROTECT de 2003 interdit tout « dessin, caricature, sculpture ou peinture » qui « représente un mineur [ ou quelqu'un qui semble être mineur] se livrant à un comportement sexuellement explicite.
Les lois écrites il y a des années doivent être mises à jour. Selon les interprétations actuelles du 18 U.S. Code § 2256, les pondérations des modèles ne représentent probablement pas une « représentation visuelle » de la pornographie juvénile. De plus, les poids des modèles ne semblent pas contenir de « mineur identifiable », comme le définit la loi PROTECT de 2003. Par conséquent, en vertu de la loi actuelle, les poids des modèles dérivés du CSAM ne sont pas considérés comme des éléments couverts par les lois américaines. De plus, les lois ci-dessus devraient être mises à jour pour imposer des restrictions sur les outils automatisés principalement utilisés pour générer du CSAM.
À l’avenir, il faudra veiller à combler les lacunes de toute modification proposée. Par exemple, un modèle de « deuxième génération » peut être formé pour reconstruire les résultats d'un modèle de « première génération » formé sur le CSAM d'origine. Comme ce modèle est formé sur des résultats réalistes, un modèle de « deuxième génération » pourrait encore être capable de générer des CSAM réalistes. Cependant, les poids d'un modèle de « deuxième génération » ne seraient pas dérivés du CSAM original --- juste des images synthétiques et photoréalistes. S’assurer que de telles failles n’existent pas nécessitera une redéfinition à plusieurs niveaux du CSAM synthétique et des outils utilisés pour le générer.
Répondre au besoin insatiable de données à tout prix
L’incident du LAION constitue un grave faux pas. Le domaine de l’IA doit faire mieux pour éviter la répétition d’un échec de cette ampleur à l’avenir. Immédiatement, toute personne ou organisation impliquée dans des travaux d'IA générative doit procéder à un inventaire approfondi de ses serveurs et identifier si et où ils possèdent des ensembles de données concernés ainsi que des modèles qui ont été formés ou dérivés de ces modèles.
De plus, le domaine de l’IA dans son ensemble (y compris l’industrie privée, le monde universitaire et le gouvernement) doit créer un processus standardisé pour la conservation des données à l’échelle du Web qui comprend des contrôles vérifiables pour le matériel nuisible et le matériel protégé par le droit d’auteur. Les entreprises et les universitaires conservent des ensembles de données plus volumineux que LAION-5B qui contiennent presque certainement du CSAM, ce qui nécessite la création d'un processus garantissant que cela ne se reproduise plus à l'avenir.
Le monde universitaire, en particulier, doit accorder une plus grande attention aux ensembles de données qu’il accepte pour une utilisation sur le terrain. LAION-5B a été soumis à la très influente conférence Neural Information Processing Systems (NeurIPS) pour examen par les pairs, où il a été accepté et récompensé du meilleur article dans la catégorie « ensembles de données et références ». Les critiques de l'article ont mis en évidence de graves préoccupations éthiques concernant les documents protégés par le droit d'auteur et nuisibles. Pourtant, les évaluateurs éthiques de NeurIPS ont recommandé que l'article soit accepté après avoir reconnu que si NeurIPS n'acceptait pas l'article, il serait quand même partagé ailleurs et distribu é. La barre pour être acceptée dans les lieux les plus prestigieux d’AI doit être plus haute.
Les universités et l’industrie doivent également collaborer pour établir des méthodes par lesquelles les modèles formés peuvent être automatiquement comparés à des bases de données telles que PhotoDNA afin de garantir que leurs poids ne contiennent pas de CSAM mémorisé et pour vérifier que les modèles ne peuvent pas créer de CSAM synthétique. Les preuves sans connaissance de la formation de modèles (zkPoT) représentent un début prometteur dans cette direction. À l'aide d'un zkPoT, des preuves de modèles autrement « boîte noire » peuvent être fournies aux auditeurs qui peuvent vérifier que le modèle n'a pas été formé sur des instances connues de CSAM.
Les acteurs du domaine de l’IA organisent et publient de grands ensembles de données depuis des années sans aucun contrôle ni contrepoids en place. En effet, de nombreuses entreprises permettent aux utilisateurs de produire et de distribuer des pondérations génératives d’IA. En conséquence, l’industrie pourrait s’opposer à toute législation tentant de limiter l’utilisation de l’IA générative ou ajoutant un obstacle important à la commercialisation de tels logiciels. En ciblant les poids des modèles eux-mêmes plutôt que les images générées par les modèles, il existe probablement un chemin plus facile vers l'application du premier amendement.
Les législateurs doivent agir également. Le code américain doit être modifié pour inclure les représentations non visuelles de CSAM comme matériel couvert. De plus, la loi PROTECT devrait être mise à jour pour criminaliser la création, la possession et la distribution de modèles qui ont été formés principalement pour la création de CSAM. Pour y parvenir sans failles, le CSAM synthétique doit également être redéfini en réponse aux progrès technologiques. Une responsabilité stricte pour la diffusion de sources de données Web non vérifiées doit également être établie. Cela nécessitera une législation et des batailles devant les tribunaux.
Enfin, les procédures d'enquête des organismes chargés de l'application de la loi, notamment du Federal Bureau of Investigation des États-Unis et d'autres agences du monde entier, nécessitent des mises à jour complètes pour tenir compte des nuances de l'IA générative dans la poursuite de crimes, notamment d'exploitation sexuelle et d'exploitation sexuelle. Cela implique d'étendre la portée des mandats de perquisition pour examiner rigoureusement les modèles d'IA génératifs et les pondérations associées lorsque de tels éléments sont découverts sur l'ordinateur d'un suspect. Au-delà des mises à jour des procédures, il existe un besoin urgent d'améliorer les connaissances techniques du personnel chargé de l'application des lois. Les programmes de formation spécifiquement adaptés à la compréhension et à l’étude des subtilités des technologies d’IA générative sont cruciaux. Cela permettra aux forces de l’ordre d’identifier, de tracer et de poursuivre efficacement l’utilisation abusive de l’IA dans la génération et la distribution d’images pédopornographiques, en garantissant que les agents disposent non seulement des outils juridiques nécessaires, mais également de l’expertise technique nécessaire pour relever ces défis complexes.
Ensemble, ces mesures constituent un bon départ pour garantir que le domaine de l’IA est responsable de la protection contre la conservation, la génération et la distribution de CSAM et d’autres contenus nuisibles.