Pourquoi les entreprises d’IA valorisées à des millions et des milliards de dollars créent-elles et distribuent-elles des outils permettant de produire du matériel d’abus sexuel sur enfant (CSAM) généré par l’IA ?
Un générateur d’images appelé Stable Diffusion version 1.5, qui a été créé par la société d’IA Runway avec le financement de Stability AI, a été particulièrement impliqué dans la production de CSAM. Et des plateformes populaires telles Hugging Face et Civitai ont hébergé ce modèle et d’autres qui ont peut-être été formés sur des images réelles d’abus sexuel sur enfant. Dans certains cas, les entreprises peuvent même enfreindre la loi en hébergeant du matériel CSAM synthétique sur leurs serveurs. Et pourquoi des entreprises et des investisseurs traditionnels comme Amazon, Google, Nvidia, Intel, Salesforce et Andreessen Horowitz injectent-des centaines de millions de dollars dans ces entreprises ? Leur soutien revient à subventionner des contenus destinés aux pédophiles.
En tant qu'experts en sécurité de l'IA, nous avons posé ces questions pour interpeller ces entreprises et les contraindre à prendre les mesures correctives que nous décrivons ci-dessous. Et nous sommes heureux aujourd'hui d'annoncer un triomphe majeur : apparemment en réponse à nos questions, la version 1.5 de Stable Diffusion a été supprimée de Hugging Face. Mais il reste encore beaucoup à faire, et des progrès significatifs pourraient nécessiter une législation.
L'ampleur du problème des images d'abus sexuels sur mineurs
Les défenseurs de la sécurité des enfants ont commencé à tirer la sonnette d'alarme l'année dernière : des chercheurs de l'Observatoire Internet de Stanford et de l'association technologique à but non lucratif Thorn ont publié un rapport inquiétant en juin 2023. Ils ont découvert que des outils de génération d'images d'IA largement disponibles et « open source » étaient déjà utilisés à mauvais escient par des acteurs malveillants pour produire du matériel d'abus sexuels sur mineurs. Dans certains cas, les acteurs malveillants créaient leurs propres versions personnalisées de ces modèles (un processus connu sous le nom de réglage fin) avec du matériel d'abus sexuels sur mineurs réel pour générer des images sur mesure de victimes spécifiques.
En octobre dernier, un rapport de l'organisation à but non lucratif britannique Internet Watch Foundation (https://www.iwf.org.uk/) (qui recueille des signalements de contenus pédopornographiques) a détaillé la facilité avec laquelle les acteurs malveillants parviennent désormais à créer à grande échelle des contenus pédopornographiques photoréalistes générés par l'IA. Les chercheurs ont inclus une étude « instantanée » d'un forum CSAM du dark web, analysant plus de 11 000 images générées par l'IA publiées sur une période d'un mois ; parmi celles-ci, près de 3 000 ont été jugées suffisamment graves pour être classées comme criminelles. Le rapport a appelé à une surveillance réglementaire plus stricte des modèles d'IA générative.
Les modèles d'IA peuvent être utilisés pour créer ce matériel, car ils ont déjà vu des exemples. Des chercheurs de Stanford ont découvert en décembre dernier que l'un des ensembles de données les plus importants utilisés pour former des modèles de génération d'images comprenait des centaines d'éléments d'abus sexuels sur mineurs. De nombreux générateurs d'images d'IA open source téléchargeables les plus populaires, y compris le modèle populaire Stable Diffusion version 1.5, ont été formés à l'aide de ces données. Alors que Runway a créé cette version de Stable Diffusion, Stability AI a payé la puissance de calcul pour produire l'ensemble de données et entraîner le modèle, et Stability AI a publié les versions suivantes.
Runway n'a pas répondu à une demande de commentaire. Un porte-parole de Stability AI a souligné que la société n'avait pas publié ni maintenu la version 1.5 de Stable Diffusion et a déclaré que la société avait « mis en place des mesures de protection solides » contre le CSAM dans les modèles ultérieurs, notamment l'utilisation d'ensembles de données filtrés pour la formation.
En décembre dernier, des chercheurs de la société d’analyse des médias sociaux Graphika ont découvert une prolifération de dizaines de services de « déshabillage », dont beaucoup sont basés sur des générateurs d’images IA open source, dont probablement Stable Diffusion. Ces services permettent aux utilisateurs de télécharger des photos de personnes habillées et de produire ce que les experts appellent des images intimes non consensuelles (NCII) de mineurs et d’adultes, également parfois appelées pornographie deepfake. Ces sites Web peuvent être facilement trouvés grâce aux recherches Google, et les utilisateurs peuvent payer pour les services en utilisant des cartes de crédit en ligne. Beaucoup de ces services ne fonctionnent que sur les femmes et les filles, et ces types d'outils ont été utilisés pour cibler des célébrités féminines comme Taylor Swift et des politiciens comme la représentante américaine [Alexandria Ocasio-Cortez.
Les contenus CSAM générés par l'IA ont des effets réels. L'écosystème de la sécurité des enfants est déjà surchargé, avec des millions de fichiers de contenus CSAM suspectés signalés aux hotlines chaque année. Tout ce qui s'ajoute à ce torrent de contenu - en particulier les contenus d'abus photoréalistes - rend plus difficile la recherche d'enfants qui sont activement en danger. Pire encore, certains acteurs malveillants utilisent les contenus CSAM existants pour générer des images synthétiques de ces survivants - une horrible violation de leurs droits. D'autres utilisent les applications de « nudification » facilement disponibles pour créer du contenu sexuel à partir d'images bénignes d'enfants réels, puis utilisent ce contenu nouvellement généré dans des stratagèmes d'extorsion sexuelle](https://www.thorn.org/research/library/financial-sextortion/).
Une victoire contre les images d'abus sexuels sur mineurs générées par l'IA
Selon l'enquête de Stanford de décembre dernier, il est bien connu dans la communauté de l'IA que Stable Diffusion 1.5 a été entraîné sur des images d'abus sexuels sur mineurs, comme tous les autres modèles formés sur l'ensemble de données LAION-5B. Ces modèles sont activement utilisés à mauvais escient par des acteurs malveillants pour créer des images d'abus sexuels générées par l'IA. Et même lorsqu'ils sont utilisés pour générer des contenus plus bénins, leur utilisation revictimise intrinsèquement les enfants dont les images d'abus ont été intégrées à leurs données d'entraînement. Nous avons donc demandé aux plateformes d'hébergement d'IA populaires Hugging Face et Civitai pourquoi elles hébergeaient Stable Diffusion 1.5 et les modèles dérivés, les rendant disponibles en téléchargement gratuit ?
Il convient de noter que Jeff Allen, un data scientist à l'Integrity Institute, a constaté que Stable Diffusion 1.5 a été téléchargé depuis Hugging Face plus de 6 millions de fois au cours du mois dernier, ce qui en fait le générateur d'images d'IA le plus populaire de la plateforme.
Lorsque nous avons demandé à Hugging Face pourquoi elle continuait d'héberger le modèle, la porte-parole de l'entreprise Brigitte Tousignant n'a pas répondu directement à la question, mais a plutôt déclaré que l'entreprise ne tolérait pas le CSAM sur sa plateforme, qu'elle intègre une variété d'outils de sécurité et qu'elle encourageait la communauté à utiliser le modèle Safe Stable Diffusion qui identifie et supprime les images inappropriées.
Puis, hier, nous avons vérifié Hugging Face et avons découvert que Stable Diffusion 1.5 n'est plus disponible. Tousignant nous a dit que Hugging Face ne l'avait pas retiré et nous a suggéré de contacter Runway, ce que nous avons fait, encore une fois, mais nous n'avons pas encore reçu de réponse.
C'est sans aucun doute une réussite que ce modèle ne soit plus disponible en téléchargement sur Hugging Face. Malheureusement, il est toujours disponible sur Civitai, tout comme des centaines de modèles dérivés. Lorsque nous avons contacté Civitai, un porte-parole nous a dit qu'ils n'avaient aucune connaissance des données d'entraînement utilisées par Stable Diffusion 1.5 et qu'ils ne le retireraient que s'il y avait des preuves d'utilisation abusive.
Les plateformes devraient s'inquiéter de leur responsabilité. La semaine dernière, Pavel Durov, PDG de l'application de messagerie Telegram, a été arrêté dans le cadre d'une enquête liée au CSAM et à d'autres crimes.
Que fait-on contre les contenus CSAM générés par l'IA ?
Le rythme soutenu des rapports et des nouvelles inquiétants sur les contenus CSAM générés par l'IA et les contenus NCII ne faiblit pas. Alors que certaines entreprises tentent d'améliorer la sécurité de leurs produits avec l'aide de la Tech Coalition, quels progrès avons-nous constatés sur ce problème plus vaste ?
En avril, Thorn et All Tech Is Human ont annoncé une initiative pour réunir les grandes entreprises technologiques, les développeurs d'IA générative, les plateformes d'hébergement de modèles et bien d'autres afin de définir et de s'engager à respecter les principes Safety by Design, qui placent la prévention des abus sexuels sur enfants au cœur du processus de développement des produits. Dix entreprises (dont Amazon, Civitai, Google, Meta, Microsoft, OpenAI et Stability AI) se sont engagées à respecter ces principes, et certaines ont également co-écrit un article connexe avec des recommandations d'atténuation plus détaillées. Ces principes appellent les entreprises à développer, déployer et maintenir des modèles d'IA qui traitent de manière proactive des risques pour la sécurité des enfants ; à créer des systèmes pour garantir que tout matériel d'abus produit soit détecté de manière fiable ; et à limiter la distribution des modèles et services sous-jacents utilisés pour créer ce matériel d'abus.
Ce type d'engagement volontaire est un début. Rebecca Portnoff, responsable de la science des données chez Thorn, explique que l'initiative cherche à responsabiliser les entreprises en leur demandant de publier des rapports sur leurs progrès dans les mesures d'atténuation. Elle collabore également avec des institutions de normalisation telles que l'IEEE et le NIST pour intégrer leurs efforts dans les normes nouvelles et existantes, ouvrant ainsi la porte à des audits par des tiers qui « dépasseraient le système d'honneur », explique Rebecca Portnoff. Rebecca Portnoff note également que Thorn collabore avec les décideurs politiques pour les aider à concevoir une législation qui serait à la fois techniquement réalisable et efficace. En effet, de nombreux experts affirment qu'il est temps d'aller au-delà des engagements volontaires.
Nous pensons qu'une course imprudente vers le bas est actuellement en cours dans le secteur de l'IA. Les entreprises se battent si furieusement pour être techniquement en tête que beaucoup d'entre elles ignorent les conséquences éthiques et peut-être même juridiques de leurs produits. Si certains gouvernements, dont l'Union européenne, progressent dans la réglementation de l'IA, ils ne sont pas allés assez loin. Si, par exemple, les lois interdisaient de fournir des systèmes d'IA capables de produire des images d'abus sexuels sur mineurs, les entreprises technologiques pourraient en prendre note.
La réalité est que si certaines entreprises respectent leurs engagements volontaires, beaucoup ne le feront pas. Et parmi celles qui le font, beaucoup agiront trop lentement, soit parce qu'elles ne sont pas prêtes, soit parce qu'elles ont du mal à conserver leur avantage concurrentiel. En attendant, des acteurs malveillants graviteront vers ces services et feront des ravages. Ce résultat est inacceptable.
Ce que les entreprises technologiques devraient faire à propos des images d'abus sexuels sur mineurs générées par l'IA
Les experts ont vu ce problème venir de loin, et les défenseurs de la sécurité des enfants ont recommandé des stratégies de bon sens pour le combattre. Si nous ratons cette occasion de faire quelque chose pour remédier à la situation, nous en porterons tous la responsabilité. Au minimum, toutes les entreprises, y compris celles qui publient des modèles open source, devraient être légalement tenues de respecter les engagements énoncés dans les principes de sécurité par conception de Thorn :
- Détecter, supprimer et signaler les contenus d'abus sexuels sur mineurs de leurs ensembles de données de formation avant de former leurs modèles d'IA génératifs.
- Intégrer des filigranes robustes et des systèmes de provenance de contenu dans leurs modèles d'IA génératifs afin que les images générées puissent être liées aux modèles qui les ont créées, comme l'exigerait un projet de loi californien qui créerait des normes de provenance de contenu numérique pour les entreprises qui font des affaires dans l'État. Le projet de loi sera probablement soumis à la signature du gouverneur Gavin Newson dans le mois à venir.
- Supprimer de leurs plateformes tous les modèles d'IA génératifs connus pour être formés sur les contenus d'abus sexuels sur mineurs ou capables de produire des contenus d'abus sexuels sur mineurs. Refusez de réhéberger ces modèles à moins qu'ils n'aient été entièrement reconstitués et que les images CSAM aient été supprimées.
- Identifiez les modèles qui ont été intentionnellement peaufinés sur les images CSAM et supprimez-les définitivement de leurs plateformes.
- Supprimez les applications « nudifiantes » des magasins d'applications, bloquez les résultats de recherche pour ces outils et services et travaillez avec les fournisseurs de paiement pour bloquer les paiements à leurs créateurs.
Il n'y a aucune raison pour que l'IA générative aide et encourage les horribles abus envers les enfants. Mais nous aurons besoin de tous les outils à portée de main - engagements volontaires, réglementation et pression publique - pour changer de cap et arrêter la course vers le bas.
Les auteurs remercient Rebecca Portnoff de Thorn, David Thiel du Stanford Internet Observatory, Jeff Allen de l'Integrity Institute, Ravit Dotan de TechBetter et le chercheur en politique technologique Owen Doyle pour leur aide à la rédaction de cet article.