Incidents associés
Cette image a été créée avec Stable Diffusion et répertoriée sur Shutterstock. Bien que l'IA soit capable de dessiner des images abstraites, elle présente des biais inhérents dans la manière dont elle affiche les visages humains réels en fonction des invites des utilisateurs. (Photo : Fernando_Garcia, Shutterstock)
Si vous avez grandi dans un trou couvert de 3,66 m dans la Terre et que vous n'aviez qu'un ordinateur portable exécutant la dernière version du générateur d'images Stable Diffusion AI, vous croiriez qu'il n'y avait pas de femme ingénieur.
Le Bureau of Labor Statistics des États-Unis montre que les femmes sont massivement sous-représentées dans le domaine de l'ingénierie, mais les moyennes de 2018 montrent que les femmes représentent environ un cinquième des personnes exerçant des professions d'ingénieur. Mais si vous utilisez Stable Diffusion pour afficher un « ingénieur », ce sont tous des hommes. Si Stable Diffusion correspondait à la réalité, alors sur neuf images basées sur un « ingénieur », 1,8 de ces images devraient montrer des femmes.
Que se passe-t-il lorsque vous essayez différents types d'"ingénieurs" dans le générateur d'images AI de Stable Diffusion. (Capture d'écran : diffusion stable/visage étreignant)
La chercheuse en intelligence artificielle pour Hugging Face, Sasha Luccioni, a créé un outil simple qui offre peut-être le moyen le plus efficace de montrer les biais dans le modèle d'apprentissage automatique qui crée des images. L'explorateur de diffusion stable montre ce que le générateur d'images AI pense être un "PDG ambitieux" par rapport à un "PDG solidaire". Cet ancien descripteur permettra au générateur de montrer une multitude d'hommes dans divers costumes noirs et bleus. Ce dernier descripteur affiche un nombre égal de femmes et d'hommes.
Quelle est la différence entre ces deux groupes de personnes ? Eh bien, selon Stable Diffusion, le premier groupe représente un « PDG ambitieux » et le second un « PDG solidaire ». J'ai créé un outil simple pour explorer les biais ancrés dans ce modèle : https://t.co/l4lqt7rTQj [pic.twitter.com/xYKA8w3N8N](https:// t.co/xYKA8w3N8N)
— Dre Sasha Luccioni 💻🌎✨ (@SashaMTL) 31 octobre 2022
Le sujet du biais d'image de l'IA n'est [rien de nouveau] (https://www.vox.com/future-perfect/23023538/ai-dalle-2-openai-bias-gpt-3-incentives), mais la question de savoir comment dommage qu'il soit relativement inexploré, d'autant plus que le DALL-E 2 d'OpenAI est entré pour la première fois dans sa version bêta limitée plus tôt cette année. En avril, OpenAI a publié un document Risks and Limitations notant que leur système peut renforcer les stéréotypes. Leur système produisait des images qui surreprésentaient les passants blancs et des images souvent représentatives de l'Occident, comme les mariages à l'occidentale. Ils ont également montré comment certaines invites pour « constructeur » seraient centrées sur les hommes tandis qu'un « hôtesse de l'air » serait centré sur les femmes. La société a précédemment déclaré qu'elle évaluait les biais de DALL-E 2, bien que la société n'ait pas immédiatement répondu à la demande de Gizmodo demandant si elle avait fait des progrès.
Mais alors que DALL-E a été ouvert à discuter des biais de son système, Stable Diffusion est une plate-forme beaucoup plus "ouverte" et moins réglementée. Luccioni a déclaré à Gizmodo dans une interview Zoom que le projet avait commencé alors qu'elle essayait de découvrir un moyen plus reproductible d'examiner les biais dans Stable Diffusion, en particulier en ce qui concerne la façon dont le modèle de génération d'images de Stability AI correspondait aux statistiques officielles réelles de la profession pour le sexe ou la race. Elle a également ajouté adjectifs sexués dans le mélange, comme « assertif » ou « sensible ». La création de cette API pour Stable Diffusion crée également régulièrement des images positionnées et recadrées de manière très similaire, parfois du même modèle de base avec une coupe de cheveux ou une expression différente. Cela ajoute encore une autre couche de cohérence entre les images.
D'autres professions sont extrêmement genrées lorsqu'elles sont saisies dans les systèmes de Stable Diffusion. Le système n'affichera aucun indice d'une infirmière présentant un homme, qu'elle soit confiante, têtue ou déraisonnable. Les infirmiers représentent plus de 13 % du nombre total de postes d'infirmiers autorisés aux États-Unis, [selon les derniers chiffres du BLS] (https://www.bls.gov/cps/cpsaat11.htm).
Ce que Stable Diffusion pense, c'est un concepteur "modeste" contre un superviseur "modeste". (Capture d'écran : diffusion stable/visage étreignant)
Après avoir utilisé cet outil, il devient extrêmement évident que ce que Stable Diffusion pense être la représentation la plus claire de chaque rôle. L'exemple de l'ingénieur est probablement le plus flagrant, mais demandez au système de créer un "superviseur modeste" et vous obtiendrez une liste d'hommes en polos ou en tenue de ville. Changez cela en "créateur modeste" et tout à coup vous trouverez un groupe diversifié d'hommes et de femmes, dont plusieurs semblent porter des hijabs. Luccioni a remarqué que le mot "ambitieux" évoquait plus d'images d'hommes présentant des personnes d'origine asiatique.
Stability AI, les développeurs de Stable Diffusion, n'a pas renvoyé la demande de commentaire de Gizmodo.
Le système Stable Diffusion est construit à partir de l'ensemble d'images LAION qui [contient des milliards d'images, de photos et bien plus extraites d'Internet](https://www.gizmodo.com. au/2022/09/getty-says-no-to-ai-generated-images-because-it-doesnt-want-anymore-copyright-headaches/), y compris l'hébergement d'images et les sites d'art. Ce genre, ainsi que certains préjugés raciaux et culturels, sont établis en raison de la façon dont Stability AI classe différentes catégories d'images. Luccioni a déclaré que s'il y a 90% des images liées à une invite qui sont masculines et 10% qui sont féminines, alors le système est formé pour se concentrer sur les 90%. C'est peut-être l'exemple le plus extrême, mais plus la disparité des images sur le jeu de données LAION est grande, moins le système l'utilisera pour le générateur d'images.
"C'est comme une loupe pour les inégalités de toutes sortes", a déclaré le chercheur. "Le modèle se concentrera sur la catégorie dominante à moins que vous ne le poussiez explicitement dans l'autre sens. Il y a différentes façons de le faire. Mais vous devez intégrer cela soit dans la formation du modèle, soit dans l'évaluation du modèle, et pour le modèle de diffusion stable, ce n'est pas fait.
La diffusion stable est utilisée pour plus que l'art de l'IA
Comparé à d'autres modèles génératifs d'IA sur le marché, Stable Diffusion a été particulièrement laisser-faire sur comment, où et pourquoi les gens peuvent utiliser ses systèmes. Dans ses recherches, Luccioni était particulièrement énervée lorsqu'elle cherchait "belle-mère" ou "beau-père". Bien que ceux qui sont habitués aux bouffonneries d'Internet ne soient pas surpris, elle a été dérangée par les stéréotypes que les gens et ces générateurs d'images d'IA créent.
Pourtant, les esprits de Stability AI ont été ouvertement opposés à l'idée de réduire l'un de leurs systèmes. Emad Mostaque, le fondateur de Stability AI, a déclaré dans interviews qu'il souhaitait une sorte de système d'IA décentralisé qui ne se conforme pas aux caprices du gouvernement ou des entreprises. La société a été prise dans une controverse lorsque son système a été utilisé pour créer du contenu pornographique et violent. Rien de tout cela n'a empêché Stability AI d'[accepter une collecte de fonds de 101 millions de dollars (140 $)](https://techcrunch.com/2022/10/17/stability-ai-the-startup-behind-stable-diffusion-raises- 101 millions/) de grandes sociétés de capital-risque.
Ces prédilections subtiles pour certains types du système d'IA sont nées en partie du manque de contenu original dont le générateur d'images se sert, mais le problème à résoudre est un scénario de type poulet et œuf. Les générateurs d'images ne feront-ils que souligner les préjugés existants ?
Ce sont des questions qui nécessitent plus d'analyse. Luccioni a déclaré qu'elle souhaitait exécuter ces mêmes types d'invites via plusieurs modèles de texte à image et comparer les résultats, bien que certains programmes ne disposent pas d'un système d'API simple pour créer de simples comparaisons côte à côte. Elle travaille également sur des graphiques qui compareront les données sur le travail aux États-Unis aux images générées par l'IA pour comparer directement les données avec ce qui est présenté par l'IA.
Mais à mesure que de plus en plus de ces systèmes sont lancés et que la volonté d'être le principal générateur d'images d'IA sur le Web devient l'objectif principal de ces entreprises, Luccioni craint que les entreprises ne prennent pas le temps de développer des systèmes pour réduire les problèmes d'IA. Maintenant que ces systèmes d'IA sont intégrés à des sites comme [Shutterstock et Getty](https://www.gizmodo.com.au/2022/10/shutterstock-has-a-plan-to-sell-ai-stock-images -et-compenser-les-humains-mais-les-concurrents-ne-sont-pas-convaincus/), les questions de partialité pourraient être encore plus pertinentes puisque les gens paient pour utiliser le contenu en ligne.
"Je pense que c'est un problème de données, c'est un problème de modèle, mais c'est aussi comme un problème humain que les gens vont dans le sens de" plus de données, de modèles plus grands, plus vite, plus vite, plus vite "", a-t-elle déclaré. "J'ai un peu peur qu'il y ait toujours un décalage entre ce que fait la technologie et ce que sont nos garanties."