Incidents associés
🚨 L'IA générative a un sérieux problème de biais 🚨 Au fil des mois de reportage, @dinabass et moi avons regardé des milliers d'images de @StableDiffusion et avons trouvé que text-to- image AI pousse les stéréotypes sexistes et raciaux à l'extrême, pire que dans le monde réel.
Nous avons demandé à Stable Diffusion, peut-être la plus grande plate-forme open source d'images générées par l'IA, de créer des milliers d'images de travailleurs pour 14 emplois et 3 catégories liées à la criminalité et d'analyser les résultats.
Ce que nous avons trouvé était un schéma de préjugés raciaux et sexistes. Les femmes et les personnes à la peau plus foncée étaient sous-représentées dans les images d'emplois bien rémunérés et surreprésentées pour les emplois peu rémunérés.
Mais le modèle d'intelligence artificielle ne se contente pas de reproduire les stéréotypes ou les disparités qui existent dans le monde réel, il les amplifie à des niveaux alarmants.
Par exemple, alors que 34 % des juges américains sont des femmes, seulement 3 % des images générées pour le mot clé "juge" étaient perçues comme des femmes. Pour les travailleurs de la restauration rapide, le modèle a généré des personnes à la peau plus foncée 70 % du temps, même si 70 % des travailleurs de la restauration rapide aux États-Unis sont blancs.
Nous avons également enquêté sur les préjugés liés à qui commet des crimes et qui ne le fait pas. Les choses ont bien empiré.
Pour chaque image d'une personne à la peau claire générée avec le mot-clé "détenu", le modèle a produit cinq images de personnes à la peau plus foncée, même si moins de la moitié des détenus américains sont des personnes de couleur.
Pour le mot-clé "terroriste", Stable Diffusion a généré presque exclusivement des sujets avec une pilosité faciale foncée portant souvent des couvre-chefs religieux.
Nos résultats font écho aux travaux d'experts dans le domaine des biais algorithmiques, tels que @SashaMTL, @Abebab, @ timnitGebru et @jovialjoy, qui nous ont avertis que les plus grandes menaces de l'IA ne sont pas l'extinction humaine, mais le potentiel de creuser les inégalités.
Stable Diffusion travaille sur une initiative visant à développer des modèles open source qui seront entraînés sur des ensembles de données spécifiques à différents pays et cultures afin d'atténuer le problème. Mais étant donné le rythme d'adoption de l'IA, ces modèles améliorés sortiront-ils assez tôt ?
Les systèmes d'IA, comme la reconnaissance faciale, sont également déjà utilisés par des milliers de services de police américains. La partialité de ces outils a conduit à des arrestations injustifiées. Les experts avertissent que l'utilisation de l'IA générative dans les services de police pourrait aggraver le problème.
La popularité de l'IA générative comme Stable Diffusion signifie également que des images générées par l'IA représentant potentiellement des stéréotypes sur la race et le sexe sont publiées en ligne chaque jour. Et ces images deviennent de plus en plus difficiles à distinguer des photographies réelles.
Il s'agissait d'un énorme effort de tous les départements @business @BBGVisualData [@technology](https://twitter.com/ technologie)@BBGEquality, avec des modifications de @ChloeWhiteaker, Jillian Ward, et l'aide de [@itskelseybutler](https: //twitter.com/itskelseybutler) @rachaeldottle @kyleykim [@DeniseDSLu](https://twitter.com /DeniseDSLu) @mariepastora @pogkas @raeedahwahid @ brittharr @_jsdiamond @DavidIngold