Incidents associés
Le monde selon Stable Diffusion est dirigé par des PDG masculins blancs. Les femmes sont rarement médecins, avocates ou juges. Les hommes à la peau foncée commettent des crimes, tandis que les femmes à la peau foncée retournent des hamburgers. Stable Diffusion génère des images à l'aide de l'intelligence artificielle, en réponse à des invites écrites. Comme de nombreux modèles d'IA, ce qu'il crée peut sembler plausible à première vue, mais il s'agit en fait d'une distorsion de la réalité. Une analyse de plus de 5 000 images créées avec Stable Diffusion a révélé que les disparités raciales et de genre étaient extrêmes - pires que celles trouvées dans le monde réel. Ce phénomène mérite d'être examiné de plus près, car les modèles de génération d'images tels que Stable Diffusion de Stability AI, Dall-E d'OpenAI et d'autres outils similaires, se transforment rapidement de débouchés amusants et créatifs pour l'expression personnelle en plates-formes sur lesquelles l'économie future sera construite. . L'IA texte-image est déjà utilisée dans les applications du géant de la communication visuelle Adobe Inc. et du fabricant de puces Nvidia Corp., et commence à alimenter les publicités que nous regardons. Le Comité national républicain a utilisé l'IA pour générer des images pour une publicité politique anti-Biden en avril représentant un groupe d'agents frontaliers pour la plupart blancs appréhendant ce qu'il a appelé des « illégaux » essayant de pénétrer dans le pays. La vidéo, qui semble réelle mais qui n'est pas plus authentique qu'une animation, a atteint près d'un million de personnes sur les réseaux sociaux. Certains experts en IA générative prédisent que jusqu'à 90 % du contenu sur Internet pourrait être généré artificiellement d'ici quelques années. Au fur et à mesure que ces outils prolifèrent, les préjugés qu'ils reflètent ne font pas que perpétuer davantage les stéréotypes qui menacent de bloquer les progrès vers une plus grande égalité dans la représentation - ils pourraient également entraîner un traitement injuste. Prenez la police, par exemple. L'utilisation d'une IA texte-image biaisée pour créer des croquis de délinquants présumés pourrait entraîner des condamnations injustifiées. "Nous projetons essentiellement une vision du monde unique dans le monde, au lieu de représenter divers types de cultures ou d'identités visuelles", a déclaré Sasha Luccioni, chercheur à la startup d'intelligence artificielle Hugging Face, co-auteur d'une [étude](https:// arxiv.org/abs/2303.11408) de biais dans les modèles d'IA génératifs texte-image. Pour mesurer l'ampleur des biais dans l'IA générative, Bloomberg a utilisé Stable Diffusion pour générer des milliers d'images liées aux intitulés de poste et à la criminalité. Nous avons incité le modèle texte-image à créer des représentations de travailleurs pour 14 emplois - 300 images chacune pour sept emplois qui sont généralement considérés comme "bien rémunérés" aux États-Unis et sept qui sont considérés comme "faiblement rémunérés" - plus trois catégories liés à la délinquance. Nous nous sommes appuyés sur Stable Diffusion pour cette expérience car son modèle sous-jacent est libre et transparent, contrairement à Midjourney, Dall-E et d'autres concurrents. Au total, l'analyse comprenait 5 100 images de personnes générées par l'IA. Pour chaque image, nous avons calculé une couleur moyenne à partir des parties de l'image qui composaient la peau du visage. Sur la base de cette couleur moyenne, chaque visage a été classé dans l'une des six catégories de pigmentation de la peau, telles que définies par la Fitzpatrick Skin Scale, un système utilisé par les dermatologues et les chercheurs. Les types 1 à 3 sont généralement considérés comme des peaux plus claires et les types 4 à 6 comme des peaux plus foncées. L'analyse a révélé que les ensembles d'images générés pour chaque emploi bien rémunéré étaient dominés par des sujets à la peau plus claire, tandis que les sujets à la peau plus foncée étaient plus souvent générés par des invites telles que "travailleur de la restauration rapide" et "travailleur social". La catégorisation des images par sexe raconte une histoire similaire. Chaque image a été examinée par une équipe de journalistes et étiquetée en fonction du sexe perçu de la personne photographiée. Pour chaque image représentant une femme perçue, Stable Diffusion a généré presque trois fois plus d'images d'hommes perçus. La plupart des professions dans l'ensemble de données étaient dominées par les hommes, à l'exception des emplois peu rémunérés comme la femme de ménage et la caissière. Lorsque l'on considère les préjugés en termes de couleur de peau et de sexe, les hommes aux couleurs de peau plus claires représentaient la majorité des sujets dans tous les emplois bien rémunérés, y compris « politicien », « avocat », « juge » et « PDG ». En alignant tous les visages générés pour chaque occupation en fonction de l'emplacement des yeux, du nez et de la bouche, il est possible de déterminer la couleur et la position moyennes de tous les pixels dans les images pour créer un "visage moyen". Cette méthode est couramment utilisée par les chercheurs, y compris ceux dans le domaine des biais et de l'éthique de l'IA. Ces visages moyens montrent clairement que le modèle d'IA a brossé un tableau du monde dans lequel certains emplois appartiennent à certains groupes de personnes et pas à d'autres. "Tous les modèles d'IA ont des biais inhérents qui sont représentatifs des ensembles de données sur lesquels ils sont formés", a déclaré un porte-parole de la startup londonienne StabilityAI, qui distribue Stable Diffusion, dans un communiqué envoyé par e-mail. "En open source nos modèles, nous visons à soutenir la communauté de l'IA et à collaborer pour améliorer les techniques d'évaluation des biais et développer des solutions au-delà de la modification rapide de base." La société a une initiative pour développer des modèles open source qui "seront formés sur des ensembles de données spécifiques à différents pays et cultures, ce qui servira à atténuer les biais causés par la surreprésentation dans les ensembles de données généraux", a déclaré le porte-parole. L'entreprise n'a pas encore commencé la formation de ces modèles. Stable Diffusion est utilisé par d'autres startups pour générer des images de modèles de vêtements humains pour la publicité, et des entreprises grand public comme [Adobe](https://exchange.adobe.com/ apps/cc/114117da/stable-diffusion) permettent aux utilisateurs de créer et de modifier des images générées par l'IA directement dans leur logiciel. D'ici 2025, les grandes entreprises utiliseront des outils d'IA générative comme Stable Diffusion pour produire environ [30 % du marketing](https://www.gartner.com/en/articles/beyond-chatgpt-the-future-of-generative -ai-for-enterprises), et d'ici 2030, l'IA pourrait créer des films à succès à l'aide d'invites texte-vidéo, selon Brian Burke, vice-président de la recherche chez Gartner. La technologie a le potentiel de tout transformer, de la conception de l'architecture au développement pharmaceutique, selon [un rapport](https://www.goldmansachs.com/intelligence/pages/generative-ai-could-raise-global-gdp-by- 7-percent.html) de Goldman Sachs. Bloomberg Intelligence L'analyste Mandeep Singh estime que le marché de l'IA générative pourrait croître de 42 % pour atteindre [1,3 billion de dollars](https://www. bloomberg.com/company/press/generative-ai-to-become-a-1-3-trillion-market-by-2032-research-finds/) d'ici 2032. Les gens apprennent en se voyant ou en ne se voyant pas qu'ils ne ça n'appartient pas. Heather Hiles, présidente de Black Girls Code Chez Canva, dont la plateforme de communication visuelle compte 125 millions d'utilisateurs actifs, la nouvelle fonctionnalité de génération d'images construite avec Stable Diffusion a été largement adoptée. Le responsable des produits d'intelligence artificielle de la société, Danny Wu, a déclaré que les utilisateurs de la société – qui comprennent des organisations à but non lucratif, des étudiants, des entreprises privées et des spécialistes du marketing – ont déjà généré 114 millions d'images à l'aide de Stable Diffusion. "Ce que nous faisons avec le texte à l'image, c'est de permettre aux utilisateurs d'exprimer l'idée qu'ils ont en tête", a déclaré Wu. Pendant ce temps, Canva travaille sur une version améliorée et "débiaisée" du modèle Stable Diffusion, qui devrait être déployée dans un avenir proche. "La question de garantir que la technologie de l'IA est juste et représentative, d'autant plus qu'elle est de plus en plus largement adoptée, est une question très importante sur laquelle nous travaillons activement", a-t-il déclaré. Les chercheurs de l'industrie sonnent l'alarme depuis des années sur le risque de biais dans les modèles d'IA avancés, et maintenant les législateurs de l'UE [envisagent des propositions](https://www.bloomberg.com/news/articles/2023-03-17 /chatgpt-leaves-governments-scrambling-for-ai-regulations) pour des garanties permettant de résoudre certains de ces problèmes. Le mois dernier, le Sénat américain a tenu une [audience](https://www.bloomberg.com/news/newsletters/2023-05-17/openai-s-sam-altman-urges-congress-to-regulate-powerful- new-ai-technology) avec des panélistes, dont le PDG d'OpenAI, Sam Altman, qui ont discuté des risques de l'IA et de la nécessité d'une réglementation. Plus de 31 000 personnes, dont le PDG de SpaceX, Elon Musk, et le cofondateur d'Apple, Steve Wozniak, ont signé une pétition publiée en mars appelant pour une pause de six mois dans la recherche et le développement de l'IA pour répondre aux questions sur la réglementation et l'éthique. (Moins d'un mois plus tard, Musk [a annoncé](https://www.bloomberg.com/news/articles/2023-04-18/musk-wants-to-build-own-chatgpt-ai-to-rival- microsoft-and-google), il lancerait un nouveau chatbot IA.) Une [vague de licenciements d'entreprises](https://fortune.com/2023/03/29/tech-companies-ai-ethics-teams-elon-musk -steve-wozniak-open-letter/) et les changements organisationnels cette année affectant les éthiciens de l'IA peuvent signaler que les entreprises technologiques deviennent [moins concernées](https://www.bloomberg.com/news/features/2023-04-19/ google-bard-ai-chatbot-soulève-des-préoccupations-éthiques-des-employés) à propos de ces risques alors que la concurrence pour lancer de vrais produits s'intensifie. Pire que la réalité ------------------ Le Bureau of Labor Statistics des États-Unis suit la race et le sexe des travailleurs dans chaque profession grâce à une enquête mensuelle auprès des ménages, ce qui permet d'établir des comparaisons entre les résultats générés par Stable Diffusion et la population active américaine. C'est un outil de mesure raisonnable, car les informations utilisées pour former les systèmes d'IA sont généralement glanées sur Internet, qui est dominé par des données et des images provenant des États-Unis. Les États-Unis abritent plus de la moitié des serveurs Internet sécurisés du monde et ont le plus grand nombre de sites Web enregistrés, selon [données Netcraft](https://data.worldbank.org/indicator/IT.NET.SECR?most_recent_value_desc= true&locations=US ). L'anglais est également la langue prédominante liée aux images dans la base de données utilisée pour entraîner le modèle de diffusion stable. Aux États-Unis, les femmes sont sous-représentées dans les professions bien rémunérées, mais les données montrent que la représentation des sexes dans la plupart des secteurs a nettement amélioré au fil du temps. Stable Diffusion dépeint un scénario différent, où presque aucune femme n'a d'emplois lucratifs ou n'occupe de postes de pouvoir. Les femmes représentaient une infime partie des images générées pour le mot-clé «juge» – environ 3% – alors qu'en réalité 34% des juges américains sont des femmes, selon la National Association of Women Judges et le Federal Judicial Center. Dans les résultats de la diffusion stable, les femmes étaient non seulement sous-représentées dans les professions bien rémunérées, mais elles étaient également surreprésentées dans les professions peu rémunérées. La situation est similaire pour les personnes de couleur, bien qu'il soit plus complexe de comparer les résultats de cette expérience (qui mesurent le teint de la peau) avec les données démographiques du gouvernement (qui mesurent la race) car les tons de peau ne correspondent pas à la race. Pourtant, les données du BLS suggèrent que Stable Diffusion peut déformer fortement la démographie raciale au sein des professions. Le modèle n'était pas trop loin dans sa représentation des PDG et des avocats - plus de 80% des personnes travaillant dans ces emplois aux États-Unis sont blanches, selon BLS, et le modèle a généré des images de personnes à la peau plus claire plus de 80% des le temps. Mais il était beaucoup moins précis pour la plupart des autres emplois et surreprésentait spécifiquement les personnes à la peau plus foncée dans les domaines peu rémunérés. Par exemple, le modèle a généré des images de personnes à la peau plus foncée 70 % du temps pour le mot-clé "travailleur de la restauration rapide", même si 70 % des travailleurs de la restauration rapide aux États-Unis sont blancs. De même, 68% des images générées des travailleurs sociaux avaient des tons de peau plus foncés, tandis que 65% des travailleurs sociaux américains sont blancs. Parce qu'elle amplifie simultanément les stéréotypes de genre et de race, Stable Diffusion a tendance à produire ses représentations les plus biaisées de la réalité lorsqu'il s'agit de femmes à la peau plus foncée. Ce groupe démographique constituait la majorité des images générées pour « travailleur social », « travailleur de la restauration rapide » et « travailleur du lave-vaisselle ». De toutes les professions les mieux rémunérées de notre analyse, «juge» était la seule à présenter plus d'une image d'une femme avec le type de peau le plus foncé. La perpétuation des stéréotypes et des fausses représentations par l'imagerie peut poser des obstacles éducatifs et professionnels importants pour les femmes et les filles noires et brunes, a déclaré Heather Hiles, présidente de Black Girls Code. "Les gens apprennent en se voyant ou en ne se voyant pas qu'ils n'appartiennent peut-être pas", a déclaré Hiles. "Ces choses sont renforcées par des images." Les femmes noires ont été systématiquement discriminées par les systèmes technologiques et d'IA comme les produits commerciaux de reconnaissance faciale et [les algorithmes de recherche](https://www .degruyter.com/document/doi/10.18574/nyu/9781479833641.001.0001/html). Par exemple, les outils d'intelligence artificielle destinés à identifier le sexe des personnes sur les photos méconnaissent fréquemment les femmes de couleur, en les étiquetant comme des hommes - tandis que l'outil est beaucoup plus précis pour identifier le sexe des hommes et des femmes avec des tons de peau plus clairs. C'est pourquoi une équipe de journalistes a examiné les 5 100 images générées par Stable Diffusion pour cette expérience afin de catégoriser manuellement le sexe perçu du sujet généré par l'IA. Représenter des criminels ------------------- Bloomberg a également utilisé Stable Diffusion pour générer des images pour les mots-clés «détenu», «trafiquant de drogue» et «terroriste». Encore une fois, le modèle a amplifié les stéréotypes. Plus de 80 % des images générées pour le mot clé "détenu" représentaient des personnes à la peau plus foncée, même si les personnes de couleur représentent moins de la moitié de la population carcérale américaine, selon le [Federal Bureau of Prisons](https:/ /www.bop.gov/about/statistics/statistics_inmate_race.jsp). Cela dit, le fait que le modèle ait généré cinq images de détenus à la peau plus foncée pour chaque image d'un détenu à la peau plus claire peut témoigner de la réalité selon laquelle les Noirs américains sont incarcérés dans les prisons d'État à près de cinq fois le taux des Américains blancs, après ajustement pour les différences de taille de la population, selon [un rapport](https://www.sentencingproject.org/reports/the-color-of-justice-racial-and-ethnic-disparity-in-state-prisons-the-sentencing -project/) du Sentencing Project. Cela est dû en partie aux préjugés raciaux dans le maintien de l'ordre et la détermination de la peine, qui pourraient être aggravés si l'IA générative était utilisée sans contrôle dans la justice pénale système. Une façon potentielle pour la police d'utiliser cette technologie est de créer des images composites photoréalistes de suspects. "Montrer à quelqu'un une image générée par une machine peut renforcer dans son esprit que c'est la personne même si ce n'est peut-être pas le cas, même s'il s'agit d'une image complètement truquée", a déclaré Nicole Napolitano, directrice de la stratégie de recherche au Center for Policing Equity. Abeba Birhane, un scientifique cognitif et chercheur principal en IA digne de confiance à la Fondation Mozilla, a également noté que l'utilisation de modèles génératifs de texte en image dans le cadre de la police pour des tâches telles que l'esquisse suspecte exacerberait le bien -problème documenté de partialité dans le système de justice pénale. "Cela n'a aucun fondement scientifique et devrait être complètement interdit. Le risque est bien plus élevé », a déclaré Birhane. "Cela l'emporte sur tout avantage." Selon Napolitano, les services de police dotés de budgets importants ont tendance à adopter de nouvelles technologies au fur et à mesure qu'elles deviennent disponibles, sans s'assurer qu'il y a une surveillance pour examiner les ramifications possibles. Les systèmes d'IA biaisés, comme les outils de reconnaissance faciale, sont déjà utilisés par des milliers de services de police américains et ont conduit à [des arrestations injustifiées](https://www.aclu.org/news/privacy-technology/the-untold-number -de-personnes-impliquées-dans-des-crimes-qu'elles-n'ont-pas-commis-à-cause-de-la-reconnaissance-faciale). "Chaque partie du processus dans laquelle un humain peut être biaisé, l'IA peut également être biaisée", a-t-elle averti. "Et la différence est que la technologie légitime les préjugés en les rendant plus objectifs, alors que ce n'est pas du tout le cas." Parce que le biais est compliqué - parfois évident et parfois plus nuancé - il est difficile de mesurer pleinement son expression tangible avec la seule analyse des données. La quantification de la fréquence d'apparition des tons de peau et des genres perçus est l'un des signaux les plus clairs, mais il existe d'autres détails dans les images générées que nous n'avons pas mesurés, comme les accessoires religieux ou les types de poils du visage, qui contribuent au biais global encodé dans les images génératives. Sorties IA. Lorsqu'on lui a demandé de générer des images d'un "terroriste", le modèle a systématiquement rendu des hommes aux poils foncés sur le visage, portant souvent des couvre-chefs - s'appuyant clairement sur les stéréotypes des hommes musulmans. Selon un rapport de 2017 du Government Accountability Office, des extrémistes islamistes radicaux ont commis 23 attentats terroristes meurtriers sur le sol américain depuis le 11 septembre, 2001 - mais les extrémistes d'extrême droite, y compris les suprématistes blancs, en ont commis près de trois fois plus au cours de la même période. Qui est responsable ? ------------------ Stable Diffusion obtient ses données brutes de LAION-5B, le plus grand ensemble de données image-texte librement accessible, avec plus de [5 milliards d'images](https://www.bloomberg.com/news/features/2023-04-24/a-high-school-teacher-s-free-image- database-powers-ai-unicorns) et des légendes trouvées sur Internet. Les liens vers les images ont été collectés par programme à partir d'innombrables sites Web, sans curation humaine. L'ensemble de données comprend des dizaines d'images problématiques et offensantes provenant de tout le Web, y compris des représentations de violence, des symboles de haine, de la pornographie et plus encore. Stability AI dit avoir filtré le contenu pornographique avant d'utiliser les données de LAION. À mesure que les modèles d'IA deviennent plus avancés, les images qu'ils créent sont de plus en plus [difficiles à distinguer](https://www.washingtonpost.com/business/2023/03/24/fake-ai-photos-of-macron-and-trump -flood-social-media-expect-more-soon/bce289d6-ca05-11ed-9cc5-a58a4f6d84cd_story.html) à partir de photos réelles, ce qui rend difficile de savoir ce qui est réel. Si ces images représentant des stéréotypes amplifiés de race et de sexe se retrouvent dans de futurs modèles en tant que données de formation, les modèles d'IA texte-image de prochaine génération pourraient devenir encore plus biaisés, créant un effet boule de neige de biais aggravés avec des implications potentiellement importantes pour la société. "La question est, qui porte la responsabilité?" dit Luccioni. « Est-ce les fournisseurs d'ensembles de données ? Est-ce les formateurs modèles ? Ou est-ce les créateurs ?