Problème 2636

Les images publiées sur les réseaux sociaux sont analysées par des algorithmes d'intelligence artificielle (IA) qui décident quoi amplifier et quoi supprimer. Une enquête du Guardian a révélé que bon nombre de ces algorithmes ont un préjugé sexiste et peuvent avoir censuré et supprimé la portée d'innombrables photos montrant des corps de femmes.

Ces outils d'intelligence artificielle, développés par de grandes entreprises technologiques, dont Google et Microsoft, sont destinés à protéger les utilisateurs en identifiant les visuels violents ou pornographiques afin que les entreprises de médias sociaux puissent bloquer avant que quiconque ne le voie. Les entreprises affirment que leurs outils d'IA peuvent également détecter la "racité" ou le caractère sexuellement suggestif d'une image. Avec cette classification, les plates-formes – y compris Instagram et LinkedIn – peuvent supprimer les images litigieuses.

Deux journalistes du Guardian ont utilisé les outils de l'IA pour analyser des centaines de photos d'hommes et de femmes en sous-vêtements, s'entraînant, en utilisant des tests médicaux avec une nudité partielle et ont trouvé des preuves que l'IA marque les photos de femmes dans des situations quotidiennes comme sexuellement suggestives. Ils évaluent également les images de femmes comme étant plus "racées" ou sexuellement suggestives que des images comparables d'hommes. En conséquence, les sociétés de médias sociaux qui exploitent ces algorithmes ou des algorithmes similaires ont supprimé la portée d'innombrables images représentant des corps de femmes et ont nui aux entreprises dirigées par des femmes, amplifiant encore les disparités sociétales.

Quiz IA sur les préjugés sexistes.

Même les images médicales sont concernées par le problème. Les algorithmes d'IA ont été testés sur des images publiées par le National Cancer Institute des États-Unis montrant comment effectuer un examen clinique des seins. L'IA de Google a donné à cette photo le score le plus élevé pour la racine, l'IA de Microsoft était convaincue à 82% que l'image était "de nature explicitement sexuelle", et Amazon l'a classée comme représentant la "nudité explicite".

Les ventres de femmes enceintes sont également problématiques pour ces outils d'IA. L'algorithme de Google a classé la photo comme "très susceptible de contenir du contenu racé". L'algorithme de Microsoft était convaincu à 90% que l'image était "de nature sexuellement suggestive".

"C'est tout simplement sauvage", a déclaré Leon Derczynski, professeur d'informatique à l'Université informatique de Copenhague, spécialisé dans les dommages en ligne. "L'objectivation des femmes semble profondément ancrée dans le système."

Une entreprise de médias sociaux a déclaré qu'elle ne concevait pas ses systèmes pour créer ou renforcer les préjugés et que les classificateurs n'étaient pas parfaits.

"Il s'agit d'un espace complexe et évolutif, et nous continuons d'apporter des améliorations significatives aux classificateurs SafeSearch pour nous assurer qu'ils restent précis et utiles pour tout le monde", a déclaré un porte-parole de Google.

Se faire bannir de l'ombre

En mai 2021, Gianluca Mauro, un entrepreneur en intelligence artificielle, conseiller et co-auteur de cet article, a publié un article sur LinkedIn et a été surpris qu'il vienne d'être vu 29 fois en une heure, au lieu des quelque 1 000 vues qu'il obtient habituellement. Peut-être que la photo de deux femmes portant des hauts tubulaires était le problème ?

Il a re-téléchargé le même texte exact avec une autre image. Le nouveau message a obtenu 849 vues en une heure.

Il semblait que son message avait été supprimé ou « shadowbanned ». Shadowbanning fait référence à la décision d'une plateforme de médias sociaux de limiter la portée d'une publication ou d'un compte. Alors qu'une interdiction régulière implique de bloquer activement une publication ou un compte et d'informer l'utilisateur, le shadowbanning est moins transparent - souvent la portée sera supprimée à l'insu de l'utilisateur.

The Guardian a découvert que Microsoft, Amazon et Google proposent des algorithmes de modération de contenu à toute entreprise pour une somme modique. Microsoft, la société mère et propriétaire de LinkedIn, a déclaré que son outil ["peut détecter le contenu réservé aux adultes dans les images afin que les développeurs puissent restreindre l'affichage de ces images dans leur logiciel".](https://learn.microsoft.com/en- us/azure/cognitive-services/computer-vision/concept-detecting-adult-content)

Une autre expérience sur LinkedIn a été menée pour tenter de confirmer la découverte.

Sur deux photos représentant à la fois des femmes et des hommes en sous-vêtements, l'outil de Microsoft a classé l'image montrant deux femmes comme racées et lui a attribué un score de 96 %. La photo avec les hommes a été classée comme non racée avec un score de 14%.

La photo des femmes a été vue huit fois en une heure, et la photo avec les deux hommes a reçu 655 vues, ce qui suggère que la photo des femmes en sous-vêtements a été supprimée ou interdite.

Le shadowbanning est documenté depuis des années, mais les journalistes du Guardian ont peut-être trouvé un chaînon manquant pour comprendre le phénomène : des algorithmes d'IA biaisés. Les plateformes de réseaux sociaux semblent tirer parti de ces algorithmes pour évaluer les images et limiter la portée des contenus qu'elles jugent trop osés. Le problème semble être que ces algorithmes d'IA ont un préjugé sexiste intégré, évaluant les femmes plus racées que les images contenant des hommes.

"Nos équipes utilisent une combinaison de techniques automatisées, d'examens d'experts humains et de rapports de membres pour aider à identifier et à supprimer le contenu qui enfreint nos politiques de la communauté professionnelle, », a déclaré le porte-parole de LinkedIn, Fred Han, dans un communiqué. "De plus, notre flux utilise des algorithmes de manière responsable afin de faire apparaître du contenu qui aide nos membres à être plus productifs et à réussir leur parcours professionnel."

Amazon a déclaré que la modération du contenu est basée sur une variété de facteurs, notamment la géographie, les croyances religieuses et l'expérience culturelle. Cependant, "Amazon Rekognition est capable de reconnaître une grande variété de contenus, mais il ne détermine pas la pertinence de ce contenu", a déclaré un porte-parole d'Amazon. "Le service renvoie simplement les étiquettes des éléments qu'il détecte pour une évaluation plus approfondie par des modérateurs humains."

Creuser plus profond

Natasha Crampton, responsable de l'intelligence artificielle chez Microsoft, et son équipe ont commencé à enquêter lorsque des journalistes l'ont informée de l'étiquetage des photos.

"Les premiers résultats ne suggèrent pas que ces faux positifs se produisent à un taux disproportionnellement plus élevé chez les femmes que chez les hommes", a déclaré Crampton. Lorsque des photos supplémentaires ont été exécutées via l'outil, le site Web de démonstration a été modifié. Avant que le problème ne soit découvert, il était possible de tester les algorithmes en faisant simplement glisser et déposer une image. Maintenant, un compte devait être créé et le code devait être écrit.

Mais qu'est-ce que ces classificateurs IA analysent réellement sur les photos ? Plus d'expériences étaient nécessaires, alors Mauro a accepté d'être le sujet du test.

Lorsqu'il est photographié en pantalon long et torse nu, l'algorithme de Microsoft avait un score de confiance inférieur à 22% pour la racine. Lorsque Mauro a enfilé un soutien-gorge, le score de racine est passé à 97 %. L'algorithme a donné un score de 99 % lorsque le soutien-gorge était tenu à côté de moi.

"Vous regardez des informations décontextualisées où un soutien-gorge est considéré comme intrinsèquement racé plutôt qu'une chose que de nombreuses femmes portent tous les jours comme vêtement de base", a déclaré Kate Crawford, professeur à l'Université de Californie du Sud et auteur de Atlas d'AI.

Abeba Birhane, chercheur principal à la Fondation Mozilla et expert en grands ensembles de données visuelles, a déclaré que la racine est un concept social qui diffère d'une culture à l'autre.

"Ces concepts ne sont pas comme identifier une table où vous avez la chose physique et vous pouvez avoir une définition ou une note relativement agréable pour une certaine chose", a-t-elle déclaré. "Vous ne pouvez pas avoir une seule définition incontestée de la racine."

Pourquoi ces systèmes semblent-ils si biaisés ?

L'IA moderne est construite à l'aide de l'apprentissage automatique, un ensemble d'algorithmes qui permettent aux ordinateurs d'apprendre à partir des données. Lorsque les développeurs utilisent l'apprentissage automatique, ils n'écrivent pas de règles explicites indiquant aux ordinateurs comment effectuer une tâche. Au lieu de cela, ils fournissent aux ordinateurs des données de formation. Des personnes sont embauchées pour étiqueter les images afin que les ordinateurs puissent analyser leurs scores et trouver le modèle qui l'aide à reproduire les décisions humaines.

Margaret Mitchell, scientifique en chef de l'éthique au sein de la société d'IA Hugging Face et ancienne codirectrice du groupe de recherche sur l'IA éthique de Google, estime que les photos utilisées pour former ces algorithmes ont probablement été étiquetées par des hommes hétérosexuels, qui peuvent associer les hommes qui s'entraînent au fitness, mais peut considérer l'image d'une femme qui s'entraîne comme racée. Il est également possible que ces classements semblent sexistes aux États-Unis et en Europe, car les étiqueteurs peuvent provenir d'un endroit où la culture est plus conservatrice.

Idéalement, les entreprises technologiques devraient avoir mené des analyses approfondies sur qui étiquette leurs données, pour s'assurer que l'ensemble de données final intègre une diversité de points de vue, a-t-elle déclaré. Les entreprises devraient également vérifier que leurs algorithmes fonctionnent de la même manière sur les photos d'hommes contre des femmes et d'autres groupes, mais ce n'est pas toujours fait.

"Il n'y a pas de norme de qualité ici", a déclaré Mitchell.

Ce parti pris sexiste que le Guardian a découvert fait partie de plus d'une décennie de controverse autour de la modération du contenu sur les réseaux sociaux. Des images montrant des personnes qui allaitent leurs enfants et des normes différentes pour les photos de mamelons masculins, qui sont autorisés sur Instagram, et de mamelons féminins, qui doivent être couverts, suscitent depuis longtemps des protestations contre les pratiques de modération de contenu des plateformes de médias sociaux.

Maintenant le conseil de surveillance de Meta - un organisme externe comprenant des professeurs, des chercheurs et des journalistes, qui sont payés par l'entreprise - a demandé au géant de la technologie de clarifier ses lignes directrices communautaires sur la nudité et l'activité sexuelle des adultes sur les plateformes de médias sociaux "afin que toutes les personnes soient traitées d'une manière conforme aux normes internationales des droits de l'homme, sans discrimination fondée sur le sexe ou le genre".

Meta a refusé de commenter cette histoire.

"Les femmes devraient s'exprimer"

Bec Wood, une photographe de 38 ans basée à Perth, en Australie, a déclaré qu'elle était terrifiée par la police algorithmique d'Instagram.

Après que Wood ait eu une fille il y a neuf ans, elle a commencé à étudier l'éducation à l'accouchement et à photographier des femmes essayant de repousser les pressions sociétales. De nombreuses femmes pensent qu'elles devraient ressembler à des mannequins.

"Je n'avais pas ça pour ma fille", a-t-elle déclaré. «Les femmes devraient s'exprimer et se célébrer et être vues sous toutes ces formes et tailles différentes. Je pense juste que c'est tellement important pour l'humanité d'aller de l'avant.

Les photos de Wood sont des aperçus intimes des liens des femmes avec leur progéniture, photographiant l'allaitement, la grossesse et d'autres moments importants de manière astucieuse. Son entreprise dépend à 100% d'Instagram : "C'est là que les gens vous trouvent", a déclaré Wood. "Si je ne partage pas mon travail, je n'ai pas de travail."

Google et Microsoft ont évalué les photos de Wood comme susceptibles de contenir du contenu sexuel explicite. Amazon a classé l'image du ventre de femme enceinte à droite comme "nudité explicite".

Depuis que Wood a lancé son entreprise en 2018, pour certaines de ses photos, elle a reçu des messages d'Instagram indiquant que l'entreprise supprimait certaines de ses photos ou qu'elle allait les autoriser sur son profil mais pas sur l'onglet Explorer, une section de l'application où les gens peuvent découvrir le contenu de comptes qu'ils ne suivent pas. Elle espérait qu'Instagram résoudrait le problème au fil du temps, mais c'est le contraire qui s'est produit, a-t-elle déclaré. «Honnêtement, je ne peux pas croire que ça ait empiré. Cela a dévasté mon entreprise. Wood a décrit 2022 comme sa pire année sur le plan commercial.

Elle est terrifiée à l'idée que si elle télécharge la « mauvaise » image, son compte avec plus de 13 000 abonnés ne lui sera plus accessible, ce qui entraînerait la faillite de son entreprise : « J'ai littéralement tellement peur de publier parce que je me dis : « Est-ce que c'est ça ? » le poste qui va tout perdre ?' », a-t-elle déclaré.

Pour éviter cela, Wood a commencé à aller à l'encontre de ce qui l'avait poussée à commencer son travail : « Je censurerai aussi artistiquement que possible tous les mamelons. Je trouve cela tellement offensant pour l'art, mais aussi pour les femmes », a-t-elle déclaré. "J'ai presque l'impression de faire partie de la perpétuation de ce cycle ridicule dont je ne veux pas faire partie."

L'exécution de certaines des photos de Wood via les algorithmes d'intelligence artificielle de Microsoft, Google et Amazon, y compris celles présentant un ventre de femme enceinte, a été classée comme racée, nudité ou même explicitement sexuelle.

Le bois n'est pas seul. Carolina Are, experte des plateformes de médias sociaux et de la modération de contenu et actuellement chercheuse en innovation au Center for Digital Citizens de l'Université de Northumbria, a déclaré qu'elle avait utilisé Instagram pour promouvoir son entreprise et qu'elle avait été victime de shadowbanning.

Are, une instructrice de pole dance, a déclaré que certaines de ses photos avaient été supprimées et, en 2019, elle a découvert que ses photos n'apparaissaient pas sur la page d'exploration ou sous le hashtag #FemaleFitness, où les utilisateurs d'Instagram peuvent rechercher du contenu auprès d'utilisateurs. ne pas suivre. "C'était littéralement juste des femmes qui s'entraînaient de manière très modérée. Mais ensuite, si vous regardiez le hashtag #MaleFitness, c'était tous des mecs gras et ils allaient bien. Ils n'étaient pas bannis de l'ombre », a-t-elle déclaré.

Pour Are, ces problèmes individuels pointent vers des problèmes systémiques plus importants : de nombreuses personnes, y compris des personnes souffrant de maladies chroniques et handicapées, comptent sur l'argent généré par les médias sociaux et le shadow bannissement nuit à leur entreprise.

Mitchell, le scientifique en chef de l'éthique chez Hugging Face, ces types d'algorithmes recréent souvent des préjugés sociétaux : "Cela signifie que les personnes qui ont tendance à être marginalisées sont encore plus marginalisées - comme littéralement repoussées dans un sens très direct du terme marginalisation."

C'est un préjudice de représentation et certaines populations ne sont pas adéquatement représentées, a-t-elle ajouté. "Dans ce cas, ce serait une idée que les femmes doivent se couvrir davantage que les hommes et cela finit par créer ce genre de pression sociale pour les femmes car cela devient la norme de ce que vous voyez", a déclaré Mitchell.

Le mal est aggravé par un manque de transparence. Bien que dans certains cas, Wood ait été informée que ses photos étaient interdites ou à portée limitée, elle pense qu'Instagram a pris d'autres mesures contre son compte sans qu'elle le sache. "J'ai eu des gens qui ont dit" Je ne peux pas te taguer "ou" Je te cherchais pour montrer à mon ami l'autre jour et tu ne te présentes pas "", a-t-elle déclaré. "Je me sens invisible."

Parce qu'elle pourrait l'être, a déclaré l'informaticien Derczynski: "Les personnes qui publient ces images ne le sauront jamais, ce qui est tellement profondément problématique." il a dit. "Ils sont désavantagés et ils n'ont aucune agence dans ce qui se passe et ils ne sont pas non plus informés que cela se produit."

Cette histoire a été soutenue par le Pulitzer Center.