Incidents associés
De nombreuses plateformes de médias sociaux telles qu'Instagram et LinkedIn utilisent des systèmes de modération de contenu pour supprimer les images sexuellement explicites ou réputées inapproprié pour les téléspectateurs.
Mais que se passe-t-il lorsque ces systèmes bloquent des images qui ne sont pas du tout à caractère sexuel ?
Une récente enquête de The Guardian, réalisée en partenariat avec le Pulitzer Center's AI Accountability Network, a révélé que les algorithmes d'intelligence artificielle utilisés dans les systèmes de modération de contenu ont un préjugé sexiste implicite qui conduit souvent à la sexualisation de photos de femmes.
Par exemple, The Guardian a fait passer une photo du ventre d'une femme enceinte à travers l'algorithme de Microsoft afin qu'il puisse évaluer la "racité" de la photo. L'algorithme était sûr à 90 % que la photo était « de nature sexuellement suggestive ».
L'enquête a montré que des photos de femmes effectuant des activités quotidiennes telles que faire de l'exercice ou subir des examens médicaux ont également fait l'objet de cette fausse analyse.
Le rapport du Guardian est l'un des derniers à montrer comment les préjugés sexistes continuent de sévir dans l'IA. La technologie s'appuie sur des données collectées et étiquetées par des humains - souvent des hommes qui peuvent apporter leurs propres hypothèses, perspectives et préjugés conservateurs dans leur travail.
Ce type de préjugé est nocif car, entre autres, il conduit à ce que davantage de photos soient "bannies de l'ombre". C'est à ce moment qu'une plate-forme de médias sociaux limite la portée ou la visibilité d'une publication sur les médias sociaux. Le shadowbanning diffère du blocage car lorsqu'un message est bloqué, l'utilisateur est averti - alors que si un message est shadowbanned, l'utilisateur n'en est pas conscient.
Lorsque les critères de shadowbanning sont déterminés par un algorithme d'IA biaisé, cela conduit à la suppression de photos de femmes faisant des activités quotidiennes à leur insu en raison de faux rapports d'indécence.
The Guardian a effectué un test LinkedIn en utilisant deux photos représentant des femmes et des hommes en sous-vêtements, et l'outil de Microsoft a classé l'image montrant deux femmes comme racées et lui a donné un score de 96 %. La photo avec les hommes a été classée comme non racée avec un score de 14%.
Par conséquent, la photo des femmes a reçu huit vues en une heure et la photo des hommes a reçu 655 vues.
Shadowbanning est particulièrement nocif pour les créateurs de contenu de médias sociaux qui dépendent de l'audience. The Guardian a parlé à un photographe nommé Bec Wood qui documente l'allaitement, la grossesse et d'autres moments qui capturent la maternité. Elle a été forcée de censurer certaines de ses photos pour s'assurer qu'elles ne soient pas considérées comme sexuellement explicites et restreintes sur Instagram.
The Guardian a également parlé à Carolina Are, une instructrice de pole dance qui a découvert que ses photos n'apparaissent pas sur la page d'exploration d'Instagram ou sous le hashtag # FemmeFitness.
"Mais ensuite, si vous regardiez le hashtag #MaleFitness, c'était tous des mecs gras et ils allaient bien", a-t-elle déclaré. "Ils n'étaient pas bannis de l'ombre."
Les utilisateurs de médias sociaux ont longtemps repoussé les préjugés sexistes dans la modération de contenu par le biais de mouvements tels que [Free the Nipple](https://www.nytimes.com/2019/11/22/arts/design/instagram-free-the-nipple .html). Cependant, l'enquête sur les algorithmes de modération de contenu gérés par l'IA proposés par Microsoft, Amazon et Google laisse présager un plus grand ensemble de problèmes à l'avenir pour les femmes sur les réseaux sociaux.
"Ils sont désavantagés", said Leon Derczynski, professeur de informatique à l'Université informatique de Copenhague. "Ils n'ont aucune agence dans ce qui se passe et ils ne sont pas non plus informés que cela se produit."