Incidents associés
Une étude de 10 000 images a révélé un biais dans ce que le système choisit de mettre en évidence. Twitter a cessé de l'utiliser sur mobile et envisagera de l'abandonner sur le Web.
L'AUTOMNE DERNIER, l'étudiant CANADIEN Colin Madland a remarqué que l'algorithme de recadrage automatique de Twitter sélectionnait continuellement son visage - et non celui de son collègue à la peau plus foncée - à partir des photos du couple à afficher dans les tweets. L'épisode a déclenché des accusations de partialité alors qu'une vague d'utilisateurs de Twitter a publié des photos allongées pour voir si l'IA choisirait le visage d'une personne blanche plutôt qu'une personne noire ou si elle se concentrait sur la poitrine des femmes plutôt que sur leur visage.
À l'époque, un porte-parole de Twitter a déclaré que les évaluations de l'algorithme avant sa mise en service en 2018 n'avaient trouvé aucune preuve de préjugés raciaux ou sexistes. Maintenant, la plus grande analyse de l'IA à ce jour a trouvé le contraire : que l'algorithme de Twitter favorise les Blancs par rapport aux Noirs. Cette évaluation a également révélé que l'IA pour prédire la partie la plus intéressante d'une photo ne se concentre pas sur le corps des femmes plutôt que sur les visages des femmes.
Les tests précédents de Twitter et du chercheur Vinay Prabhu impliquaient quelques centaines d'images ou moins. L'analyse publiée mercredi par les chercheurs de Twitter est basée sur 10 000 paires d'images de personnes de différents groupes démographiques pour tester qui l'algorithme favorise.
Les chercheurs ont trouvé un biais lorsque l'algorithme a montré des photos de personnes de deux groupes démographiques. En fin de compte, l'algorithme sélectionne une personne dont le visage apparaîtra dans les chronologies de Twitter, et certains groupes sont mieux représentés sur la plate-forme que d'autres. Lorsque les chercheurs ont introduit une image d'un homme noir et d'une femme blanche dans le système, l'algorithme a choisi d'afficher la femme blanche 64% du temps et l'homme noir seulement 36% du temps, le plus grand écart pour tous les groupes démographiques inclus dans l'analyse. Pour les images d'une femme blanche et d'un homme blanc, l'algorithme a affiché la femme 62 % du temps. Pour les images d'une femme blanche et d'une femme noire, l'algorithme a affiché la femme blanche 57 % du temps.
Le 5 mai, Twitter a supprimé le recadrage d'images pour les photos uniques publiées à l'aide de l'application Twitter pour smartphone, une approche privilégiée par le directeur de la conception de Twitter, Dantley Davis, depuis que la controverse sur l'algorithme a éclaté l'automne dernier. Le changement a conduit les gens à publier de grandes photos et a marqué la fin des tweets "ouvert pour une surprise".
Le soi-disant algorithme de saillance est toujours utilisé sur Twitter.com ainsi que pour recadrer les tweets multi-images et créer des vignettes d'images. Un porte-parole de Twitter a déclaré que les photos excessivement hautes ou larges sont désormais recadrées au centre et que la société prévoit de mettre fin à l'utilisation de l'algorithme sur le site Web de Twitter. Les algorithmes de saillance sont formés en suivant ce que les gens regardent lorsqu'ils regardent une image.
D'autres sites, dont Facebook et Instagram, ont utilisé le recadrage automatisé basé sur l'IA. Facebook n'a pas répondu à une demande de commentaire.
Les accusations de préjugés sexistes et raciaux dans les systèmes de vision par ordinateur sont malheureusement assez courantes. Google a récemment détaillé ses efforts pour améliorer le fonctionnement des caméras Android pour les personnes à la peau foncée. La semaine dernière, le groupe Algorithm Watch a découvert que l'IA d'étiquetage d'image utilisée sur un iPhone étiquetait les représentations de dessins animés de personnes à la peau foncée comme "animal". Un porte-parole d'Apple a refusé de commenter.
Indépendamment des résultats des mesures d'équité, les chercheurs de Twitter affirment que la prise de décision algorithmique peut priver les utilisateurs de choix et avoir un impact considérable, en particulier pour les groupes de personnes marginalisés.
Dans l'étude récemment publiée, les chercheurs de Twitter ont déclaré qu'ils n'avaient trouvé aucune preuve que l'algorithme de recadrage de photos favorise le corps des femmes par rapport à leur visage. Pour le déterminer, ils ont alimenté l'algorithme avec 100 images choisies au hasard de personnes identifiées comme des femmes, et ont découvert que seuls trois corps étaient centrés sur les visages. Les chercheurs suggèrent que cela est dû à la présence d'un badge ou de numéros de maillot sur la poitrine des gens. Pour mener l'étude, les chercheurs ont utilisé des photos de l'ensemble de données WikiCeleb ; les traits d'identité des personnes sur les photos ont été tirés de Wikidata.
Le document Twitter reconnaît qu'en limitant l'analyse aux comparaisons entre Noirs ou blancs ou hommes et femmes, il peut exclure les personnes qui s'identifient comme non binaires ou métisses. Les chercheurs ont déclaré qu'ils avaient espéré utiliser l'ensemble de données Gender Shades créé pour évaluer les performances des systèmes de reconnaissance faciale basés sur le teint de la peau, mais des problèmes de licence sont survenus.
Twitter a publié l'étude sur le référentiel de préimpression arXiv. Un porte-parole de Twitter a déclaré qu'il avait été soumis à une conférence de recherche qui se tiendra en octobre.
Les chercheurs de Twitter suggèrent que les préjugés raciaux trouvés dans l'analyse peuvent être le résultat du fait que de nombreuses images de la base de données WikiCeleb ont des arrière-plans sombres et que l'algorithme de saillance est attiré par le contraste plus élevé des photos montrant des personnes à la peau claire sur un arrière-plan sombre. . Ils suggèrent également que la couleur des yeux foncés sur la peau claire a joué un rôle dans les algorithmes de saillance favorisant les personnes à la peau claire.
Les coauteurs de l'article proviennent de l'équipe ML Ethics, Transparency, and Accountability (META) de Twitter, que Twitter a lancée le mois dernier. Rumman Chowdhury, fondateur de la startup d'audit d'algorithmes Parity et ancien conseiller auprès d'entreprises technologiques et de gouvernements, dirige l'équipe.
Dans un article de blog le mois dernier, Twitter a déclaré avoir créé l'équipe pour assumer la responsabilité de l'utilisation des algorithmes par Twitter, assurer la transparence de la prise de décision interne concernant l'IA qui affecte des centaines de millions de personnes et tenir l'entreprise responsable. Certaines questions subsistent sur le fonctionnement de l'équipe META, par exemple qui prendra la décision finale pour savoir si Twitter utilise certains types d'IA.
Le porte-parole de Twitter a déclaré que les équipes interfonctionnelles décident des mesures à prendre sur les algorithmes, mais n'a pas abordé la question de savoir qui a le pouvoir final de décider quand une forme d'IA est considérée comme trop injuste pour être utilisée.
Dans les mois à venir, META prévoit d'évaluer comment les algorithmes de recommandation de la page d'accueil de Twitter traitent certains groupes raciaux et comment l'IA de Twitter traite les gens en fonction des idéologies politiques.
La création de l'équipe META est intervenue au milieu des questions sur l'indépendance et la viabilité des équipes d'IA éthiques dans les environnements d'entreprise. Dans une décision qui a depuis conduit des groupes d'IA à refuser des financements et des milliers de Googleurs à se révolter, Google et l'ancien chef de l'équipe Ethical AI, Timnit Gebru, se sont séparés en décembre 2020. Dans une interview peu de temps après, Chowdhury a déclaré que l'épisode avait des conséquences pour une IA responsable. et l'ensemble de l'industrie de l'IA.
Comme Chowdhury l'a souligné plus tôt cette année, il existe de nombreuses façons de définir un audit d'algorithme. Ce qui n'est pas inclus dans la recherche de saillance de Twitter : l'analyse des données utilisées pour former l'algorithme de saillance de Twitter, ou des informations plus détaillées sur l'analyse effectuée par Twitter avant l'utilisation de l'algorithme de saillance.
Lorsqu'on lui a demandé comment la controverse sur la saillance de Twitter avait changé la politique de l'entreprise, un porte-parole de l'entreprise a déclaré que l'entreprise procédait à des évaluations des risques en matière de confidentialité et de sécurité, et que l'équipe META créait des mesures d'équité pour la plate-forme d'expérimentation de modèles de l'entreprise et des normes pour l'examen éthique des algorithmes.