Incidents associés
L'algorithme de Twitter pour recadrer automatiquement les images jointes aux tweets ne se concentre souvent pas sur le contenu important qu'ils contiennent. Un problème, bien sûr, mais cela semble mineur à la surface. Cependant, au cours du week-end, les chercheurs ont découvert que l'algorithme de recadrage pourrait avoir un problème plus grave : le biais blanc.
Plusieurs utilisateurs ont posté de nombreuses photos pour montrer que dans une image présentant des personnes de couleurs différentes, Twitter choisit de montrer des personnes à la peau plus claire après avoir recadré ces images pour les adapter à ses paramètres d'affichage sur son site et les intégrer. Certains d'entre eux ont même essayé de reproduire les résultats avec des personnages fictifs et des chiens.
Si vous appuyez sur ces images, vous verrez une version non recadrée de l'image qui comprend plus de détails tels qu'une autre personne ou un autre personnage. Ce qui est étrange, c'est que même si les utilisateurs inversaient l'ordre d'apparition des personnes à la peau foncée et à la peau claire dans l'image, les résultats étaient les mêmes.
Cependant, certaines personnes ont noté qu'il pourrait y avoir d'autres facteurs que la couleur de la peau. Et ceux qui ont essayé différentes méthodes ont trouvé des résultats incohérents.
Le Chief Design Officer (CDO) de Twitter, Dantley Davis, a déclaré que le choix du recadrage tient parfois compte de la luminosité de l'arrière-plan.
Dans un fil de discussion, Bianca Kastl, une développeuse allemande, a expliqué que l'algorithme de Twitter pourrait recadrer l'image en fonction de la saillance - un point ou une partie importante d'une image que vous êtes susceptible de regarder en premier lorsque vous la voyez.
L'algorithme Crop de Twitter est probablement une saillance assez simple. On verra… pic.twitter.com/q4R0R8h3vh
– Bianca Kastl (@bkastl) 20 septembre 2020
Sa théorie est étayée par le billet de blog de Twitter de 2018 qui expliquait son réseau de neurones conçu pour le recadrage d'images. Le message note qu'auparavant, la société avait pris en compte la détection faciale pour recadrer les images. Cependant, cette approche ne fonctionnait pas pour les images qui n'avaient pas de visage. Le réseau social est donc passé à un algorithme basé sur la saillance.
[Lire : Les véhicules électriques sont-ils trop chers ? Voici 5 mythes courants, démystifiés]
Même si l'algorithme de Twitter n'est pas «raciste», suffisamment de personnes ont publié des exemples montrant que l'algorithme semble biaisé vers des tons de peau plus clairs, et les résultats sont problématiques. réseau. Anima Anandkumar, directrice de la recherche sur l'IA chez Nvidia, a souligné que l'algorithme de saillance pourrait être formé à l'aide du suivi oculaire des participants masculins hétérosexuels, ce qui insérerait davantage de biais dans l'algorithme.
Enregistrer des hommes hétéros où leurs yeux se détournent lorsqu'ils regardent des images de femmes, c'est coder l'objectivation et la sexualisation des femmes dans les médias sociaux @Twitter Personne ne demande quels yeux sont suivis pour enregistrer la saillance. #ai #bias https://t.co/coXwngSjiW
– Professeur Anima Anandkumar (@AnimaAnandkumar) 20 septembre 2020
La porte-parole de Twitter, Liz Kelly, a tweeté que l'entreprise avait testé le modèle et n'avait trouvé aucun parti pris. Elle a ajouté que la société ouvrira son travail en open source pour que d'autres puissent l'examiner et le reproduire. Il est possible que Twitter ait ignoré certains facteurs lors des tests, et l'open source de l'étude pourrait les aider à trouver ces angles morts.
Le directeur de la technologie de la société, Parag Agarwal, a déclaré que le modèle nécessite des améliorations continues et que l'équipe est impatiente d'apprendre de cette expérience.
Le biais de peau claire dans les algorithmes est bien documenté dans des domaines allant des soins de santé à l'application de la loi. Les grandes entreprises comme Twitter doivent donc travailler en permanence sur leurs systèmes pour s'en débarrasser. De plus, il doit entamer un dialogue ouvert avec la communauté de l'IA pour comprendre ses angles morts.