Problème 2241

En octobre 2020, nous avons entendu des commentaires de personnes sur Twitter selon lesquels notre [algorithme de recadrage d'image](https: //blog.twitter.com/engineering/en_us/topics/infrastructure/2018/Smart-Auto-Cropping-of-Images.html) n'a pas servi tout le monde équitablement. Dans le cadre de notre engagement pour résoudre ce problème, nous avons également indiqué que nous analyserions à nouveau notre modèle pour biais. Au cours des derniers mois, nos équipes ont accéléré les améliorations de la manière dont nous évaluons les algorithmes pour les biais potentiels et améliorons notre compréhension pour savoir si le ML est toujours la meilleure solution au problème à résoudre. Aujourd'hui, nous partageons les résultats de notre évaluation des biais et un lien pour ceux qui souhaitent lire et [reproduire](https://github.com/ twitter-research/image-crop-analysis) notre analyse en détail plus technique.

L'analyse de notre algorithme de recadrage d'image a été un effort de collaboration avec Kyra Yee et Tao Tantipongpipat de notre ML Ethics, Transparency , and Accountability (META) et Shubhanshu Mishra de notre équipe Content Understanding Research, spécialisée dans l'amélioration de nos modèles ML pour différents types de contenu dans les tweets. Dans notre recherche, nous avons testé notre modèle pour les préjugés fondés sur le sexe et la race et avons examiné si notre modèle correspondait à notre objectif de permettre aux gens de faire leurs propres choix sur notre plateforme.

Comment fonctionne un algorithme de saillance et où les dommages peuvent-ils survenir ?

Twitter a commencé à utiliser un algorithme de saillance en 2018 pour recadrer les images. Nous l'avons fait pour améliorer la cohérence de la taille des photos dans votre journal et pour vous permettre de voir plus de Tweets en un coup d'œil. L'algorithme de saillance fonctionne en estimant ce qu'une personne pourrait vouloir voir en premier dans une image afin que notre système puisse déterminer comment recadrer une image à une taille facilement visible. Les modèles de saillance sont formés sur la façon dont l'œil humain regarde une image comme une méthode de priorisation de ce qui est susceptible d'être le plus important pour la plupart des gens. L'algorithme, formé sur des données de suivi oculaire humain, prédit un score de saillance sur toutes les régions de l'image et choisit le point avec le score le plus élevé comme centre du recadrage.

Dans notre analyse la plus récente de ce modèle, nous avons considéré trois endroits où des dommages pourraient survenir :

1. Traitement inégal basé sur les différences démographiques : Les utilisateurs de Twitter ont noté des cas où notre modèle a choisi des individus blancs plutôt que des individus noirs dans les images et des images présentant des hommes plutôt que des images présentant des femmes. Nous avons testé le modèle sur un ensemble de données plus grand pour déterminer s'il s'agissait d'un problème avec le modèle.
2. Biais d'objectivation, également appelés "regard masculin" : Les utilisateurs de Twitter ont également identifié des cas où le recadrage d'image a choisi la poitrine ou les jambes d'une femme comme élément saillant. Nous avons testé le modèle sur un ensemble de données plus large pour déterminer s'il s'agissait d'un défaut systématique. 3. Liberté d'action : Une décision algorithmique ne permet pas aux utilisateurs de choisir comment ils souhaitent s'exprimer sur la plate-forme, ce qui nuit à la représentation.

Comment l'avons-nous testé et qu'avons-nous trouvé ?

Pour tester ** quantitativement ** les biais potentiels basés sur le sexe et la race de cet algorithme de saillance, nous avons créé une expérience d'images liées de manière aléatoire d'individus de races et de sexes différents. (Remarque : dans notre article, nous partageons plus de détails sur les compromis entre l'utilisation de termes d'identité et les annotations de couleur de peau dans notre analyse.) Si le modèle est démographiquement égal, nous ne verrions aucune différence dans le nombre de fois où chaque image a été choisie par le algorithme de saillance. En d'autres termes, la parité démographique signifie que chaque image a 50 % de chances d'être saillante.

Voici ce que nous avons trouvé :

• En comparant les hommes et les femmes, on note un écart de 8 % par rapport à la parité démographique en faveur des femmes.
• Dans les comparaisons entre les individus noirs et blancs, il y avait une différence de 4 % par rapport à la parité démographique en faveur des individus blancs.
• En comparant les femmes noires et blanches, il y avait une différence de 7% par rapport à la parité démographique en faveur des femmes blanches.
• Dans les comparaisons entre les hommes noirs et blancs, il y avait une différence de 2 % par rapport à la parité démographique en faveur des hommes blancs.

Nous avons également testé le "regard masculin" en sélectionnant au hasard 100 images présentant des hommes et des femmes qui avaient plus d'une zone dans l'image identifiée par l'algorithme comme saillante et en observant comment notre modèle a choisi de recadrer l'image. Nous n'avons trouvé aucune preuve de biais d'objectivation - en d'autres termes, notre algorithme n'a pas recadré les images d'hommes ou de femmes sur des zones autres que leurs visages à un rythme significatif. Voici ce que nous avons trouvé :

• Pour 100 images par groupe, environ trois recadrées à un endroit autre que la tête.
• Lorsque les images n'étaient pas recadrées en tête, elles étaient recadrées sur des aspects non physiques de l'image, comme un numéro sur un maillot de sport.

Nous avons ** qualitativement ** considéré l'algorithme de saillance dans l'équité dans la littérature ML, y compris celles sur les dommages technologiques à la société. Même si l'algorithme de saillance a été ajusté pour refléter une égalité parfaite entre les sous-groupes de race et de sexe, nous sommes préoccupés par le préjudice de représentation de l'algorithme automatisé lorsque les gens ne sont pas autorisés à se représenter comme ils le souhaitent sur la plate-forme. La saillance comporte également d'autres dommages potentiels au-delà de la portée de cette analyse, y compris l'insensibilité aux nuances culturelles.

Quelles actions prenons-nous ?

Nous avons examiné les compromis entre la vitesse et la cohérence du recadrage automatisé avec les risques potentiels que nous avons vus dans cette recherche. L'une de nos conclusions est que tout sur Twitter n'est pas un bon candidat pour un algorithme, et dans ce cas, comment recadrer une image est une décision qu'il vaut mieux prendre par les gens.

En mars, nous avons commencé à tester une nouvelle façon d'afficher intégralement les photos au format d'image standard sur iOS et Android, c'est-à-dire sans le recadrage de l'algorithme de saillance. L'objectif était de donner aux gens plus de contrôle sur la façon dont leurs images apparaissent tout en améliorant l'expérience des personnes qui voient les images dans leur chronologie. Après avoir reçu des commentaires positifs sur cette expérience, nous avons lancé cette fonctionnalité pour tout le monde. Cette mise à jour inclut également un véritable aperçu de l'image dans le champ Compositeur de Tweet, afin que les auteurs de Tweet sachent à quoi ressembleront leurs Tweets avant qu'ils ne soient publiés. Cette version réduit notre dépendance vis-à-vis du ML pour une fonction qui, selon nous, est mieux exécutée par les personnes utilisant nos produits. Nous travaillons sur d'autres améliorations des médias sur Twitter qui s'appuient sur cet effort initial, et nous espérons le déployer bientôt pour tout le monde.

Responsabilité publique

Nous tenons à vous remercier d'avoir partagé avec nous vos commentaires ouverts et vos critiques sur cet algorithme. Comme nous en avons discuté dans notre récent article de blog sur nos initiatives de ML responsable, Twitter s'engage à fournir plus de transparence sur la manière dont nous enquêtons et investissons dans la compréhension des dommages potentiels résultant de l'utilisation de systèmes de décision algorithmiques comme le ML. Vous pouvez vous attendre à plus de mises à jour et de travaux publiés comme celui-ci à l'avenir.

Comment pouvez-vous être impliqué?

Nous savons qu'il y a beaucoup de travail à faire et nous apprécions vos commentaires qui nous aident à identifier comment nous pouvons nous améliorer. Tweetez-nous en utilisant le hashtag #AskTwitterMETA. Vous pouvez également accéder à notre code et notre article académique complet est disponible sur arXiv [ici](https://arxiv.org/abs/ 2105.08667).