Incidents associés
Une nouvelle technique de vision par ordinateur qui aide à convertir des photos floues de personnes en images fausses et réalistes a été critiquée pour ses préjugés raciaux envers les Blancs.
L'outil connu sous le nom de PULSE a été introduit par un groupe de chercheurs de l'Université Duke et a été [présenté](http://openaccess.thecvf.com/content_CVPR_2020/ html/Menon_PULSE_Self-Supervised_Photo_Upsampling_via_Latent_Space_Exploration_of_Generative_CVPR_2020_paper.html) lors de la conférence virtuelle sur la vision par ordinateur et la reconnaissance de formes la semaine dernière. Étant donné un portrait pixélisé en entrée, PULSE recherche parmi les images générées par ordinateur et sélectionne la meilleure qui, selon lui, correspond le mieux à la photo originale.
Toutes les images imaginaires sont des sorties générées par StyleGAN, un réseau contradictoire génératif développé par Nvidia en 2018. L'ensemble du système, essentiellement, tourne une petite photo floue en une image plus grande et à plus haute résolution, une méthode connue sous le nom de mise à l'échelle.
PULSE ne peut cependant pas être utilisé pour révéler la véritable identité de la personne cachée dans la photo floue, car il ne considère que les images qui ont été fabriquées par un réseau génératif contradictoire. Les personnes représentées dans ses résultats n'existent pas dans la vraie vie.
Au lieu de cela, l'outil recherche des caractéristiques telles que la longueur des cheveux et la couleur de la peau dans l'image floue et sélectionne un nouveau visage imaginé par StyleGAN qui pourrait ressembler à la personne de l'image d'origine. Malheureusement, l'outil a du mal lorsque les photos masquées présentent des personnes de couleur, car il choisit souvent de fausses images de personnes blanches.
Voici une bonne démonstration du modèle global : Le visage d'origine sur la gauche peut être difficile à distinguer, mais la plupart des gens pourraient dire qu'il s'agit de l'ancien président américain Barack Obama.
Compte tenu de cette image, PULSE a sélectionné une image sur la droite en utilisant StyleGAN. Le visage généré par ordinateur ne ressemble évidemment en rien à Obama. Dans l'image originale Obama a la peau foncée, les cheveux noirs et les yeux marrons, mais le résultat est plutôt quelqu'un qui a la peau blanche, yeux bleus et cheveux bruns.
Robert Ness, un scientifique en apprentissage automatique qui enseigne des ateliers sur sa plateforme en ligne Altdeep, a également trouvé d'autres exemples de préjugés raciaux lorsqu'il jouait avec le logiciel. Lorsqu'il a alimenté sa propre photo et celle d'Alexandria Ocasio-Cortez, la représentante des États-Unis pour le 14e district du Congrès de New York, les résultats étaient tous deux biaisés en faveur de visages d'apparence caucasienne.
Une image de @BarackObama en train d'être suréchantillonné en un homme blanc circule parce qu'elle illustre les préjugés raciaux dans [#MachineLearning](https://twitter .com/hashtag/MachineLearning?src=hash&ref_src=twsrc%5Etfw). Juste au cas où vous pensez que ce n'est pas réel, ça l'est, j'ai fait fonctionner le code localement. Voici moi, et voici @AOC. pic.twitter.com/kvL3pwwWe1
— Robert Osazuwa Ness (@osazuwa) 20 juin 2020
Tout d'abord, le modèle a flouté ses deux images originales. Ensuite, PULSE a sélectionné les images générées par StyleGAN sur la base des entrées pixélisées. "Ce modèle démontre les mêmes problèmes de biais que nous avons vus dans d'autres algorithmes basés sur les données plus couramment utilisés comme la recherche", a-t-il déclaré à The Register. "Cet exemple de modélisation générative profonde rend le problème flagrant."
Ne testez pas un modèle biaisé sur un jeu de données biaisé !
Les chercheurs ont reconnu le problème et pensent qu'il découle de biais existants au sein du modèle StyleGAN lui-même. Ils ont mis à jour leur [article] de recherche (http://pulse.cs.duke.edu/) avec une section traitant de la question des préjugés raciaux dans leur travail.
Le problème est que StyleGAN - formé sur [70 000 images extraites de Flickr] (https://github.com/NVlabs/ffhq-dataset) - a tendance à générer des images de personnes blanches. En fait, un document de recherche récent [PDF] examinant la démographie des images StyleGAN a découvert qu'il recrachait des images de personnes blanches 72,6 pour 100 % du temps, contre seulement 10,1 % pour les Noirs et 3,4 % pour les Indiens. PULSE est donc également plus susceptible de choisir des images de personnes blanches puisque ce sont les images générées par StyleGAN.
L'équipe a contacté les chercheurs originaux de Nvidia pour les informer de leur problème, mais n'a pas obtenu de réponse. "NVIDIA prend la diversité et l'inclusion au sérieux", a déclaré un porte-parole de la société à The Register.
"Nous nous efforçons toujours de créer de meilleurs ensembles de données et algorithmes pour surmonter tout biais existant dans les modèles actuels. Nous effectuons également davantage de recherches sur le biais algorithmique dans les modèles d'apprentissage en profondeur et les méthodes pour les atténuer."
Sachit Menon et Alex Damian, tous deux co-auteurs et récents diplômés de l'Université de Duke, ne s'en sont pas rendu compte lorsqu'ils ont décidé de mener la recherche. Ils n'ont pas non plus réalisé les préjugés raciaux dans StyleGAN puisqu'ils ont testé leur outil sur un autre ensemble de données qui collecte des images de célébrités connues sous le nom de CelebA .
"Il s'avère que 90 % des photos de CelebA sont des personnes blanches", a déclaré Menon à El Reg. En testant un modèle biaisé sur un ensemble de données qui contient également les mêmes biais, le problème a été négligé.
"Nous avons essayé [l'outil] sur moi, et je suis indien", a-t-il ajouté. "Parfois, cela fonctionnait, mais la plupart du temps, cela me rendait blanc. Et puis j'ai trouvé cet autre article qui montrait que StyleGAN ne rendait les Indiens que 3 % du temps. Et quand nous avons vu cela s'effondrer, c'est à ce moment-là que nous avons réalisé c'était biaisé."
L'équipe a utilisé le modèle standard de Nvidia et n'a pas formé StyleGAN elle-même. "Dans un monde idéal, il y aurait un ensemble de données plus équilibré, et nous aurions pu utiliser un modèle pré-entraîné qui reflétait cela", a déclaré Damian. "Si nous avions utilisé un ensemble de données d'évaluation différent contenant plus d'images de personnes de couleur, nous aurions repéré le problème. C'est une grande leçon et une grande leçon pour nous."
Le couple a déclaré avoir réalisé le projet lorsqu'ils étaient étudiants et avoir simplement sélectionné StyleGAN pour leur outil car il fournit des résultats de pointe et que CelebA était couramment utilisé pour comparer les tâches d'imagerie à super résolution.
"Nous ne voulons pointer du doigt qui que ce soit ; les préjugés implicites sont des problèmes systémiques", ont-ils déclaré. "Il est important d'être conscient de ces problèmes auxquels nous n'avions pas pensé au départ. Nous avons encore un long chemin à parcourir en tant que domaine pour être conscient de ces choses."
La recherche a lancé une discussion animée sur la question de savoir si le problème peut simplement être résolu en utilisant un modèle qui a été formé sur un ensemble de données plus diversifié. Yann LeCun, scientifique en chef de l'IA chez Facebook, le pense, mais d'autres comme Timnit Gebru, un expert en biais algorithmique, ne pensent pas que ce soit aussi simple que cela.
J'en ai marre de ce cadrage. En avoir assez. Beaucoup de gens ont essayé d'expliquer, beaucoup de savants. Écoutes nous. Vous ne pouvez pas simplement réduire les dommages causés par le ML au biais des ensembles de données. https://t.co/HU0xgzg5Rt
— Timnit Gebru (@timnitGebru) 21 juin 2020