Incidents associés
Ryan Steed, doctorant à l'université Carnegie Mellon, et Aylin Caliskan, professeur adjoint à l'université George Washington, ont examiné deux algorithmes : [iGPT d'OpenAI](https://www.technologyreview.com/2020/07/16/1005284 /openai-ai-gpt-2-generates-images/) (une version de GPT-2 qui est entraînée sur des pixels au lieu de mots) et Google's SimCLR . Bien que chaque algorithme aborde différemment l'apprentissage des images, ils partagent une caractéristique importante : ils utilisent tous les deux complètement [l'apprentissage non supervisé] (https://www.technologyreview.com/2018/11/17/103781/what-is-machine-learning-we -drew-you-another-flowchart/), ce qui signifie qu'ils n'ont pas besoin d'humains pour étiqueter les images.
Il s'agit d'une innovation relativement nouvelle à partir de 2020. Les algorithmes de vision par ordinateur précédents utilisaient principalement l'apprentissage supervisé, qui consistait à leur fournir des images étiquetées manuellement : des photos de chat avec l'étiquette "chat" et des photos de bébé avec l'étiquette "bébé". Mais en 2019, la chercheuse Kate Crawford et l'artiste Trevor Paglen ont découvert que ces étiquettes créées par l'homme dans ImageNet, l'ensemble de données d'image le plus fondamental pour la formation de modèles de vision par ordinateur, contiennent parfois un langage dérangeant , comme "salope" pour les femmes et les insultes raciales pour les minorités.
Le dernier article démontre une source de toxicité encore plus profonde. Même sans ces étiquettes humaines, les images elles-mêmes encodent des motifs indésirables. Le problème est parallèle à ce que la communauté du traitement du langage naturel (TAL) a déjà découvert. Les énormes ensembles de données compilés pour alimenter ces algorithmes gourmands en données capturent tout sur Internet. Et Internet a une surreprésentation des femmes légèrement vêtues et d'autres stéréotypes souvent nuisibles.
Pour mener leur étude, Steed et Caliskan ont intelligemment adapté une technique que Caliskan utilisait auparavant pour examiner les biais dans les modèles de PNL non supervisés. Ces modèles apprennent à manipuler et à générer du langage à l'aide d'incorporations de mots, une représentation mathématique du langage qui regroupe les mots couramment utilisés ensemble et sépare les mots couramment trouvés à part. Dans un article de 2017 publié dans Science, Caliskan a mesuré les distances entre les différents appariements de mots que les psychologues utilisaient pour mesurer les préjugés humains dans [l'implicite Test d'association (IAT)] (https://implicit.harvard.edu/implicit/takeatest.html). Elle a constaté que ces distances recréaient presque parfaitement les résultats de l'IAT. Les couples de mots stéréotypés comme homme et carrière ou femme et famille étaient proches, tandis que les couples opposés comme homme et famille ou femme et carrière étaient éloignés.
iGPT est également basé sur les incorporations : il regroupe ou sépare les pixels en fonction de la fréquence à laquelle ils se produisent simultanément dans ses images d'entraînement. Ces incorporations de pixels peuvent ensuite être utilisées pour comparer la proximité ou la distance entre deux images dans l'espace mathématique.
Dans leur étude, Steed et Caliskan ont une fois de plus découvert que ces distances reflètent les résultats de l'IAT. Les photos d'hommes, de cravates et de costumes apparaissent rapprochées, tandis que les photos de femmes apparaissent plus éloignées. Les chercheurs ont obtenu les mêmes résultats avec SimCLR, malgré l'utilisation d'une méthode différente pour dériver les intégrations à partir d'images.
Ces résultats ont des implications préoccupantes pour la génération d'images. D'autres algorithmes de génération d'images, comme les [réseaux antagonistes génératifs](https://www.technologyreview.com/2018/12/01/138847/inside-the-world-of-ai-that-forges-beautiful-art-and -terrifying-deepfakes/), ont conduit à une explosion de la pornographie deepfake qui [cible presque exclusivement les femmes](https://www.technologyreview.com/2019/06/28/134352/an-ai-app-that-undressed-women-shows-how-deepfakes-harm-the-most -vulnérable/). iGPT en particulier ajoute encore une autre façon pour les gens de générer des photos sexualisées de femmes.
Mais les effets potentiels en aval sont beaucoup plus importants. Dans le domaine du TAL, les modèles non supervisés sont devenus l'épine dorsale de toutes sortes d'applications. Les chercheurs commencent avec un modèle non supervisé existant comme BERT ou GPT-2 et utilisent un ensemble de données sur mesure pour le « peaufiner » dans un but précis. Cette approche semi-supervisée, une combinaison d'apprentissage non supervisé et supervisé, est devenue un standard de facto.
De même, le domaine de la vision par ordinateur commence à voir la même tendance. Steed et Caliskan s'inquiètent de ce que ces biais intégrés pourraient signifier lorsque les algorithmes sont utilisés pour des applications sensibles telles que la police ou l'embauche, où les modèles analysent déjà les enregistrements vidéo des candidats pour décider s'ils conviennent au poste. «Ce sont des applications très dangereuses qui prennent des décisions conséquentes», explique Caliskan.
Deborah Raji, un membre de Mozilla qui a co-écrit [une étude influente](https://www.technologyreview.com/2020/ 06/12/1003482/amazon-stopped-selling-police-face-recognition-fight/) révélant les biais de la reconnaissance faciale, affirme que l'étude devrait servir de signal d'alarme pour le domaine de la vision par ordinateur. "Pendant longtemps, une grande partie de la critique sur les préjugés concernait la façon dont nous étiquetons nos images", dit-elle. Maintenant, cet article dit que "la composition réelle de l'ensemble de données entraîne ces biais. Nous avons besoin de responsabilité sur la façon dont nous conservons ces ensembles de données et collectons ces informations.
Steed et Caliskan demandent une plus grande transparence de la part des entreprises qui développent ces modèles pour les ouvrir et laisser la communauté universitaire poursuivre ses investigations. Ils encouragent également leurs collègues chercheurs à effectuer davantage de tests avant de déployer un modèle de vision, par exemple en utilisant les méthodes qu'ils ont développées pour cet article. Et enfin, ils espèrent que le domaine développera des moyens plus responsables de compiler et de documenter ce qui est inclus dans les ensembles de données de formation.
Caliskan dit que l'objectif est en fin de compte d'acquérir une plus grande sensibilisation et un meilleur contrôle lors de l'application de la vision par ordinateur. "Nous devons faire très attention à la façon dont nous les utilisons", dit-elle, "mais en même temps, maintenant que nous avons ces méthodes, nous pouvons essayer de les utiliser pour le bien social".