Incidents associés
Internet peut sembler être un terrain de jeu égal, mais ce n'est pas le cas. Safiya Umoja Noble a été confrontée à ce fait un jour lorsqu'elle a utilisé le moteur de recherche de Google pour rechercher des sujets que ses nièces pourraient trouver intéressants. Elle est entrée dans le terme "filles noires" et est revenue avec des pages dominées par la pornographie.
Noble, professeur de communication à l'USC Annenberg, a été horrifié mais pas surpris. Depuis des années, elle soutient que les valeurs du Web reflètent ses bâtisseurs - principalement des hommes blancs occidentaux - et ne représentent pas les minorités et les femmes. Son dernier livre, Algorithms of Oppression, détaille les recherches qu'elle a commencées après cette recherche fatidique sur Google, et explore les structures cachées qui façonnent la façon dont nous obtenons des informations via Internet.
Le livre, sorti ce mois-ci, soutient que les algorithmes des moteurs de recherche ne sont pas aussi neutres que Google voudrait que vous le pensiez. Les algorithmes favorisent certains résultats au-dessus d'autres, et même un morceau de code apparemment neutre peut refléter les préjugés de la société. De plus, sans aucune idée du fonctionnement des algorithmes ou du contexte plus large, les recherches peuvent façonner injustement la discussion sur un sujet comme les filles noires.
Noble a parlé à MIT Technology Review des problèmes inhérents au système actuel, de la façon dont Google pourrait faire mieux et de la façon dont l'intelligence artificielle pourrait aggraver les choses.
Si nous recherchons le Starbucks le plus proche, une citation spécifique ou quelque chose de très étroit et facile à comprendre, cela fonctionne bien. Mais lorsque nous commençons à entrer dans des concepts plus compliqués autour de l'identité, autour de la connaissance, c'est là que les moteurs de recherche commencent à nous faire défaut. Ce ne serait pas vraiment un problème, sauf que le public compte vraiment sur les moteurs de recherche pour leur donner ce qu'ils pensent être la vérité, ou quelque chose de vérifié, ou quelque chose de crédible. C'est là, je pense, que nous avons le plus grand malentendu dans le public sur ce que sont les moteurs de recherche.
Pour lutter contre les biais, Google supprime normalement certains résultats. Est-ce qu'il y a une meilleure approche?
Nous pourrions penser à nous retirer d'un projet aussi ambitieux d'organiser toutes les connaissances du monde, ou nous pourrions recadrer et dire : « C'est une technologie qui est imparfaite. C'est manipulable. Nous allons vous montrer comment il est manipulé. Nous allons rendre ces types de dimensions de notre produit plus transparents afin que vous sachiez la nature profondément subjective de la sortie. Au lieu de cela, la position de nombreuses entreprises - pas seulement Google - est qu'elles fournissent quelque chose sur lequel vous pouvez avoir confiance et sur lequel vous pouvez compter, et c'est là que cela devient assez difficile.
Comment l'apprentissage automatique pourrait-il perpétuer une partie du racisme et du sexisme sur lesquels vous écrivez ?
J'ai soutenu que l'intelligence artificielle, ou les systèmes de prise de décision automatisés, deviendraient une question de droits de l'homme au cours de ce siècle. Je crois fermement que, parce que les algorithmes et les projets d'apprentissage automatique utilisent des données qui sont déjà biaisées, incomplètes, erronées et [nous] enseignons aux machines comment prendre des décisions sur la base de ces informations. Nous savons [that’s] va conduire à une variété de résultats disparates. Permettez-moi d'ajouter qu'il sera de plus en plus difficile d'intervenir sur l'IA, car il deviendra moins clair quelles données ont été utilisées pour informer la fabrication de cette IA, ou la fabrication de ces systèmes. Il existe de nombreux types d'ensembles de données différents, par exemple, qui ne sont pas normalisés, qui fusionnent pour prendre des décisions.
Depuis que vous avez recherché des « filles noires » pour la première fois en 2010, avez-vous vu les choses s'améliorer ou empirer ?
Depuis que j'ai commencé à écrire et à parler publiquement des filles noires en particulier associées à la pornographie, les choses ont changé. Maintenant, la pornographie et le contenu hypersexualisé ne sont pas sur la première page, donc je pense que c'était une amélioration discrète qui ne s'est pas produite avec beaucoup de fanfare. Mais d'autres communautés, comme les filles latines et asiatiques, sont encore fortement sexualisées dans les résultats de recherche.