Incidents associés
La police de Detroit a arrêté à tort Robert Julian-Borchak Williams en janvier 2020 [pour un vol à l'étalage qui avait eu lieu deux ans plus tôt](https://www.nytimes.com/2020/06/24/technology/facial-recognition-arrest. html). Même si Williams n'a rien à voir avec l'incident, la technologie de reconnaissance faciale utilisée par la police de l'État du Michigan a "associé" son visage à une image granuleuse obtenue à partir d'une vidéo de surveillance en magasin montrant un autre homme afro-américain emportant 3 800 dollars de montres.
Deux semaines plus tard, l'affaire a été classée sans suite à la demande du parquet. Cependant, s'appuyant sur la correspondance défectueuse, la police avait déjà menotté et arrêté Williams devant sa famille, l'avait forcé à fournir une photo d'identité, des empreintes digitales et un échantillon de son ADN, l'avait interrogé et emprisonné pendant la nuit.
Les experts suggèrent que Williams n'est pas seul et que d'autres ont été victimes d'injustices similaires. La controverse en cours sur l'utilisation de Clearview AI par la police souligne certainement les risques pour la vie privée posés par la technologie de reconnaissance faciale. Mais il est important de réaliser que nous ne supportons pas tous ces risques de la même manière.
Former des algorithmes racistes
La technologie de reconnaissance faciale qui est formée et adaptée aux visages caucasiens identifie et étiquette systématiquement à tort les personnes racialisées : de nombreux des études rapportent que la technologie de reconnaissance faciale est "[imparfaite et biaisée, avec des taux d'erreur significativement plus élevés lorsqu'elle est utilisée contre des personnes de couleur](https://www.aclu.org/news/privacy-technology/wrongfully-arrested-because-face- reconnaissance-ne peut pas-dire-les-noirs-à part /).
Cela sape l'individualité et l'humanité des personnes racialisées qui sont plus susceptibles d'être identifiées à tort comme criminelles. La technologie - et les erreurs d'identification qu'elle commet - reflète et renforce encore les divisions sociales de longue date qui sont profondément enchevêtrées avec le racisme, le sexisme, l'homophobie, le colonialisme et d'autres oppressions croisées.
Une enquête de France24 sur les préjugés raciaux dans la technologie de reconnaissance faciale.
Comment la technologie catégorise les utilisateurs
Dans son livre révolutionnaire de 1993, The Panoptic Sort, le chercheur Oscar Gandy a averti que "la technologie complexe [that] implique la collecte, le traitement et le partage des informations sur les individus et les groupes qui sont générées au cours de leur vie quotidienne… sont utilisées pour coordonner et contrôler leur accès aux biens et services qui définissent la vie dans l'économie capitaliste moderne. Les forces de l'ordre l'utilisent pour extraire des suspects du grand public, et des organisations privées l'utilisent pour déterminer si nous avons accès à des choses comme [la banque](https://thehill.com/blogs/congress-blog/technology/459455-making- accès-équitable-au-crédit-une-réalité-à-l-âge-de) et [emploi](https://hbr.org/2019/05/all-the-ways-hiring-algorithms-can-introduce -biais).
Gandy a prophétiquement averti que, si elle n'était pas contrôlée, cette forme de "triage cybernétique" désavantagerait de manière exponentielle les membres des communautés en quête d'égalité - par exemple, les groupes racialisés ou socio-économiquement défavorisés - à la fois en termes de ce qui leur serait alloué et comment ils pourraient arriver à se comprendre.
Quelque 25 ans plus tard, nous vivons maintenant avec le type panoptique sous stéroïdes. Et les exemples de ses effets négatifs sur les communautés en quête d'égalité abondent, comme la fausse identification de Williams.
Biais préexistant
Ce tri par algorithmes s'infiltre dans les aspects les plus fondamentaux de la vie quotidienne, occasionnant dans son sillage une violence à la fois directe et structurelle.
La violence directe subie par Williams est immédiatement évidente dans les événements entourant son arrestation et sa détention, et les préjudices individuels qu'il a subis sont évidents et peuvent être attribués aux actions de la police qui a choisi de s'appuyer sur la « correspondance » de la technologie pour procéder à une arrestation. Plus insidieuse est la violence structurelle perpétrée par la technologie de reconnaissance faciale et [d'autres technologies numériques](https://github.com/MimiOnuoha/On-Algorithmic -Violence) qui évaluent, associent, catégorisent et trient les individus de manière à amplifier les schémas discriminatoires préexistants.
Les méfaits de la violence structurelle sont moins évidents et moins directs, et causent des préjudices aux groupes en quête d'égalité par le déni systématique du pouvoir, des ressources et des opportunités. Simultanément, cela augmente les risques directs et les préjudices pour les membres individuels de ces groupes.
La police prédictive utilise le traitement algorithmique des données historiques pour prédire quand et où de nouveaux crimes sont susceptibles de se produire, attribue à la police ressources en conséquence et intègre une surveillance policière accrue dans les communautés, généralement dans les quartiers à faible revenu et racialisés. Cela augmente les chances que toute activité criminelle - y compris les activités criminelles moins graves qui pourraient autrement ne provoquer aucune intervention policière - soit détectée et punie, limitant finalement les chances de survie des personnes qui vivent dans cet environnement.
Et les preuves d'inégalités dans d'autres secteurs continuent de s'accumuler. Des centaines d'étudiants au Royaume-Uni ont protesté le 16 août contre les résultats désastreux de [Ofqual](https: //www.gov.uk/government/organisations/ofqual), un algorithme défectueux utilisé par le gouvernement britannique pour déterminer quels étudiants seraient admissibles à l'université. En 2019, le service publicitaire de microciblage de Facebook a aidé des dizaines d'employeurs des secteurs public et privé a exclu les personnes des offres d'emploi. sur la base de l'âge et du sexe. Les recherches menées par ProPublica ont documenté la discrimination de prix fondée sur la race pour les produits en ligne. Et les moteurs de recherche produisent régulièrement des résultats racistes et sexistes.
Perpétuer l'oppression
Ces résultats sont importants car ils perpétuent et approfondissent les inégalités préexistantes fondées sur des caractéristiques telles que la race, le sexe et l'âge. Ils sont également importants car ils affectent profondément la façon dont nous apprenons à nous connaître et à connaître le monde qui nous entoure, parfois en présélectionnant les informations que nous recevons de différentes manières qui renforcent les perceptions stéréotypées. Même les entreprises technologiques elles-mêmes reconnaissent l'urgence d'empêcher les algorithmes de perpétuer la discrimination.
À ce jour, le succès des enquêtes ad hoc, menées par les entreprises technologiques elles-mêmes, a été incohérent. À l'occasion, des entreprises impliquées dans la production de systèmes discriminatoires les retirent du marché, comme lorsque [Clearview AI a annoncé qu'elle n'offrirait plus la technologie de reconnaissance faciale au Canada](https://priv.gc.ca/en/opc-news/news -et-annonces/2020/nr-c_200706/). Mais souvent, de telles décisions résultent d'un examen réglementaire ou d'un tollé public seulement après que les membres des communautés en quête d'égalité ont déjà été lésés.
Il est temps de donner à nos institutions de réglementation les outils dont elles ont besoin pour résoudre le problème. De simples protections de la vie privée qui reposent sur l'obtention du consentement individuel pour permettre la capture et la réutilisation des données par les entreprises ne peuvent être séparées des résultats discriminatoires de cette utilisation. Cela est particulièrement vrai à une époque où la plupart d'entre nous ([y compris les entreprises technologiques elles-mêmes](https://www.technologyreview.com/2017/04/11/5113/the-dark-secret-at-the-heart-of -ai/)) ne peut pas comprendre pleinement ce que font les algorithmes ou pourquoi ils produisent des résultats spécifiques.
La vie privée est un droit humain
Une partie de la solution consiste à briser les silos réglementaires actuels qui traitent la vie privée et les droits de l'homme comme des questions distinctes. S'appuyer sur un modèle de protection des données basé sur le consentement va à l'encontre du principe de base selon lequel la vie privée et l'égalité sont des droits de l'homme qui ne peuvent être soustraits.
Même la Charte numérique du Canada — la dernière tentative du gouvernement fédéral de répondre aux lacunes de l'état actuel du environnement numérique — maintient ces distinctions conceptuelles. Il traite la haine et l'extrémisme, le contrôle et le consentement, et une démocratie forte comme des catégories distinctes.
Pour lutter contre la discrimination algorithmique, nous devons reconnaître et définir à la fois la vie privée et l'égalité comme des droits de l'homme. Et nous devons créer une infrastructure qui soit également attentive et experte dans les deux. Sans de tels efforts, l'éclat brillant des mathématiques et des sciences continuera de camoufler les préjugés discriminatoires de l'IA, et on peut s'attendre à ce que des parodies telles que celle infligée à Williams se multiplient.