Incidents associés
La vérité sur la police prédictive et la race
Dimanche, le New York Times a publié un éditorial bien intentionné sur les craintes de préjugés raciaux dans l'intelligence artificielle et les systèmes de police prédictive. L'auteur, Bärí A. Williams, devrait être félicité pour avoir engagé le débat sur la construction de systèmes informatiques « intelligents » pour prédire la criminalité et pour avoir encadré ces développements en termes de justice raciale. Une chose que nous avons apprise sur les nouvelles technologies, c'est qu'elles reproduisent régulièrement des inégalités sociales profondément ancrées, y compris la discrimination raciale. Au cours de la dernière année seulement, nous avons vu des technologies de reconnaissance faciale incapables d'identifier avec précision les personnes de couleur et des bases de données d'ADN familiale contestées comme discriminatoires pour les populations sur-policées. Les systèmes de police basés sur l'intelligence artificielle ne seront pas différents. Si vous entraînez sans réfléchir A.I. modèles avec des entrées biaisées sur la race, les sorties refléteront l'inégalité sociétale sous-jacente.
Mais la question des préjugés raciaux et de la police prédictive est plus compliquée que ce qui est détaillé dans l'éditorial. Je devrais le savoir. Depuis plusieurs années, je fais des recherches sur la police prédictive parce que j'étais préoccupé par les impacts de ces nouvelles technologies sur la justice raciale. Je suis toujours inquiet, mais je pense que nous devons savoir clairement où se situent les véritables menaces.
Prenons, par exemple, la situation à Oakland, en Californie, décrite dans l'éditorial. Mme Williams écrit avec éloquence :
Il n'est pas étonnant que les criminologues aient signalé la nature auto-réalisatrice de l'utilisation des données historiques sur la criminalité.
Cela frappe près de chez nous. Une étude d'octobre 2016 du groupe d'analyse des données sur les droits de l'homme a conclu que si le département de police d'Oakland utilisait son dossier de 2010 sur les crimes liés à la drogue comme base d'un algorithme pour guider les services de police, le département "aurait envoyé des agents presque exclusivement aux personnes à faible revenu". , quartiers minoritaires », malgré le fait que les estimations basées sur la santé publique suggèrent que la consommation de drogue est beaucoup plus répandue, se produisant dans de nombreux autres quartiers de la ville où ma famille et moi vivons.
Ces «quartiers minoritaires à faible revenu» contiennent le salon de coiffure où j'emmène mon fils pour sa coupe de cheveux mensuelle et notre magasin de hoagie préféré. Est-ce que je le laisserais courir devant moi si je savais que le simple fait de poser le pied sur ces trottoirs le rendrait plus susceptible d'être considéré comme un criminel aux yeux de la loi ?
Ce sont des craintes honnêtes.
Si, comme l'éditorial le suggérait, la police d'Oakland utilisait les statistiques sur les arrestations pour drogue pour prévoir où les crimes futurs se produiraient, alors ses prédictions de crimes seraient aussi discriminatoires sur le plan racial que l'activité d'arrestation. Essentiellement, la prédiction de la criminalité reproduirait simplement les schémas d'arrestation (là où la police patrouille), et non la consommation de drogue (là où les gens consomment de la drogue). Les modèles de police pourraient donc être influencés par des facteurs socio-économiques et raciaux – et non par la prévalence sous-jacente du crime. Ce serait un résultat discriminatoire – c'est pourquoi il est tout à fait heureux qu'Oakland ne fasse rien de tel. En fait, le rapport du Human Rights Data Analysis Group (HRDAG) que Mme Williams cite est un modèle hypothétique examinant comment un système de police prédictif pourrait être raciste. Les chercheurs du HRDAG ont reçu beaucoup de presse positive à propos de leur étude car elle utilisait un véritable algorithme de police prédictive conçu par PredPol, une véritable société de police prédictive. Mais PredPol ne prédit pas les crimes liés à la drogue et n'utilise pas les arrestations dans son algorithme, précisément parce que l'entreprise sait que les résultats seraient discriminatoires sur le plan racial. Oakland n'utilise pas non plus PredPol. Ainsi, la peur hypothétique n'est pas inexacte, mais la suggestion selon laquelle c'est ainsi que la police prédictive est réellement utilisée dans les salons de coiffure d'Oakland est légèrement trompeuse.
Ne confondez pas cela comme une minimisation des problèmes de justice raciale à Oakland. Comme l'ont montré la professeure de Stanford Jennifer Eberhardt et d'autres chercheurs, le département de police d'Oakland a un modèle démontré de discrimination raciale qui a un impact sur qui est arrêté, arrêté et menotté - et qui suggère de profonds problèmes systémiques. Mais, lier les craintes réelles concernant les services de police racialement injustes aux craintes hypothétiques concernant les technologies prédictives (qui ne sont pas utilisées comme décrit) déforme la critique.
De même, l'éditorial désigne HunchLab comme une entreprise qui utilise l'intelligence artificielle pour créer des systèmes de police prédictive :
Ces inconvénients de A.I. ne sont pas un secret. Malgré cela, les forces de l'ordre nationales et locales ont commencé à utiliser des applications de police prédictive alimentées par l'IA. comme HunchLab, qui combine des données historiques sur la criminalité, les phases de la lune, l'emplacement, les données de recensement et même les horaires des équipes sportives professionnelles pour prédire quand et où le crime se produira et même qui est susceptible de commettre ou d'être victime de certains crimes.
Le problème avec les données historiques sur la criminalité est qu'elles sont basées sur des pratiques policières qui ciblent déjà de manière disproportionnée les Noirs, les Latinos et ceux qui vivent dans des zones à faible revenu.
Si la police a fait preuve de discrimination dans le passé, la technologie prédictive renforce et perpétue la