Incidents associés
Depuis des années, la communauté de la justice pénale est inquiète. Les tribunaux de tout le pays attribuent des montants de caution condamnant les accusés sur la base d'algorithmes, et les avocats et les scientifiques des données avertissent que ces algorithmes pourraient être empoisonnés par les préjugés auxquels ces systèmes étaient censés échapper.
Jusqu'à présent, cette préoccupation n'était que pure spéculation. Maintenant, nous connaissons la vérité.
Une enquête publiée lundi matin par ProPublica a analysé les résultats de milliers de peines prononcées par des algorithmes et a constaté que ces formules sont plus faciles pour les accusés blancs, même lorsque la race est isolée en tant que facteur.
"La formule était particulièrement susceptible de signaler à tort les accusés noirs comme de futurs criminels, les qualifiant à tort de cette façon presque deux fois plus que les accusés blancs", a écrit l'équipe d'enquête.
Les algorithmes ne tiennent pas directement compte de la race, mais utilisent à la place des données qui remplacent les informations corrélatives qui pourraient servir de proxy. L'algorithme de Floride évalué dans le rapport est basé sur 137 questions, telles que "L'un de vos parents a-t-il déjà été envoyé en prison ou en prison ?" et "Combien de vos amis/connaissances consomment de la drogue illégalement ?"
Ces deux questions, par exemple, peuvent sembler évaluer le risque empirique de criminalité d'une personne, mais elles ciblent plutôt ceux qui vivent déjà dans une pauvreté institutionnalisée et une surveillance policière excessive. Ces personnes sont majoritairement des personnes de couleur.
"Le profilage [punishment] envoie le message toxique que l'État considère certains groupes de personnes comme dangereux en raison de leur identité", a écrit Sonja Starr, professeur de droit à l'Université du Michigan, dans le New York Times en 2014. "Cela confirme également l'impression répandue que le criminel le système judiciaire est truqué contre les pauvres. »
L'algorithme lui-même, bien sûr, n'était pas disponible pour l'audit. Les algorithmes qui éclairent les décisions dans le secteur public sont souvent développés et protégés par des entreprises privées - Northpointe, une entreprise à but lucratif qui a créé l'algorithme examiné par ProPublica, a déclaré à ProPublica qu'elle n'était pas d'accord avec les résultats de l'analyse. Il "reflète avec précision les résultats" de son produit, a déclaré Northpointe.
Les accusés blancs de ProPublica recevaient régulièrement des scores de menace inférieurs à ceux des accusés noirs.
Mais la controverse sur la peine n'est qu'un des premiers exemples d'une conversation croissante sur les préjugés dans les algorithmes qui décident de tout, des nouvelles que nous voyons à comment et où nous voyageons.
Il est temps de parler d'algorithmes : les algorithmes semblent imperméables à l'influence insidieuse du racisme et des préjugés, des innovations humaines qui peuvent inconsciemment se glisser dans nos processus décisionnels faillibles. Les évaluations qui proviennent d'algorithmes impliquent que les résultats sont scientifiques - crachés par un ordinateur froid ne travaillant qu'avec des preuves. Le processus de détermination de la peine par algorithmes est même formellement appelé « condamnation fondée sur des preuves ».
"Les scores nous donnent des façons de penser simplistes auxquelles il est très difficile de résister", a déclaré par téléphone Cathy O'Neil, spécialiste des données et auteur du prochain livre Weapons of Math Destruction. "Si vous attribuez des scores aux gens et que quelqu'un a un score faible, c'est dans la nature humaine de blâmer cette personne, même si ce score signifie simplement qu'elle est née dans un quartier pauvre."
Mais ce n'est pas parce que les algorithmes sont de nature mathématique qu'ils sont exempts de préjugés humains. Les algorithmes repèrent et amplifient les modèles de comportement humain, et ils le font en examinant les données créées par le comportement humain. Les algorithmes de police prédictive qui aident les chefs de police à affecter leurs patrouilles s'appuient sur les statistiques de la criminalité et les enregistrements générés par le comportement de la police, amplifiant finalement les comportements préjudiciables qui ont conduit à ces données en premier lieu.
Alors que de plus en plus de nouvelles émergent sur les biais des algorithmes – qu'il s'agisse du biais anti-conservateur potentiel de l'algorithme de nouvelles de Facebook ou des systèmes de tarification qui facturent davantage les communautés asiatiques pour le tutorat SAT – le monde est encore plus désavoué de l'idée que les algorithmes ne peuvent pas être aussi biaisés que raisonnement humain.
Souvent, ils sont biaisés exactement de la même manière que nous.