Incidents associés
Nos algorithmes de prédiction de la criminalité les plus sophistiqués ne sont peut-être pas aussi bons que nous le pensions. Une étude publiée aujourd'hui dans Science Advances examine l'algorithme COMPAS populaire - utilisé pour évaluer la probabilité qu'un accusé donné récidive - et constate que l'algorithme n'est pas plus précis que la supposition de la personne moyenne. Si les résultats se maintiennent, ils seraient un œil au beurre noir pour les algorithmes de détermination de la peine en général, indiquant que nous n'avons peut-être tout simplement pas les outils pour prédire avec précision si un accusé commettra d'autres crimes.
Développé par Equivant (anciennement Northpointe), l'algorithme COMPAS examine le casier judiciaire d'un accusé ainsi qu'une série d'autres facteurs pour évaluer la probabilité qu'il soit de nouveau arrêté au cours des deux prochaines années. L'évaluation des risques de COMPAS peut ensuite éclairer les décisions d'un juge concernant la libération sous caution ou même la condamnation. Si l'algorithme est inexact, le résultat pourrait être une peine plus longue pour un accusé par ailleurs à faible risque, un préjudice important pour toute personne touchée.
Atteint par The Verge, Equivant a contesté l'exactitude de l'article dans une longue déclaration, qualifiant le travail de "très trompeur".
"Le plafond du pouvoir prédictif est plus bas que je ne le pensais"
COMPAS a été critiqué par ProPublica pour ses préjugés raciaux (une affirmation contestée par certains statisticiens), mais le nouvel article, de Hany Farid et Julia Dressel de Dartmouth, aborde une question plus fondamentale : les prédictions de COMPAS sont-elles bonnes ? S'appuyant sur les données de ProPublica, Farid et Dressel ont découvert que l'algorithme prévoyait des récidives environ 65 % du temps - une barre basse, étant donné qu'environ 45 % des accusés récidivent.
Dans sa déclaration, cependant, Equivant affirme avoir satisfait à la norme de 70% de l'AUC pour les outils d'évaluation des risques.
Les résultats les plus surprenants sont survenus lorsque les chercheurs ont comparé COMPAS à d'autres types de prédiction. Farid et Dressel ont recruté 462 travailleurs au hasard via la plateforme Mechanical Turk d'Amazon et ont demandé aux Turkers de "lire quelques phrases sur une personne réelle et de prédire s'ils commettront un crime à l'avenir". Ils ont été payés un dollar pour avoir accompli la tâche, avec une prime de cinq dollars si leur précision était supérieure à 65 %. Étonnamment, le Turker médian a terminé avec deux points de mieux que COMPAS, avec une précision de 67 %.
Megan Stevenson, professeur de droit à l'Université George Mason, a mené des recherches tout aussi pessimistes sur les programmes d'évaluation des risques dans le Kentucky, et dit qu'elle a été surprise de voir à quel point la conclusion était mauvaise pour COMPAS. La taille de l'échantillon est petite, il est donc difficile d'être sûr que le désavantage de COMPAS résistera à d'autres tests, mais il est assez accablant que COMPAS se situe dans la même fourchette générale qu'un tel système ad hoc.
"L'article me fait définitivement penser que le plafond du pouvoir prédictif est plus bas que je ne le pensais", a déclaré Stevenson à The Verge, "et je ne pensais pas qu'il était si élevé au départ."
Les chercheurs ont également devancé COMPAS avec un algorithme linéaire plus simple, qui ne tenait compte que de l'âge et du casier judiciaire d'un accusé. Cet algorithme a également surpassé COMPAS, une découverte qui a même surpris les chercheurs, compte tenu des 137 facteurs impliqués dans une évaluation COMPAS. "Nous nous attendons généralement à ce que, à mesure que nous ajoutons plus de données à un classificateur et / ou augmentons la complexité du classificateur, la précision de la classification s'améliore", a déclaré Farid à The Verge. "Nous avons constaté que ce n'était pas le cas."
Equivant a également contesté cette découverte, arguant que le petit échantillon de données avait conduit les chercheurs à sur-adapter leur algorithme. En outre, la société a minimisé le nombre de facteurs différents qui déterminent réellement une évaluation des risques donnée. "En fait, le grand nombre de ces 137 sont des facteurs de besoins et ne sont pas utilisés comme prédicteurs dans l'évaluation des risques COMPAS", a déclaré la société. "L'évaluation des risques COMPAS n'a que six entrées."
Les scores d'évaluation des risques sont devenus une caractéristique de plus en plus courante du système judiciaire américain, des produits similaires étant souvent utilisés pour les décisions concernant la détention provisoire. De manière controversée, les détails spécifiques de l'algorithme sont souvent traités comme un secret commercial, ce qui rend difficile pour les avocats de contester les résultats. L'année dernière, la Cour suprême a refusé d'entendre une affaire contestant la légalité du système COMPAS, qui soutenait que le fait de garder l'algorithme secret violait les droits constitutionnels du défendeur.
Notamment, les deux systèmes ont maintenu à peu près le même profil de biais que COMPAS, maintenant la parité prédictive entre les races mais distribuant les erreurs de manière disproportionnée, les faux positifs étant plus susceptibles de se produire parmi les accusés noirs.
La plus grande faiblesse de l'étude réside dans les données elles-mêmes. Les dossiers judiciaires sont notoirement désordonnés et les données sont tirées de seulement deux ans dans un comté spécifique, ce qui pourrait limiter son pouvoir prédictif. Les études sur la récidive sont également confrontées à un problème de longue date pour mesurer de manière fiable les faux positifs, car une peine de prison plus longue peut empêcher une personne de récidiver pendant son incarcération.
Pourtant, les chercheurs s'attendent à ce que de nombreuses études de confirmation soient déjà en cours. "Je suppose qu'il y aura une flopée de papiers à venir