Incidents associés
Dans une étude publiée mercredi, deux chercheurs de Dartmouth ont découvert qu'un algorithme populaire d'évaluation des risques n'était pas meilleur pour prédire la probabilité de récidive d'un délinquant criminel qu'une enquête sur Internet auprès d'humains ayant peu ou pas d'expérience pertinente.
Photo : AP
L'étude a comparé les pouvoirs de prédiction de la criminalité d'un algorithme appelé COMPAS, déjà utilisé par plusieurs États, à ceux de Mechanical Turk d'Amazon, une sorte de micro TaskRabbit où les gens sont payés pour effectuer de petites missions. À l'aide d'un sondage en ligne, le chercheur a demandé aux "turcs" de prédire la récidive en se basant sur quelques rares faits concernant les délinquants.
Compte tenu du sexe, de l'âge, de l'accusation de crime, du degré de délinquance et des condamnations antérieures devant les tribunaux pour mineurs, crimes et délits de 50 délinquants, chacun des 400 participants à l'enquête devait évaluer sa probabilité de récidive. Les chercheurs de Dartmouth disposaient d'informations indiquant si les délinquants en question avaient effectivement récidivé.
En fin de compte, les auteurs de l'étude ont constaté que l'algorithme d'évaluation des risques n'était pas plus précis que les personnes sans expérience en justice pénale. Depuis Wired :
Dans l'ensemble, les turcs ont prédit la récidive avec une précision de 67 %, contre 65 % pour Compas. Même sans accès à la race d'un accusé, ils ont également prédit à tort que les accusés noirs récidiveraient plus souvent qu'ils n'avaient prédit à tort que les accusés blancs récidivent, ce que l'on appelle un taux de faux positifs. Cela indique que même lorsque les données raciales ne sont pas disponibles, certains points de données – comme le nombre de condamnations – peuvent devenir des indicateurs de race, un problème central pour éliminer les biais dans ces algorithmes.
Le nombre élevé de faux positifs est révélateur. Même sans connaître la race d'un accusé donné, on croyait à tort que les accusés noirs étaient plus susceptibles d'offenser plus fréquemment. Bien qu'il soit extrêmement contraire à l'éthique d'inclure explicitement la race comme facteur de probabilité de récidive, la race colore néanmoins chaque point de données. La ségrégation raciale, par exemple, a un impact sur le lieu où les délinquants vivent et vont à l'école.
Si une école est mal desservie (comme le sont plusieurs écoles en milieu minoritaire), cela impacte le niveau de scolarité des élèves et donc leurs revenus et, plus largement, leurs chances dans la vie. Il n'y a pas de variable spécifique pour la race, mais elle affecte globalement chaque facteur qui entre dans le calcul de la récidive.
Qu'il s'agisse d'humains ou de machines, il n'y a aucun moyen réel d'extraire la race de l'un des indicateurs de crime. Le problème, c'est quand la réalité du parti pris se cache derrière un vernis algorithmique d'objectivité. Nous ne nous attendons pas à ce que des machines supposées impartiales répètent les préjugés humains et, par conséquent, ces préjugés deviennent invisibles.
"Sous-jacente à toute la conversation sur les algorithmes, il y avait cette hypothèse selon laquelle la prédiction algorithmique était intrinsèquement supérieure à la prédiction humaine", a déclaré Julia Dressel, co-auteur de l'article, à Wired.
Dans une déclaration, la société qui fabrique COMPAS a affirmé que l'étude ne faisait que confirmer "la performance valide du modèle de risque COMPAS", écrivant, "Les résultats de" précision prédictive pratiquement égale "dans cette étude, au lieu d'être une critique de l'évaluation COMPAS , s'ajoute en fait à un nombre croissant d'études indépendantes qui ont confirmé que COMPAS atteint une bonne prévisibilité et correspond à la norme AUC de 0,70 de plus en plus acceptée pour les outils d'évaluation des risques bien conçus utilisés dans la justice pénale."
Alors, qu'est-ce qui est réellement corrélé à la récidive? C'est étonnamment simple : l'âge et les condamnations antérieures. Les personnes âgées étaient moins susceptibles d'avoir à nouveau des ennuis; les plus jeunes, plus.
[Câblé]