Incidents associés
Tout comme un chef professionnel ou un chirurgien cardiaque, un algorithme d'apprentissage automatique est aussi bon que la formation qu'il reçoit. Et comme les algorithmes prennent de plus en plus les rênes et prennent des décisions pour les humains, nous découvrons que beaucoup d'entre eux n'ont pas reçu la meilleure éducation, car ils imitent les préjugés fondés sur la race humaine et le sexe et créent même de nouveaux problèmes.
Pour ces raisons, il est particulièrement préoccupant que plusieurs États, dont la Californie, New York et le Wisconsin, utilisent des algorithmes pour prédire quelles personnes commettront à nouveau des crimes après leur incarcération. Pire encore, cela ne semble même pas fonctionner.
Dans un article publié mercredi dans la revue Science Advances, une paire d'informaticiens du Dartmouth College a découvert qu'un programme informatique largement utilisé pour prédire la récidive n'est pas plus précis que des civils complètement non formés. Ce programme, appelé Correctional Offender Management Profiling for Alternative Sanctions, analyse 137 facteurs différents pour déterminer la probabilité qu'une personne commette un autre crime après sa libération. COMPAS prend en compte des facteurs tels que la consommation de substances, l'isolement social et d'autres éléments qui, selon les criminologues, peuvent conduire à la récidive, classant les personnes comme présentant un risque élevé, moyen ou faible.
Selon les chercheurs, les algorithmes d'apprentissage automatique qui évaluent le risque de récidive des personnes incarcérées sont profondément défectueux.
Et bien sûr, l'évaluation des risques sonne bien. Pourquoi ne pas disposer de plus de données pour aider les tribunaux à déterminer qui est le plus à risque? Mais ce que les informaticiens de Dartmouth Julia Dressel et Hany Farid ont découvert, c'est que des individus non formés jugeaient correctement le risque de récidive avec à peu près la même précision que COMPAS, ce qui suggère que la puissance supposée de l'algorithme n'est pas réellement là.
Dans un essai qui ne comprenait qu'une fraction des informations utilisées par COMPAS (sept facteurs au lieu de 137, et à l'exclusion de la race), un groupe de volontaires humains sur Internet, sans vraisemblablement aucune formation en évaluation des risques criminels, a évalué des rapports de cas. Ils ont correctement estimé la récidive d'une personne avec une précision de 67 %, contre 65 % pour COMPAS.
Prenez un moment pour comprendre. Les personnes non formées sur le Web étaient légèrement meilleures pour prédire si une personne retournerait en prison que l'outil qui est littéralement conçu pour prédire si une personne retournerait en prison. Et ça empire. Une fois que vous avez ajouté la race d'un accusé, les taux de faux positifs et de faux négatifs du volontaire n'étaient qu'à quelques points de pourcentage de COMPAS. Ainsi, non seulement COMPAS n'est pas très efficace pour prédire la récidive, mais il est tout aussi sujet aux préjugés raciaux que les humains. Voilà pour la froide logique des ordinateurs.
Les chercheurs ont découvert que les humains étaient presque aussi bons que l'algorithme pour prédire les taux de récidive. Ils ont également constaté que les humains et l'algorithme avaient des taux similaires de faux positifs et de faux négatifs lorsque la race est prise en compte.
Les chercheurs ont ensuite créé un modèle linéaire qui correspondait au taux de prédiction de COMPAS avec seulement deux facteurs : l'âge et le nombre de condamnations antérieures. Juste pour être clair, cette prédiction serait également injuste, mais elle montre à quel point COMPAS est imparfait.
Et bien que cette recherche soit nouvelle, les grands plats à emporter qu'elle épouse ne le sont pas. Dans une enquête de 2016, les journalistes de ProPublica ont découvert que non seulement COMPAS n'est pas fiable, mais qu'il est en fait systématiquement biaisé contre les Afro-Américains, évaluant systématiquement les Noirs comme plus à risque que les Blancs qui ont commis des crimes plus graves. Espérons que cette nouvelle recherche contribuera à ouvrir la voie à des processus d'évaluation des risques plus justes dans le système de justice pénale.
Le fait que COMPAS soit au mieux inutile et au pire profondément biaisé suggère que les évaluations des risques informatisées pourraient aggraver les injustices que le système judiciaire est censé corriger. Étant donné que les scores d'évaluation des risques peuvent être appliqués à n'importe quelle étape du processus de justice pénale, y compris lors de l'établissement de la caution d'une personne, de la détermination de l'octroi d'une libération conditionnelle et, dans certains États, même pour la détermination de la peine d'une personne, cette recherche suggère un besoin urgent de réexaminer l'utilisation de COMPAS et d'autres programmes.