Incidents associés
Selon des experts, le programme utilisé pour évaluer plus d'un million d'accusés aux États-Unis n'est peut-être pas suffisamment précis pour prendre des décisions susceptibles de changer leur vie
La crédibilité d'un programme informatique utilisé pour les décisions de mise en liberté sous caution et de condamnation a été remise en question après qu'il s'est avéré qu'il n'était pas plus précis pour prédire le risque de récidive que les personnes sans expérience de la justice pénale disposant uniquement de l'âge, du sexe et des antécédents criminels de l'accusé. .
L'algorithme, appelé Compas (Correctional Offender Management Profiling for Alternative Sanctions), est utilisé aux États-Unis pour déterminer si les accusés en attente de jugement ou de condamnation courent trop de risques de récidive pour être libérés sous caution.
Depuis sa mise au point en 1998, l'outil aurait été utilisé pour évaluer plus d'un million de prévenus. Mais un nouvel article a mis en doute la précision des prédictions du logiciel pour justifier son utilisation dans des décisions susceptibles de changer la vie.
Les algorithmes qui changent déjà votre vie En savoir plus
Hany Farid, co-auteur de l'article et professeur d'informatique au Dartmouth College dans le New Hampshire, a déclaré: «Le coût de se tromper est très élevé et à ce stade, il y a une question sérieuse quant à savoir s'il devrait avoir un rôle dans ces les décisions."
L'analyse intervient alors que les tribunaux et les forces de police du monde entier s'appuient de plus en plus sur des approches informatisées pour prédire la probabilité de récidive et pour identifier les points chauds potentiels de la criminalité où les ressources policières devraient être concentrées. Au Royaume-Uni, les forces de police des East Midlands testent un logiciel appelé Valcri, visant à générer des idées plausibles sur comment, quand et pourquoi un crime a été commis ainsi que sur qui l'a commis, et la police du Kent utilise un logiciel de cartographie prédictive du crime appelé PredPol depuis 2013. .
Cette tendance a soulevé des inquiétudes quant à savoir si ces outils pourraient introduire de nouvelles formes de préjugés dans le système de justice pénale, ainsi que des questions sur la réglementation des algorithmes pour garantir que les décisions qu'ils prennent sont justes et transparentes.
La dernière analyse se concentre sur la question plus fondamentale de l'exactitude.
Farid, avec sa collègue Julia Dressel, a comparé la capacité du logiciel – qui combine 137 mesures pour chaque individu – à celle de travailleurs non formés, sous contrat via le marché de crowdsourcing en ligne Mechanical Turk d'Amazon.
Les universitaires ont utilisé une base de données de plus de 7 000 accusés en détention provisoire du comté de Broward, en Floride, qui comprenait des informations démographiques individuelles, l'âge, le sexe, les antécédents criminels et le dossier d'arrestation au cours des deux années suivant le score Compas.
Les travailleurs en ligne ont reçu de brèves descriptions qui comprenaient le sexe, l'âge et les antécédents criminels d'un accusé et on leur a demandé s'ils pensaient qu'ils récidiveraient. Utilisant beaucoup moins d'informations que Compas (sept variables contre 137), lorsque les résultats ont été regroupés, les humains étaient exacts dans 67 % des cas, contre 65 % d'exactitude pour Compas.
Dans une deuxième analyse, le document a révélé que la précision de Compas pour prédire la récidive pouvait également être comparée à l'aide d'un simple calcul impliquant uniquement l'âge du délinquant et le nombre de condamnations antérieures.
"Lorsque vous résumez ce que le logiciel fait réellement, cela se résume à deux choses : votre âge et le nombre de condamnations antérieures", a déclaré Farid. "Si vous êtes jeune et que vous avez beaucoup de condamnations antérieures, vous êtes à haut risque."
"Alors que nous levons le rideau sur ces algorithmes propriétaires, dont les détails sont étroitement surveillés, cela n'a pas l'air si impressionnant", a-t-il ajouté. "Cela ne signifie pas que nous ne devrions pas l'utiliser, mais les juges, les tribunaux et les procureurs doivent comprendre ce qui se cache derrière cela."
Seena Fazel, professeur de psychiatrie médico-légale à l'Université d'Oxford, a convenu que le fonctionnement interne de ces outils d'évaluation des risques devrait être rendu public afin qu'il puisse être examiné.
Cependant, il a déclaré qu'en pratique, de tels algorithmes n'étaient pas utilisés pour fournir une réponse "oui ou non", mais étaient utiles pour donner des gradations de risque et mettre en évidence les zones de vulnérabilité - par exemple, recommander qu'une personne soit affectée à un agent de soutien à la toxicomanie. à la sortie de prison.
"Je ne pense pas que vous puissiez dire que ces algorithmes n'ont aucune valeur", a-t-il déclaré. "Il existe de nombreuses autres preuves suggérant qu'ils sont utiles."
Montée des robots racistes - comment l'IA apprend toutes nos pires impulsions En savoir plus
L'article met également en évidence le potentiel d'asymétries raciales dans les sorties de tels logiciels qui peuvent être difficiles à éviter - même si le logiciel lui-même est impartial.
L'analyse a montré que si la précision du logiciel était la même pour les accusés noirs et blancs, le taux dit de faux positifs (lorsqu'une personne qui ne commet pas d'infraction est classée comme à haut risque) était plus élevé pour les accusés noirs que pour les accusés blancs. . Ce type d'asymétrie est mathématiquement inévitable dans le cas où deux populations ont un taux de récidive sous-jacent différent - dans l'ensemble de données de Floride, les accusés noirs étaient plus susceptibles de récidiver - mais de telles disparités soulèvent néanmoins des problèmes épineux.