Incidents associés
Prédire la récidive
La récidive est la probabilité qu'une personne reconnue coupable d'un crime récidive. Actuellement, ce taux est déterminé par des algorithmes prédictifs. Le résultat peut affecter tout, des décisions de détermination de la peine à l'obtention ou non d'une libération conditionnelle.
Pour déterminer la précision réelle de ces algorithmes dans la pratique, une équipe dirigée par les chercheurs du Dartmouth College, Julia Dressel et Hany Farid, a mené une étude sur un logiciel commercial d'évaluation des risques largement utilisé, connu sous le nom de Correctional Offender Management Profiling for Alternative Sanctions (COMPAS). Le logiciel détermine si une personne récidive ou non dans les deux ans suivant sa condamnation.
L'étude a révélé que COMPAS n'est pas plus précis qu'un groupe de bénévoles sans expérience en justice pénale pour prédire les taux de récidive. Dressel et Farid ont collecté une liste de volontaires sur un site Web, puis leur ont assigné au hasard de petites listes d'accusés. Les volontaires ont été informés du sexe, de l'âge et des antécédents criminels de chaque accusé, puis invités à prédire s'ils récidivent dans les deux prochaines années.
La précision des prédictions du volontaire humain comprenait une moyenne de 62,1% et une médiane de 64,0% – très proche de la précision de COMPAS, qui est de 65,2%.
De plus, les chercheurs ont découvert que même si COMPAS a 137 caractéristiques, les prédicteurs linéaires avec seulement deux caractéristiques (l'âge de l'accusé et son nombre de condamnations antérieures) fonctionnaient tout aussi bien pour prédire les taux de récidive.
Le problème du biais
L'un des sujets de préoccupation de l'équipe était le risque de biais algorithmique. Dans leur étude, les volontaires humains et COMPAS ont présenté des taux de faux positifs similaires lors de la prédiction de la récidive pour les accusés noirs – même s'ils ne connaissaient pas la race de l'accusé lorsqu'ils faisaient leurs prédictions. Le taux de faux positifs pour les accusés noirs était de 37 %, alors qu'il était de 27 % pour les accusés blancs. Ces taux étaient assez proches de ceux de COMPAS : 40 % pour les accusés noirs et 25 % pour les accusés blancs.
Dans la discussion du document, l'équipe a souligné que "les différences dans le taux d'arrestation des accusés noirs et blancs compliquent la comparaison directe des taux de faux positifs et de faux négatifs d'une race à l'autre". Ceci est étayé par les données de la NAACP qui, par exemple, ont révélé que "les Afro-Américains et les Blancs consomment des drogues à des taux similaires, mais le taux d'emprisonnement des Afro-Américains pour des accusations de drogue est près de 6 fois supérieur à celui des Blancs".
Les auteurs ont noté que même si la race d'une personne n'était pas explicitement indiquée, certains aspects des données pourraient potentiellement être corrélés à la race, entraînant des disparités dans les résultats. En fait, lorsque l'équipe a répété l'étude avec de nouveaux participants et fourni des données raciales, les résultats étaient à peu près les mêmes. L'équipe a conclu que "l'exclusion de la race ne conduit pas nécessairement à l'élimination des disparités raciales dans la prédiction de la récidive humaine".
Résultats répétés
COMPAS a été utilisé pour évaluer plus d'un million de personnes depuis son développement en 1998 (bien que sa composante de prédiction de la récidive n'ait été incluse qu'en 2000). Dans ce contexte, les conclusions de l'étude - qu'un groupe de volontaires non formés avec peu ou pas d'expérience en justice pénale fonctionnent à égalité avec l'algorithme - étaient alarmantes.
La conclusion évidente serait que l'algorithme prédictif n'est tout simplement pas assez sophistiqué et qu'il devrait être mis à jour depuis longtemps. Cependant, lorsque l'équipe était prête à valider ses conclusions, elle a formé une machine à vecteurs de support non linéaires plus puissante (NL-SVM) avec les mêmes données. Lorsqu'elle a produit des résultats très similaires, l'équipe a dû faire face à un contrecoup, car on supposait qu'elle avait formé le nouvel algorithme trop étroitement aux données.
Dressel et Farid ont déclaré avoir spécifiquement formé l'algorithme sur 80 % des données, puis effectué leurs tests sur les 20 % restants afin d'éviter ce que l'on appelle le "sur-ajustement" - lorsque la précision d'un algorithme est affectée parce qu'il est devenu trop familier avec les données.
Algorithmes prédictifs
Les chercheurs ont conclu que les données en question ne sont peut-être pas linéairement séparables, ce qui pourrait signifier que les algorithmes prédictifs, aussi sophistiqués soient-ils, ne sont tout simplement pas une méthode efficace pour prédire la récidive. Considérant que l'avenir des accusés est en jeu, l'équipe de Dartmouth a affirmé que l'utilisation de tels algorithmes pour prendre ces décisions devrait être soigneusement examinée.
Comme ils l'ont déclaré dans la discussion de l'étude, les résultats de leur étude montrent que s'appuyer sur un algorithme pour cette évaluation n'est pas différent de confier la décision « entre les mains de personnes aléatoires qui répondent à un sondage en ligne car, en fin de compte, le les résultats de ces deux approches semblent indiscernables.
"Imaginez que vous êtes un juge, et que vous avez un logiciel commercial qui dit que nous avons de grandes données, et il dit que cette personne est à haut risque", a déclaré Farid à Wired, "Maintenant, imaginez que je vous dise que j'ai demandé la même chose à 10 personnes en ligne question, et c'est ce qu'ils ont dit. Vous évalueriez ces choses différemment.
Les algorithmes prédictifs ne sont pas seulement utilisés dans le système de justice pénale. En fait, nous les rencontrons tous les jours : des produits qui nous sont annoncés en ligne aux recommandations musicales sur les services de streaming. Mais une publicité qui apparaît dans notre fil d'actualité a beaucoup moins de conséquences que la décision de condamner quelqu'un pour un crime.