Incidents associés
Partout au pays, les juges, les agents de probation et de libération conditionnelle utilisent de plus en plus des algorithmes pour évaluer la probabilité qu'un accusé devienne un récidiviste - un terme utilisé pour décrire les criminels qui récidivent. Des dizaines de ces algorithmes d'évaluation des risques sont utilisés. De nombreux États ont construit leurs propres évaluations et plusieurs universitaires ont écrit des outils. Il existe également deux principaux outils nationaux proposés par des fournisseurs commerciaux. Nous avons entrepris d'évaluer l'un des outils commerciaux fabriqués par Northpointe, Inc. pour découvrir la précision sous-jacente de leur algorithme de récidive et pour tester si l'algorithme était biaisé contre certains groupes. Notre analyse de l'outil de Northpointe, appelé COMPAS (qui signifie Correctional Offender Management Profiling for Alternative Sanctions), a révélé que les accusés noirs étaient beaucoup plus susceptibles que les accusés blancs d'être jugés à tort comme présentant un risque de récidive plus élevé, tandis que les accusés blancs étaient plus susceptibles que les accusés noirs d'être signalés à tort comme à faible risque. Nous avons examiné plus de 10 000 accusés dans le comté de Broward, en Floride, et comparé leurs taux de récidive prévus avec le taux qui s'est réellement produit sur une période de deux ans. Lorsque la plupart des accusés sont incarcérés, ils répondent à un questionnaire COMPAS. Leurs réponses sont introduites dans le logiciel COMPAS pour générer plusieurs scores, y compris des prédictions de «risque de récidive» et de «risque de récidive violente». Nous avons comparé les catégories de risque de récidive prédites par l'outil COMPAS aux taux de récidive réels des accusés au cours des deux années suivant leur notation, et avons constaté que le score prédisait correctement la récidive d'un délinquant 61 % du temps, mais n'était correct que dans ses prédictions. de récidive violente 20 % du temps. En prévoyant qui récidiverait, l'algorithme a correctement prédit la récidive pour les accusés noirs et blancs à peu près au même taux (59 % pour les accusés blancs et 63 % pour les accusés noirs), mais a fait des erreurs de manière très différente. Il classe différemment les accusés blancs et noirs lorsqu'ils sont examinés sur une période de suivi de deux ans. Notre analyse a révélé que : On prévoyait souvent que les accusés noirs courraient un risque de récidive plus élevé qu'ils ne l'étaient en réalité. Notre analyse a révélé que les accusés noirs qui n'ont pas récidivé sur une période de deux ans étaient près de deux fois plus susceptibles d'être classés à tort comme à risque plus élevé que leurs homologues blancs (45 % contre 23 %). On prévoyait souvent que les accusés blancs seraient moins risqués qu'ils ne l'étaient. Notre analyse a révélé que les accusés blancs qui ont récidivé au cours des deux années suivantes ont été étiquetés à tort à faible risque presque deux fois plus souvent que les récidivistes noirs (48 % contre 28 %). L'analyse a également montré que même en tenant compte des crimes antérieurs, de la récidive future, de l'âge et du sexe, les accusés noirs étaient 45% plus susceptibles de se voir attribuer des scores de risque plus élevés que les accusés blancs. Les accusés noirs étaient également deux fois plus susceptibles que les accusés blancs d'être classés à tort comme présentant un risque plus élevé de récidive violente. Et les récidivistes violents blancs étaient 63% plus susceptibles d'avoir été classés à tort comme un faible risque de récidive violente, par rapport aux récidivistes violents noirs. L'analyse de la récidive violente a également montré que même en contrôlant les crimes antérieurs, la récidive future, l'âge et le sexe, les accusés noirs étaient 77 % plus susceptibles de se voir attribuer des scores de risque plus élevés que les accusés blancs. Travaux antérieurs En 2013, les chercheurs Sarah Desmarais et Jay Singh ont examiné 19 méthodologies différentes de risque de récidive utilisées aux États-Unis et ont constaté que « dans la plupart des cas, la validité n'avait été examinée que dans une ou deux études menées aux États-Unis, et fréquemment, ces enquêtes ont été menées par les mêmes personnes qui ont développé l'instrument. Leur analyse de la recherche publiée avant mars 2013 a révélé que les outils "étaient au mieux modérés en termes de validité prédictive", a déclaré Desmarais lors d'une entrevue. Et elle n'a trouvé aucun ensemble substantiel d'études menées aux États-Unis qui examinaient si les scores de risque étaient biaisés par la race. "Les données n'existent pas", a-t-elle déclaré. Le plus grand examen des préjugés raciaux dans les algorithmes d'évaluation des risques aux États-Unis depuis lors est un article de 2016 de Jennifer Skeem de l'Université de Californie à Berkeley et de Christopher T. Lowenkamp du Bureau administratif des tribunaux américains. Ils ont examiné les données d'environ 34 000 délinquants sous responsabilité fédérale pour tester la validité prédictive de l'outil d'évaluation des risques après condamnation qui a été développé par les tribunaux fédéraux pour aider les agents de probation et de libération conditionnelle à déterminer le niveau de surveillance requis pour un détenu à sa libération. Les auteurs ont constaté que le score de risque moyen des délinquants noirs était plus élevé que celui des délinquants blancs, mais cela a conclu que les différences n'étaient pas attribuables à des préjugés. Une étude de 2013 a analysé la validité prédictive parmi différentes races pour un autre score appelé Level of Service Inventory, l'un des scores de risque commerciaux les plus populaires de Multi-Health Systems. Cette étude a révélé que «les minorités ethniques ont des scores LS plus élevés que les non-minorités». Les auteurs de l'étude, qui sont canadiens, ont noté que les disparités raciales étaient plus fréquentes aux États-Unis qu'au Canada. "Une possibilité pourrait être que des préjugés systématiques au sein du système judiciaire faussent la mesure de la" véritable "récidive", ont-ils écrit. Une étude plus restreinte de 2006 portant sur 532 résidents masculins d'un programme de placement à l'extérieur a également révélé «une tendance aux erreurs de classification pour les Afro-Américains» dans le Level of Service Inventory-Revised. L'étude, réalisée par Kevin Whiteacre du Programme des services correctionnels de l'Armée du Salut, a révélé que 42,7 % des Afro-Américains étaient classés à tort comme à haut risque, contre 27,7 % des Caucasiens et 25 % des Hispaniques. Cette étude a exhorté les établissements correctionnels à enquêter sur leur utilisation des scores de manière indépendante en utilisant une approche de tableau de contingence simple que nous suivrons plus loin dans cette étude. À mesure que les scores de risque progressent dans le courant dominant du système de justice pénale, les décideurs ont appelé à de nouvelles études pour déterminer si les scores sont biaisés. Lorsqu'il était procureur général des États-Unis, Eric Holder a demandé à la US Sentencing Commission d'étudier les biais potentiels dans les tests utilisés lors de la détermination de la peine. "Bien que ces mesures aient été conçues avec les meilleures intentions du monde, je crains qu'elles ne sapent par inadvertance nos efforts pour garantir une justice individualisée et égale", a-t-il déclaré, ajoutant qu'"elles pourraient exacerber des disparités injustifiées et injustes qui sont déjà bien trop courantes dans notre pays". système de justice pénale et dans notre société. La commission de détermination de la peine a déclaré qu'elle ne procédait pas actuellement à une analyse des préjugés dans les évaluations des risques. ProPublica a donc fait sa propre analyse. Comment nous avons acquis les données Nous avons choisi d'examiner l'algorithme COMPAS parce qu'il s'agit de l'un des scores les plus populaires utilisés à l'échelle nationale et qu'il est de plus en plus utilisé dans les phases préliminaires et de détermination de la peine, ce que l'on appelle le « front-end » du système de justice pénale. Nous avons choisi le comté de Broward parce que c'est une grande juridiction qui utilise l'outil COMPAS dans les décisions de libération avant le procès et que la Floride a de solides lois sur les dossiers ouverts. Grâce à une demande de documents publics, ProPublica a obtenu deux années de scores COMPAS du bureau du shérif du comté de Broward en Floride. Nous avons reçu des données pour les 18 610 personnes qui ont été notées en 2013 et 2014. Étant donné que le comté de Broward utilise principalement le score pour déterminer s'il convient de libérer ou de détenir un accusé avant son procès, nous avons écarté les scores qui ont été évalués lors de la libération conditionnelle, de la probation ou d'autres étapes. dans le système de justice pénale. Cela nous a laissé avec 11 757 personnes qui ont été évaluées à l'étape préliminaire. Chaque prévenu avant le procès a reçu au moins trois scores COMPAS : « Risque de récidive », « Risque de violence » et « Risque de non-comparution ». Les scores COMPAS pour chaque accusé allaient de 1 à 10, dix étant le risque le plus élevé. Les scores 1 à 4 ont été étiquetés par COMPAS comme « bas » ; 5 à 7 ont été étiquetés «Moyen»; et 8 à 10 ont été étiquetés "Elevé". À partir de la base de données des scores COMPAS, nous avons construit un profil des antécédents criminels de chaque personne, à la fois avant et après leur notation. Nous avons recueilli les casiers judiciaires publics sur le site Web du bureau du greffier du comté de Broward jusqu'au 1er avril 2016. En moyenne, les accusés de notre ensemble de données n'ont pas été incarcérés pendant 622,87 jours (écart type : 329,19). Nous avons apparié les casiers judiciaires aux dossiers COMPAS en utilisant les prénoms, les noms et la date de naissance d'une personne. Il s'agit de la même technique utilisée dans l'étude de validation COMPAS du comté de Broward menée par des chercheurs de la Florida State University en 2010. Nous avons téléchargé environ 80 000 casiers judiciaires à partir du site Web du bureau du greffier du comté de Broward. Pour déterminer la race, nous avons utilisé les classifications raciales utilisées par le bureau du shérif du comté de Broward, qui identifie les accusés comme étant noirs, blancs, hispaniques, asiatiques et amérindiens. Dans 343 cas, la race était marquée comme Autre. Nous avons également compilé le dossier d'incarcération de chaque personne. Nous avons reçu des dossiers de prison du bureau du shérif du comté de Broward de janvier 2013 à avril 2016, et nous avons téléchargé des dossiers d'incarcération publics sur le site Web du Florida Department of Corrections. Nous avons constaté que parfois les noms ou les dates de naissance des personnes étaient incorrectement saisis dans certains dossiers, ce qui entraînait des correspondances incorrectes entre le score COMPAS d'un individu et son casier judiciaire. Nous avons tenté de déterminer le nombre d'enregistrements concernés. Dans un échantillon aléatoire de 400 cas, nous avons trouvé un taux d'erreur de 3,75 % (IC : +/- 1,8 %). Comment nous avons défini la récidive La définition de la récidive était la clé de notre analyse. Dans une étude de 2009 examinant le pouvoir prédictif de son score COMPAS, Northpointe a défini la récidive comme "une arrestation avec empreinte digitale impliquant une accusation et un dépôt pour tout code de déclaration uniforme des crimes (DUC)". Nous avons interprété cela comme signifiant une infraction pénale qui a entraîné une mise en prison et a eu lieu après le crime pour lequel la personne a été notée COMPAS. Cependant, il n'était pas toujours clair quelle affaire criminelle était associée au score COMPAS d'un individu. Pour faire correspondre les scores COMPAS avec les cas qui les accompagnent, nous avons pris en compte les cas avec des dates d'arrestation ou des dates d'inculpation dans les 30 jours suivant la réalisation d'une évaluation COMPAS. Dans certains cas, nous n'avons trouvé aucun frais correspondant aux scores COMPAS. Nous avons retiré ces cas de notre analyse. Ensuite, nous avons cherché à déterminer si une personne avait été accusée d'un nouveau crime consécutif à un crime pour lequel elle avait fait l'objet d'un dépistage COMPAS. Nous n'avons pas compté les contraventions et certaines infractions aux ordonnances municipales comme récidives. Nous n'avons pas compté comme récidivistes les personnes arrêtées pour ne pas s'être présentées à leurs audiences, ou les personnes qui ont ensuite été accusées d'un crime survenu avant leur dépistage COMPAS. Pour la récidive violente, nous avons utilisé la définition du FBI des crimes violents, une catégorie qui comprend le meurtre, l'homicide involontaire, le viol forcé, le vol qualifié et les voies de fait graves. Pour la majeure partie de notre analyse, nous avons défini la récidive comme une nouvelle arrestation dans les deux ans. Nous avons basé cette décision sur le guide des praticiens de Northpointe, qui indique que son score de récidive est censé prédire "un nouveau délit ou crime dans les deux ans suivant la date d'administration du COMPAS". En outre, une étude récente sur les taux de récidive de 25 000 prisonniers fédéraux par la Commission de la peine des États-Unis, qui montre que la plupart des récidivistes commettent un nouveau crime dans les deux premières années suivant leur libération (s'ils vont commettre un crime du tout). Analyse Nous avons analysé les scores COMPAS pour le « risque de récidive » et le « risque de récidive violente ». Nous n'avons pas analysé le score COMPAS pour le "Risque de non-apparition". Nous avons commencé par examiner le score de risque de récidive. Notre analyse initiale a porté sur la distribution simple des scores déciles COMPAS entre les Blancs et les Noirs. Nous avons tracé la distribution de ces scores pour 6 172 prévenus qui n'avaient pas été arrêtés pour une nouvelle infraction ou qui avaient récidivé dans les deux ans. Ces histogrammes montrent que les scores des accusés blancs étaient biaisés vers les catégories à faible risque, tandis que les accusés noirs étaient uniformément répartis entre les scores. Dans notre échantillon de deux ans, il y avait 3 175 accusés noirs et 2 103 accusés blancs, avec 1 175 accusés femmes et 4 997 accusés hommes. Il y avait 2 809 accusés qui ont récidivé dans les deux ans dans cet échantillon. Les histogrammes du score de risque violent de COMPAS montrent également une disparité dans la répartition des scores entre les accusés blancs et noirs. L'échantillon que nous avons utilisé pour tester le score de récidive violente de COMPAS était légèrement plus petit que pour le score de récidive général : 4 020 accusés, 1 918 accusés noirs et 1 459 accusés blancs. Il y avait 652 récidivistes violents. Bien qu'il existe une nette différence entre les distributions des scores COMPAS pour les accusés blancs et noirs, le simple fait d'examiner les distributions ne tient pas compte des autres facteurs démographiques et comportementaux. Pour tester les disparités raciales dans le score en contrôlant d'autres facteurs, nous avons créé un modèle de régression logistique qui tenait compte de la race, de l'âge, des antécédents criminels, de la récidive future, du degré d'accusation, du sexe et de l'âge. Risque de récidive générale Modèle logistique Variable dépendante : score (faible vs moyen et élevé) Femme 0,221*** (0,080) Âge : plus de 45 ans -1,356*** (0,099) Âge : moins de 25 ans 1,308*** (0,076) Noir 0,477*** (0,069) Asiatique -0,254 (0,478) Hispanique -0,428*** (0,128) Amérindien 1,394* (0,766) Autre -0,826*** (0,162) Nombre d'antécédents 0,269*** (0,011) Délit -0,311*** (0,067) Récidive sur deux ans 0,686*** (0,064) Constante -1,526*** (0,079) Observations 6 172 Akaike Inf. Crit. 6 192,402 Remarque : p<0,1 ; p<0,05 ; p<0,01 Nous avons utilisé ces facteurs pour modéliser les chances d'obtenir un score COMPAS plus élevé. Selon le guide des praticiens de Northpointe, COMPAS « les scores moyens et élevés suscitent plus d'intérêt de la part des agences de surveillance que les scores faibles, car un score faible suggérerait qu'il y a peu de risque de récidive générale », nous avons donc considéré les scores plus élevés que « bas ». indiquer un risque de récidive. Notre modèle logistique a révélé que le facteur le plus prédictif d'un score de risque plus élevé était l'âge. Les accusés de moins de 25 ans étaient 2,5 fois plus susceptibles d'obtenir un score plus élevé que les délinquants d'âge moyen, même en tenant compte des crimes antérieurs, de la criminalité future, de la race et du sexe. La race était également assez prédictive d'un score plus élevé. Alors que les accusés noirs avaient des taux de récidive globalement plus élevés, une fois ajustés pour cette différence et d'autres facteurs, ils étaient 45% plus susceptibles d'obtenir un score plus élevé que les Blancs. Étonnamment, compte tenu de leurs niveaux de criminalité globalement plus faibles, les femmes accusées étaient 19,4% plus susceptibles d'obtenir un score plus élevé que les hommes, en tenant compte des mêmes facteurs. Risque de récidive violente Modèle logistique Variable dépendante : score (faible vs moyen et élevé) Femme -0,729 (0,127) Âge : plus de 45 ans -1,742 (0,184) Âge : moins de 25 ans 3,146*** (0,115 ) Noir 0,659*** (0,108) Asiatique -0,985 (0,705) Hispanique -0,064 (0,191) Amérindien 0,448 (1,035) Autre -0,205 (0,225) Nombre d'antécédents 0,138*** (0,012) Délit -0,164* (0,098) Récidive sur deux ans 0,934*** (0,115) Constante -2,243*** (0,113) Observations 4 020 Akaike Inf. Crit. 3 022,779 Remarque : p<0,1 ; p<0,05 ; p<0,01 Le logiciel COMPAS dispose également d'un score de risque de récidive violente. Nous avons analysé 4 020 personnes qui ont été notées pour récidive violente sur une période de deux ans (sans compter le temps passé en détention). Nous avons exécuté un modèle de régression similaire pour ces scores. L'âge était un prédicteur encore plus fort d'un score plus élevé de récidive violente. Notre régression a montré que les jeunes accusés étaient 6,4 fois plus susceptibles d'obtenir un score plus élevé que les accusés d'âge moyen, après correction des antécédents criminels, du sexe, de la race et de la récidive violente future. La race était également prédictive d'un score plus élevé pour la récidive violente. Les accusés noirs étaient 77,3% plus susceptibles que les accusés blancs de recevoir un score plus élevé, en corrigeant les antécédents criminels et la récidive violente future. Pour tester la précision prédictive globale de COMPAS, nous avons ajusté un modèle à risques proportionnels de Cox aux données - la même technique que Northpointe a utilisée dans sa propre étude de validation. Un modèle de Cox nous permet de comparer les taux de récidive tout en contrôlant le temps. Parce que nous ne contrôlons pas d'autres facteurs tels que la criminalité d'un accusé, nous pouvons inclure plus de personnes dans ce modèle de Cox. Pour cette analyse, la taille de notre échantillon était de 10 314 accusés (3 569 accusés blancs et 5 147 accusés noirs). Risque de récidive générale Modèle de Cox Risque élevé 1,250 (0,041) Risque moyen 0,796 (0,041) Observations 13 344 R2 0,068 Max. R2 possible 0,990 Test de Wald 954,820*** (df = 2) Test LR 942,824*** (df = 2) Test de score (Logrank) 1 054,767*** (df = 2) Remarque : p<0,1 ; p<0,05 ; p<0,01 Nous avons considéré que les personnes de notre ensemble de données étaient « à risque » à partir du jour où elles ont reçu le score COMPAS jusqu'au jour où elles ont commis une nouvelle infraction ou le 1er avril 2016, selon la première éventualité. Nous avons retiré des personnes de l'ensemble à risque pendant leur incarcération. La variable indépendante dans le modèle de Cox était le score de risque catégoriel COMPAS. Le modèle de Cox a montré que les personnes ayant des scores élevés étaient 3,5 fois plus susceptibles de récidiver que les personnes de la catégorie faible (scores de 1 à 4). L'étude de Northpointe a révélé que les personnes ayant des scores élevés (scores de 8 à 10) étaient 5,6 fois plus susceptibles de récidiver. Les deux résultats indiquent que le score a une valeur prédictive. Un diagramme de survie de Kaplan Meier montre également une nette différence dans les taux de récidive entre chaque niveau de score COMPAS. Dans l'ensemble, la régression de Cox avait un score de concordance de 63,6 %. Cela signifie que pour toute paire d'accusés sélectionnés au hasard dans l'échantillon, le système COMPAS peut classer avec précision leur risque de récidive 63,6 % du temps (par exemple, si une personne de la paire récidive, cette paire comptera comme une correspondance réussie si cette personne avait également un score plus élevé). Dans son étude, Northpointe a rapporté une concordance légèrement supérieure : 68 %. L'exécution du modèle de Cox sur les scores de risque sous-jacents - classés de 1 à 10 - plutôt que sur les intervalles bas, moyen et élevé a donné une concordance légèrement plus élevée de 66,4 %. Les deux résultats sont inférieurs à ce que Northpointe décrit comme un seuil de fiabilité. "Une règle empirique selon plusieurs articles récents est que les AUC de 0,70 ou plus indiquent généralement une précision prédictive satisfaisante, et des mesures entre 0,60 et 0,70 suggèrent une précision prédictive faible à modérée", indique la société dans son étude. Le score COMPAS de récidive violente avait une concordance de 65,1 %. Le système COMPAS prédit de manière inégale la récidive entre les sexes. Selon les estimations de Kaplan-Meier, les femmes classées à haut risque ont récidivé à un taux de 47,5 % pendant deux ans après avoir été notées. Mais les hommes jugés à haut risque ont récidivé à un taux beaucoup plus élevé – 61,2 % – au cours de la même période. Cela signifie qu'une femme à haut risque a un risque de récidive beaucoup plus faible qu'un homme à haut risque, un fait qui peut être négligé par les responsables de l'application des lois qui interprètent le score. Northpointe propose un test personnalisé pour les femmes, mais il n'est pas utilisé dans le comté de Broward. La précision prédictive du score de récidive COMPAS était constante entre les races de notre étude – 62,5 % pour les accusés blancs contre 62,3 % pour les accusés noirs. Les auteurs de l'étude de Northpointe ont trouvé une petite différence dans les scores de concordance selon la race : 69 % pour les accusés blancs et 67 % pour les accusés noirs. Dans toutes les catégories de risque, les accusés noirs ont récidivé à des taux plus élevés. Risque de récidive générale Modèle de Cox (avec terme d'interaction) Noir 0,279 (0,061) Asiatique -0,777 (0,502) Hispanique -0,064 (0,097) Amérindien -1,255 (1,001) Autre 0,014 (0,110) Score élevé 1,284 ( 0,084) Score moyen 0,843*** (0,071) Noir : élevé -0,190* (0,100, p : 0,0574) Asiatique : élevé 1,316* (0,768) Hispanique : élevé -0,119 (0,198) Amérindien : élevé 1,956* (0,083 ) Autre :Élevé 0,415 (0,259) Noir :Moyen -0,173* (0,091, p : 0,0578) Asiatique :Moyen 0,986 (0,711) Hispanique :Moyen 0,065 (0,164) Amérindien :Moyen 1,390 (1,120) Autre :Moyen -0,334 ( 0,232) Observations 13 344 R2 0,072 Max. Possible R2 0,990 Log de vraisemblance -30 280,410 Test de Wald 988,830*** (df = 17) Test LR 993,709*** (df = 17) Test de score (Logrank) 1 104,894*** (df = 17) Remarque : *p<0,1 ; **p<0,05 ; ***p<0,01 Nous avons également ajouté un terme d'interaction race-par-score au modèle de Cox. Ce terme nous a permis de considérer si la différence de récidive entre un score élevé et un score bas était différente pour les prévenus noirs et les prévenus blancs. Le coefficient des scores élevés des accusés noirs est presque statistiquement significatif (0,0574). Les accusés blancs à haut risque sont 3,61 fois plus susceptibles de récidiver que les accusés blancs à faible risque, tandis que les accusés noirs à haut risque ne sont que 2,99 fois plus susceptibles de récidiver que les accusés noirs à faible risque. Les rapports de risque pour les accusés à risque moyen par rapport aux accusés à faible risque sont également différents selon les races : 2,32 pour les accusés blancs et 1,95 pour les accusés noirs. En raison de l'écart entre les rapports de risque, nous pouvons conclure que le score se comporte différemment selon les sous-groupes raciaux. Nous avons effectué une analyse similaire sur le score de récidive violente de COMPAS, mais nous n'avons pas trouvé de résultat similaire. Ici, nous avons constaté que le terme d'interaction sur la race et le score n'était pas significatif, ce qui signifie qu'il n'y a pas de différence significative entre les risques des accusés noirs à risque élevé et faible et ceux des accusés blancs à risque élevé et faible. Dans l'ensemble, il y a beaucoup moins de récidivistes violents que de récidivistes généraux et il n'y a pas de différence claire dans les taux de risque entre les niveaux de score pour les récidivistes noirs et blancs. Ces parcelles de Kaplan Meier montrent des taux très faibles de récidive violente. Enfin, nous avons recherché si certains types d'erreurs - faux positifs et faux négatifs - étaient inégalement répartis entre les races. Nous avons utilisé des tableaux de contingence pour déterminer ces taux relatifs à la suite de l'analyse décrite dans l'article de 2006 de l'Armée du Salut. Nous avons supprimé de notre ensemble de données les personnes pour lesquelles nous disposions de moins de deux ans d'informations sur la récidive. La population restante était de 7 214 – légèrement plus grande que l'échantillon dans les modèles logistiques ci-dessus, car nous n'avons pas besoin des informations sur le cas d'un accusé pour cette analyse. Comme dans l'analyse de régression logistique, nous avons marqué les scores autres que « faible » comme un risque plus élevé. Les tableaux suivants montrent les performances du score de récidive COMPAS : Tous les accusés Faible Élevé Survivants 2 681 1 282 Récidivés 1 216 2 035 Taux de FP : 32,35 Taux de FN : 37,40 VPP : 0,61 VPN : 0,69 532 1369 Taux de FP : 44,85 Taux de FN : 27,99 VPP : 0,63 NPV : 0,65 LR+ : 1,61 LR- : 0,51 Accusés blancs Faible Élevé Survivant 1139 349 Récidivé 461 505 Taux de FP : 23,45 Taux de FN : 47,72 VPP : 0,59 LR2 : 0 LR- : 0,62 Ces tableaux de contingence révèlent que l'algorithme est plus susceptible de classer à tort un accusé noir comme présentant un risque plus élevé qu'un accusé blanc. Les accusés noirs qui ne récidivent pas étaient presque deux fois plus susceptibles d'être classés par COMPAS comme présentant un risque plus élevé que leurs homologues blancs (45 % contre 23 %). Cependant, les accusés noirs qui ont obtenu un score plus élevé ont récidivé légèrement plus souvent que les accusés blancs (63 % contre 59 %). Le test avait tendance à faire l'erreur inverse avec les Blancs, ce qui signifie qu'il était plus susceptible de prédire à tort que les Blancs ne commettraient pas de crimes supplémentaires s'ils étaient libérés par rapport aux accusés noirs. COMPAS a sous-classé les récidivistes blancs comme étant à faible risque 70,5 % plus souvent que les récidivistes noirs (48 % contre 28 %). Le rapport de vraisemblance pour les accusés blancs était légèrement plus élevé 2,23 que pour les accusés noirs 1,61. Nous avons également vérifié si le fait de restreindre notre définition du risque élevé pour inclure uniquement le score élevé de COMPAS, plutôt que d'inclure à la fois les scores moyens et élevés, modifiait les résultats de notre analyse. Dans ce scénario, les accusés noirs étaient trois fois plus susceptibles que les accusés blancs d'être faussement classés à haut risque (16 % contre 5 %). Nous avons trouvé des résultats similaires pour le score COMPAS de récidive violente. Comme précédemment, nous avons calculé des tableaux de contingence en fonction de la performance du score : Tous les accusés Faible Élevé Survivants 4121 1597 Récidivés 347 389 Taux de FP : 27,93 Taux de FN : 47,15 VPP : 0,20 VPN : 0,92 LR+ : 1,89 LR- : 0,65 Accusés noirs Faible Élevé Survivants 1692 1043 Récidivés 170 273 Taux FP : 38,14 Taux FN : 38,37 VPP : 0,21 VPN : 0,91 LR+ : 1,62 LR- : 0,62 Accusés blancs Faible Élevé Survivants 1679 380 Récidivés 129 77 Taux FP : 18,46 Taux FN : 62,62 VPP : 93 LR+ : 2,03 LR- : 0,77 Les accusés noirs étaient deux fois plus susceptibles que les accusés blancs d'être classés à tort comme présentant un risque plus élevé de récidive violente, et les récidivistes blancs ont été classés à tort comme à faible risque 63,2 % plus souvent que les accusés noirs. un risque plus élevé de récidive violente a récidivé à un taux légèrement plus élevé que les accusés blancs (21% contre 17%), et le rapport de probabilité pour les accusés blancs était plus élevé, 2,03, que pour les accusés noirs, 1,62.