Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 37

Incidents associés

Incident 1115 Rapports
Northpointe Risk Models

Loading...
Les scores d'évaluation du risque criminel sont-ils racistes ?
brookings.edu · 2016

Imaginez que vous avez été reconnu coupable d'un crime et que vous attendiez de connaître votre peine. Préférez-vous que votre peine soit déterminée par un algorithme informatique, qui pondère sans passion les facteurs qui prédisent votre risque futur de criminalité (comme l'âge ou les arrestations passées) ou par l'évaluation subjective d'un juge ? Et ce choix changerait-il si vous étiez d'une race différente ?

La technologie est souvent présentée comme un moyen de réduire les disparités raciales dans le système de justice pénale. Si les disparités existantes sont dues au moins en partie aux préjugés raciaux des témoins, de la police et des juges, le remplacement de certains jugements humains par des algorithmes informatiques qui estiment le risque de criminalité pourrait produire un système plus juste. Mais ces algorithmes pourraient-ils également présenter des préjugés raciaux ? C'est une bonne question, mais il n'est pas facile de répondre à l'aide des données existantes.

Un article de ProPublica en mai a affirmé que les scores de risque calculés par la société privée NorthPointe sont en proie à des préjugés raciaux, donnant systématiquement des scores de risque plus élevés aux Noirs qu'aux Blancs par ailleurs similaires. Si cela est vrai, il s'agit d'un problème important, car les tribunaux de tout le pays utilisent des scores de risque pour déterminer la caution, la peine, la libération conditionnelle, etc. Cette étude a reçu une attention médiatique considérable et a même été citée par la Cour suprême du Wisconsin dans une décision judiciaire limitant l'utilisation des évaluations des risques. Pourtant, il contient plusieurs erreurs de raisonnement importantes qui remettent en cause les conclusions.

L'étude ProPublica cite une disparité dans les «taux de faux positifs» comme preuve de préjugés raciaux: les accusés noirs qui n'ont pas récidivé étaient plus susceptibles d'avoir été classés comme à haut risque que les accusés blancs. Comme indiqué dans la réponse de NorthPointe et expliqué dans une chronique récente de Robert Verbruggen, ces statistiques sont dangereusement trompeuses. Tout groupe qui a des taux de récidive plus élevés (et donc des scores de risque plus élevés, en moyenne) aura mécaniquement un taux de faux positifs plus élevé, même si le score de risque est totalement impartial.

(L'intuition de base est la suivante : le taux de faux positifs est le nombre de personnes étiquetées à haut risque qui ne récidivent pas divisé par le nombre total de personnes qui ne récidivent pas. Dans un groupe avec des taux de récidive élevés, le numérateur sera plus grand parce que le bassin de personnes étiquetées à haut risque est plus grand et le dénominateur sera plus petit parce qu'il y a moins de personnes qui ne récidivent pas. Le résultat est que le rapport de ces nombres est toujours plus grand que pour les groupes à faible récidive.)

Cela semble contre-intuitif, mais les disparités dans les faux positifs ne nous disent rien sur les disparités raciales dans l'algorithme. Des taux disparates de faux positifs seront présents chaque fois qu'il y aura des taux disparates de récidive, indépendamment des préjugés raciaux et que le score de risque soit établi par un algorithme informatique ou par l'évaluation subjective d'un juge.

Cependant, même si nous examinons le bon ensemble de chiffres, nous sommes confrontés à un problème plus important : les scores de risque influencent la détermination de la peine, et la détermination de la peine influence la récidive. Prenons l'exemple d'un accusé à qui les tribunaux ordonnent de suivre des conseils en matière de toxicomanie en raison de son niveau de risque élevé. S'il ne récidive pas, est-ce parce que le score de risque était erroné ou parce que le conseil en toxicomanie était efficace ? Considérez un deuxième accusé qui a été condamné à une peine de prison en raison de son score de risque élevé. Si elle ne récidive pas, est-ce parce que le score de risque était erroné ou parce qu'elle était en prison jusqu'à ce qu'elle soit trop âgée pour commettre un crime ? Les taux de récidive ne nous disent pas quelle était la propension d'une personne à commettre un autre crime au moment où le score de risque a été calculé. Et par conséquent, ils ont une utilisation limitée pour déterminer l'exactitude de ces scores. Un très bel article de Shawn Bushway et Jeffrey Smith explique longuement ce point.

Bien que des problèmes méthodologiques remettent en question les conclusions de ProPublica, les préjugés raciaux potentiels dans l'évaluation des risques restent un problème important. Près de 20 États utilisent l'évaluation des risques pour aider à déterminer la peine dans au moins certaines juridictions, et les évaluations des risques en matière de libération sous caution et de libération conditionnelle sont encore plus courantes. Étant donné que bon nombre des éléments d'entrée des évaluations des risques, tels que les arrestations passées, sont soumis à des pratiques policières racialement disparates, il ne serait pas surprenant que les scores de risque comportent une partie de ce biais. Ce sont des questions complexes, et des chercheurs comme Richard Berk et Sandra Mayson fournissent une analyse plus approfondie sur la façon dont nous devrions penser l'équité et la justice dans l'évaluation des risques. Mais l'une des questions politiques les plus importantes est simple : les évaluations des risques augmentent-elles ou diminuent-elles les disparités raciales par rapport aux décisions subjectives des juges ?

Une approche idéale pour répondre à cette question serait une expérience dans laquelle certains juges sont assignés au hasard pour utiliser des évaluations des risques dans le cadre de leurs décisions (leurs accusés sont le groupe de traitement), et certains juges pour fonctionner comme avant (leurs accusés sont le groupe témoin ). Nous pourrions ensuite comparer les écarts raciaux dans la détermination de la peine pour le groupe de traitement et le groupe témoin, afin de déterminer l'effet de l'incorporation de ri

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd