Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 39

Incidents associés

Incident 1115 Rapports
Northpointe Risk Models

Loading...
La discrimination cachée dans les scores d'évaluation des risques criminels
npr.org · 2016

La discrimination cachée dans les scores d'évaluation des risques criminels

Les salles d'audience à travers le pays utilisent de plus en plus le «score d'évaluation des risques» d'un accusé pour aider à prendre des décisions concernant la caution, la libération conditionnelle et la peine. Les entreprises à l'origine de ces scores disent qu'elles aident à prédire si un accusé commettra d'autres crimes à l'avenir. Kelly McEvers de NPR discute avec Julia Angwin de ProPublica d'une nouvelle enquête sur les scores d'évaluation des risques.

KELLY MCEVERS, HÔTE :

Imaginez si vous pouviez utiliser un algorithme pour prédire les problèmes et peut-être les éviter. L'idée a gagné du terrain dans tout le système de justice pénale, des services de police aux salles d'audience. C'est ce qu'on appelle l'évaluation du risque criminel.

AUDIE CORNISH, ANIMATEUR :

Le média à but non lucratif ProPublica a examiné l'un des programmes d'évaluation des risques les plus utilisés et comment il s'en est sorti dans le comté de Broward, en Floride. Là, les personnes arrêtées reçoivent un questionnaire, puis un score de 1 à 10.

MCEVERS : Quatre ou plus suggèrent qu'ils sont susceptibles de récidiver. La journaliste Julia Angwin a déclaré que l'analyse était exacte environ 61% du temps et qu'elle traitait différemment les Noirs et les Blancs. Je lui ai demandé de décrire le fonctionnement de l'algorithme.

JULIA ANGWIN : Celui que nous examinions a été créé par une société de logiciels propriétaires nommée Northpointe. Ils ne divulguent pas leur formule exacte, mais ils nous ont dit de manière générale ce qui s'y trouvait, c'est-à-dire essentiellement vos antécédents criminels, votre niveau d'éducation, si vous avez un emploi. Et puis il y a tout un tas de questions qui ont à voir avec votre pensée criminelle. Ainsi, par exemple, êtes-vous d'accord ou pas d'accord pour dire qu'il est acceptable pour une personne affamée de voler ? Et toutes les évaluations ne le demandent pas. Mais le produit de base offert par Northpointe compte 137 questions. Ensuite, les juridictions peuvent utiliser n'importe quel sous-ensemble.

MCEVERS: D'autres questions, comme, vous savez, vos parents ont-ils déjà été envoyés en prison ou en prison? Combien de vos amis consomment de la drogue illégalement ? À quelle fréquence vous êtes-vous battu à l'école ? Des trucs comme ça, non ?

ANGWIN : Ouais. il y a beaucoup de questions sur votre famille, vos attitudes. Vous sentez-vous souvent ennuyé ? Avez-vous des problèmes de colère? Votre famille - a-t-elle déjà été arrêtée ?

MCEVERS : Le questionnaire pose-t-il des questions spécifiques sur votre race ?

ANGWIN : Non, il ne s'agit pas de votre race.

MCEVERS : Vous avez parlé à des criminels endurcis qui étaient considérés comme présentant un risque relativement faible. Même eux ont été surpris d'être évalués de cette façon. Comment est-ce arrivé?

ANGWIN: Ce type dont nous avons parlé, Jimmy Rivelli (ph), il a la cinquantaine, un homme blanc, qui, selon son propre compte, a mené une vie de crime, principalement de petits vols et principalement pour alimenter sa toxicomanie, qu'il peine à surmonter. Mais quand je lui ai dit qu'il était classé à faible risque, sa réaction a été une très grande surprise pour moi car je venais de sortir de cinq ans de prison d'État pour trafic de drogue lorsque j'ai été arrêté pour cela.

MCEVERS : Wow. Et alors, comment se fait-il que quelqu'un comme ça puisse recevoir une note aussi basse ?

ANGWIN : Nous avons donc analysé plus de 7 000 scores pour voir ce qui causait ces types de disparités. Et ce que nous avons trouvé, c'est que bien que cet algorithme soit en fait correct pour prédire de manière générale si vous allez commettre un autre crime dans les deux prochaines années, il est en fait inexact de cette façon où il échoue différemment pour les Noirs et les Blancs. Ainsi, les accusés noirs sont deux fois plus susceptibles d'être évalués à haut risque à tort, ce qui signifie qu'ils n'ont pas récidivé. Et les accusés blancs sont deux fois plus susceptibles d'être évalués à tort comme à faible risque et de continuer à récidiver.

MCEVERS : Qu'est-ce que cela signifie pour quelqu'un qui est mal étiqueté par ce système d'évaluation des risques ?

ANGWIN : Donc, en gros, si on vous donne un score à faible risque, cela est donné au juge. Et en Floride, où nous examinions les scores, le juge examine cela lorsqu'il prend une décision sur la libération provisoire, ce qui signifie que vous pouvez sortir de prison sous caution en attendant votre procès pour votre crime ? Dans d'autres juridictions où le même logiciel exact est utilisé, ce score est utilisé pour la détermination de la peine.

Ainsi, lorsque vous avez été reconnu coupable d'un crime, le juge reçoit un rapport secret, une enquête préliminaire, généralement scellée au public, qui indique que cette personne présente un risque élevé. Vous devez en tenir compte lors de la détermination de votre peine. Et ces décisions sont très importantes parce que si vous jugez - vous regardez cette chose à haut risque, vous pourriez être enclin - et c'est arrivé - à être plus susceptible de mettre cette personne dans une peine de prison plus longue.

MCEVERS : Nous devrions dire que la société, Northpointe, qui administre ces tests conteste vos conclusions.

ANGWIN : Oui, c'est exact.

MCEVERS : Sur la base de toutes les preuves que vous avez examinées et de tous les experts auxquels vous avez parlé, pensez-vous qu'il y a une place pour ces types d'algorithmes dans le système de justice pénale ?

ANGWIN : Le mouvement vers les scores d'évaluation des risques est très bien intentionné, et je suis sympathique à l'idée que nous devons rendre le système de justice pénale plus objectif et plus juste. Et il n'a pas

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd