Journal des citations pour l'incident 11

Description: An algorithm developed by Northpointe and used in the penal system is two times more likely to incorrectly label a black person as a high-risk re-offender and is two times more likely to incorrectly label a white person as low-risk for reoffense according to a ProPublica review.

Outils

Nouveau rapportNouveau rapportNouvelle RéponseNouvelle RéponseDécouvrirDécouvrirVoir l'historiqueVoir l'historique
Présumé : Un système d'IA développé et mis en œuvre par Northpointe, endommagé Accused People.

Statistiques d'incidents

ID
11
Nombre de rapports
15
Date de l'incident
2016-05-23
Editeurs
Sean McGregor

Classifications de taxonomie CSETv0

Détails de la taxonomie

Full Description

An algorithm developed by Northpointe and used in the penal system is shown to be inaccurate and produces racially-skewed results according to a review by ProPublica. The review shows how the 137-question survey given following an arrest is inaccurate and skewed against people of color. While there is not question regarding race in the survey, the algorithm is two times more likely to incorrectly label a black person as a high-risk re-offender (False Positive) and is also two times more likely to incorrectly label a white person as low-risk for reoffense (False Negative) than actual statistics support. Overall, the algorithm is 61% effective at predicting reoffense. This system is used in Broward County, Florida to help judges make decisions surrounding pre-trial release and sentencing post-trial.

Short Description

An algorithm developed by Northpointe and used in the penal system is two times more likely to incorrectly label a black person as a high-risk re-offender and is two times more likely to incorrectly label a white person as low-risk for reoffense according to a ProPublica review.

Severity

Unclear/unknown

Harm Distribution Basis

Race

Harm Type

Harm to civil liberties, Other:Reputational harm; False incarceration

AI System Description

An algorithm, developed by Northpointe designed to assign a risk score associated with a person's likelihood of reoffending after their original arrest.

System Developer

Northpointe

Sector of Deployment

Public administration and defence

Relevant AI functions

Perception, Cognition

AI Techniques

law enforcement algorithm, crime prediction algorithm

AI Applications

risk assesment, crime projection

Location

Broward County, Florida

Named Entities

ProPublica, Northpointe, COMPAS, Broward County, FL

Technology Purveyor

Northpointe

Beginning Date

2016-01-01T00:00:00.000Z

Ending Date

2019-01-01T00:00:00.000Z

Near Miss

Harm caused

Intent

Accident

Lives Lost

No

Infrastructure Sectors

Government facilities

Data Inputs

137-question survey

Classifications de taxonomie CSETv1

Détails de la taxonomie

Harm Distribution Basis

race

Sector of Deployment

law enforcement, public administration

privacyinternational.org · 2016

Les programmes informatiques qui effectuent des évaluations des risques des suspects de crime sont de plus en plus courants dans les salles d'audience américaines et sont utilisés à chaque étape des systèmes de justice pénale pour détermine…

Comment nous avons analysé l'algorithme de récidive COMPAS
propublica.org · 2016

Partout au pays, les juges, les agents de probation et de libération conditionnelle utilisent de plus en plus des algorithmes pour évaluer la probabilité qu'un accusé devienne un récidiviste - un terme utilisé pour décrire les criminels qui…

Les tribunaux américains utilisent des algorithmes criblés de racisme pour prononcer des peines
mic.com · 2016

Depuis des années, la communauté de la justice pénale est inquiète. Les tribunaux de tout le pays attribuent des montants de caution condamnant les accusés sur la base d'algorithmes, et les avocats et les scientifiques des données avertisse…

Biais machine - ProPublica
propublica.org · 2016

Un après-midi de printemps 2014, Brisha Borden était en retard pour aller chercher sa marraine à l'école lorsqu'elle a repéré un vélo bleu Huffy pour enfant non verrouillé et un scooter argenté Razor. Borden et un ami ont attrapé le vélo et…

La discrimination cachée dans les scores d'évaluation des risques criminels
npr.org · 2016

La discrimination cachée dans les scores d'évaluation des risques criminels

Les salles d'audience à travers le pays utilisent de plus en plus le «score d'évaluation des risques» d'un accusé pour aider à prendre des décisions concernant la c…

Même les algorithmes sont biaisés contre les hommes noirs
theguardian.com · 2016

L'un de mes biens les plus précieux est The Art of Computer Programming de Donald Knuth, un informaticien pour qui le mot "légendaire" aurait pu être inventé. D'une certaine manière, on pourrait considérer son magnum opus comme une tentativ…

Les scores d'évaluation du risque criminel sont-ils racistes ?
brookings.edu · 2016

Imaginez que vous avez été reconnu coupable d'un crime et que vous attendiez de connaître votre peine. Préférez-vous que votre peine soit déterminée par un algorithme informatique, qui pondère sans passion les facteurs qui prédisent votre r…

Un nouveau programme juge si vous êtes un criminel à partir de vos traits du visage
vice.com · 2016

Comme une version plus tordue du test Voight-Kampff de Blade Runner, un nouvel article d'apprentissage automatique d'une paire de chercheurs chinois s'est penché sur la tâche controversée de laisser un ordinateur décider de votre innocence.…

ProPublica a tort d'accuser les préjugés raciaux dans un algorithme
acsh.org · 2018

Prédire l'avenir n'est pas seulement l'affaire des diseurs de bonne aventure ou des experts des médias. Les algorithmes prédictifs, basés sur de vastes ensembles de données et de statistiques, ont dépassé les opérations de vente en gros et …

Un algorithme populaire n'est pas meilleur pour prédire les crimes que des personnes aléatoires
theatlantic.com · 2018

La prudence est en effet de mise, selon Julia Dressel et Hany Farid du Dartmouth College. Dans une nouvelle étude, ils ont montré que COMPAS n'est pas meilleur pour prédire le risque de récidive d'un individu que des volontaires aléatoires …

Injustice algorithmique
thenewatlantis.com · 2018

Ne blâmez pas l'algorithme - tant qu'il existe des disparités raciales dans le système judiciaire, les logiciels de détermination de la peine ne peuvent jamais être entièrement équitables.

Depuis des générations, les Massaïs d'Afrique de l'…

digitalethics.org · 2018

Bien que les taux de criminalité aient diminué régulièrement depuis les années 1990, les taux de récidive demeurent un facteur dans les domaines de la sécurité publique et de la gestion des détenus. L'Institut national de la justice définit…

La ville de New York s'attaque à la discrimination algorithmique
aclu.org · 2018

Les algorithmes invisibles façonnent de plus en plus le monde dans lequel nous vivons, et pas toujours pour le mieux. Malheureusement, peu de mécanismes sont en place pour s'assurer qu'ils ne causent pas plus de mal que de bien.

Cela pourra…

Oui, l'intelligence artificielle peut être raciste
vox.com · 2019

Ouvrez l'application photo sur votre téléphone et recherchez "chien", et toutes les photos que vous avez de chiens apparaîtront. Ce n'était pas une mince affaire. Votre téléphone sait à quoi ressemble un chien.

Cette merveille des temps mod…

Pouvez-vous rendre l'IA plus juste qu'un juge ? Jouez à notre jeu d'algorithme de salle d'audience
technologyreview.com · 2019

En tant qu'enfant, vous développez un sens de ce que signifie « équité ». C'est un concept que vous apprenez très tôt lorsque vous vous adaptez au monde qui vous entoure. Quelque chose semble juste ou non.

Mais de plus en plus, les algorith…

Variantes

Une "Variante" est un incident qui partage les mêmes facteurs de causalité, produit des dommages similaires et implique les mêmes systèmes intelligents qu'un incident d'IA connu. Plutôt que d'indexer les variantes comme des incidents entièrement distincts, nous listons les variations d'incidents sous le premier incident similaire soumis à la base de données. Contrairement aux autres types de soumission à la base de données des incidents, les variantes ne sont pas tenues d'avoir des rapports en preuve externes à la base de données des incidents. En savoir plus sur le document de recherche.

Incidents similaires

Par similarité textuelle

Did our AI mess up? Flag the unrelated incidents