Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Incident 11: Northpointe Risk Models

Description: An algorithm developed by Northpointe and used in the penal system is two times more likely to incorrectly label a black person as a high-risk re-offender and is two times more likely to incorrectly label a white person as low-risk for reoffense according to a ProPublica review.

Outils

Nouveau rapportNouveau rapportNouvelle RéponseNouvelle RéponseDécouvrirDécouvrirVoir l'historiqueVoir l'historique

Entités

Voir toutes les entités
Présumé : Un système d'IA développé et mis en œuvre par Northpointe, a endommagé Accused People.

Statistiques d'incidents

ID
11
Nombre de rapports
15
Date de l'incident
2016-05-23
Editeurs
Sean McGregor
Applied Taxonomies
CSETv0, CSETv1, GMF, MIT

Classifications de taxonomie CSETv0

Détails de la taxonomie

Problem Nature

Indicates which, if any, of the following types of AI failure describe the incident: "Specification," i.e. the system's behavior did not align with the true intentions of its designer, operator, etc; "Robustness," i.e. the system operated unsafely because of features or changes in its environment, or in the inputs the system received; "Assurance," i.e. the system could not be adequately monitored or controlled during operation.
 

Unknown/unclear

Physical System

Where relevant, indicates whether the AI system(s) was embedded into or tightly associated with specific types of hardware.
 

Software only

Level of Autonomy

The degree to which the AI system(s) functions independently from human intervention. "High" means there is no human involved in the system action execution; "Medium" means the system generates a decision and a human oversees the resulting action; "low" means the system generates decision-support output and a human makes a decision and executes an action.
 

Medium

Nature of End User

"Expert" if users with special training or technical expertise were the ones meant to benefit from the AI system(s)’ operation; "Amateur" if the AI systems were primarily meant to benefit the general public or untrained users.
 

Expert

Public Sector Deployment

"Yes" if the AI system(s) involved in the accident were being used by the public sector or for the administration of public goods (for example, public transportation). "No" if the system(s) were being used in the private sector or for commercial purposes (for example, a ride-sharing company), on the other.
 

Yes

Data Inputs

A brief description of the data that the AI system(s) used or were trained on.
 

137-question survey

Classifications de taxonomie CSETv1

Détails de la taxonomie

Incident Number

The number of the incident in the AI Incident Database.
 

11

Classifications de taxonomie MIT

Machine-Classified
Détails de la taxonomie

Risk Subdomain

A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
 

1.1. Unfair discrimination and misrepresentation

Risk Domain

The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
 
  1. Discrimination and Toxicity

Entity

Which, if any, entity is presented as the main cause of the risk
 

AI

Timing

The stage in the AI lifecycle at which the risk is presented as occurring
 

Post-deployment

Intent

Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
 

Unintentional

Rapports d'incidents

Chronologie du rapport

+5
L'analyse de ProPublica révèle un biais dans le système de notation des risques de justice pénale COMPAS
Même les algorithmes sont biaisés contre les hommes noirsLes scores d'évaluation du risque criminel sont-ils racistes ?Un nouveau programme juge si vous êtes un criminel à partir de vos traits du visage+1
ProPublica a tort d'accuser les préjugés raciaux dans un algorithme
Injustice algorithmiquePhrase en chiffres : la vérité effrayante derrière les algorithmes d'évaluation des risquesLa ville de New York s'attaque à la discrimination algorithmiqueOui, l'intelligence artificielle peut être racistePouvez-vous rendre l'IA plus juste qu'un juge ? Jouez à notre jeu d'algorithme de salle d'audience
L'analyse de ProPublica révèle un biais dans le système de notation des risques de justice pénale COMPAS

L'analyse de ProPublica révèle un biais dans le système de notation des risques de justice pénale COMPAS

privacyinternational.org

Comment nous avons analysé l'algorithme de récidive COMPAS

Comment nous avons analysé l'algorithme de récidive COMPAS

propublica.org

Les tribunaux américains utilisent des algorithmes criblés de racisme pour prononcer des peines

Les tribunaux américains utilisent des algorithmes criblés de racisme pour prononcer des peines

mic.com

Biais machine - ProPublica

Biais machine - ProPublica

propublica.org

La discrimination cachée dans les scores d'évaluation des risques criminels

La discrimination cachée dans les scores d'évaluation des risques criminels

npr.org

Même les algorithmes sont biaisés contre les hommes noirs

Même les algorithmes sont biaisés contre les hommes noirs

theguardian.com

Les scores d'évaluation du risque criminel sont-ils racistes ?

Les scores d'évaluation du risque criminel sont-ils racistes ?

brookings.edu

Un nouveau programme juge si vous êtes un criminel à partir de vos traits du visage

Un nouveau programme juge si vous êtes un criminel à partir de vos traits du visage

vice.com

ProPublica a tort d'accuser les préjugés raciaux dans un algorithme

ProPublica a tort d'accuser les préjugés raciaux dans un algorithme

acsh.org

Un algorithme populaire n'est pas meilleur pour prédire les crimes que des personnes aléatoires

Un algorithme populaire n'est pas meilleur pour prédire les crimes que des personnes aléatoires

theatlantic.com

Injustice algorithmique

Injustice algorithmique

thenewatlantis.com

Phrase en chiffres : la vérité effrayante derrière les algorithmes d'évaluation des risques

Phrase en chiffres : la vérité effrayante derrière les algorithmes d'évaluation des risques

digitalethics.org

La ville de New York s'attaque à la discrimination algorithmique

La ville de New York s'attaque à la discrimination algorithmique

aclu.org

Oui, l'intelligence artificielle peut être raciste

Oui, l'intelligence artificielle peut être raciste

vox.com

Pouvez-vous rendre l'IA plus juste qu'un juge ? Jouez à notre jeu d'algorithme de salle d'audience

Pouvez-vous rendre l'IA plus juste qu'un juge ? Jouez à notre jeu d'algorithme de salle d'audience

technologyreview.com

L'analyse de ProPublica révèle un biais dans le système de notation des risques de justice pénale COMPAS
privacyinternational.org · 2016
Traduit par IA

Les programmes informatiques qui effectuent des évaluations des risques des suspects de crime sont de plus en plus courants dans les salles d'audience américaines et sont utilisés à chaque étape des systèmes de justice pénale pour détermine…

Comment nous avons analysé l'algorithme de récidive COMPAS
propublica.org · 2016
Traduit par IA

Partout au pays, les juges, les agents de probation et de libération conditionnelle utilisent de plus en plus des algorithmes pour évaluer la probabilité qu'un accusé devienne un récidiviste - un terme utilisé pour décrire les criminels qui…

Les tribunaux américains utilisent des algorithmes criblés de racisme pour prononcer des peines
mic.com · 2016
Traduit par IA

Depuis des années, la communauté de la justice pénale est inquiète. Les tribunaux de tout le pays attribuent des montants de caution condamnant les accusés sur la base d'algorithmes, et les avocats et les scientifiques des données avertisse…

Biais machine - ProPublica
propublica.org · 2016
Traduit par IA

Un après-midi de printemps 2014, Brisha Borden était en retard pour aller chercher sa marraine à l'école lorsqu'elle a repéré un vélo bleu Huffy pour enfant non verrouillé et un scooter argenté Razor. Borden et un ami ont attrapé le vélo et…

La discrimination cachée dans les scores d'évaluation des risques criminels
npr.org · 2016
Traduit par IA

La discrimination cachée dans les scores d'évaluation des risques criminels

Les salles d'audience à travers le pays utilisent de plus en plus le «score d'évaluation des risques» d'un accusé pour aider à prendre des décisions concernant la c…

Même les algorithmes sont biaisés contre les hommes noirs
theguardian.com · 2016
Traduit par IA

L'un de mes biens les plus précieux est The Art of Computer Programming de Donald Knuth, un informaticien pour qui le mot "légendaire" aurait pu être inventé. D'une certaine manière, on pourrait considérer son magnum opus comme une tentativ…

Les scores d'évaluation du risque criminel sont-ils racistes ?
brookings.edu · 2016
Traduit par IA

Imaginez que vous avez été reconnu coupable d'un crime et que vous attendiez de connaître votre peine. Préférez-vous que votre peine soit déterminée par un algorithme informatique, qui pondère sans passion les facteurs qui prédisent votre r…

Un nouveau programme juge si vous êtes un criminel à partir de vos traits du visage
vice.com · 2016
Traduit par IA

Comme une version plus tordue du test Voight-Kampff de Blade Runner, un nouvel article d'apprentissage automatique d'une paire de chercheurs chinois s'est penché sur la tâche controversée de laisser un ordinateur décider de votre innocence.…

ProPublica a tort d'accuser les préjugés raciaux dans un algorithme
acsh.org · 2018
Traduit par IA

Prédire l'avenir n'est pas seulement l'affaire des diseurs de bonne aventure ou des experts des médias. Les algorithmes prédictifs, basés sur de vastes ensembles de données et de statistiques, ont dépassé les opérations de vente en gros et …

Un algorithme populaire n'est pas meilleur pour pr�édire les crimes que des personnes aléatoires
theatlantic.com · 2018
Traduit par IA

La prudence est en effet de mise, selon Julia Dressel et Hany Farid du Dartmouth College. Dans une nouvelle étude, ils ont montré que COMPAS n'est pas meilleur pour prédire le risque de récidive d'un individu que des volontaires aléatoires …

Injustice algorithmique
thenewatlantis.com · 2018
Traduit par IA

Ne blâmez pas l'algorithme - tant qu'il existe des disparités raciales dans le système judiciaire, les logiciels de détermination de la peine ne peuvent jamais être entièrement équitables.

Depuis des générations, les Massaïs d'Afrique de l'…

Phrase en chiffres : la vérité effrayante derrière les algorithmes d'évaluation des risques
digitalethics.org · 2018
Traduit par IA

Bien que les taux de criminalité aient diminué régulièrement depuis les années 1990, les taux de récidive demeurent un facteur dans les domaines de la sécurité publique et de la gestion des détenus. L'Institut national de la justice définit…

La ville de New York s'attaque à la discrimination algorithmique
aclu.org · 2018
Traduit par IA

Les algorithmes invisibles façonnent de plus en plus le monde dans lequel nous vivons, et pas toujours pour le mieux. Malheureusement, peu de mécanismes sont en place pour s'assurer qu'ils ne causent pas plus de mal que de bien.

Cela pourra…

Oui, l'intelligence artificielle peut être raciste
vox.com · 2019
Traduit par IA

Ouvrez l'application photo sur votre téléphone et recherchez "chien", et toutes les photos que vous avez de chiens apparaîtront. Ce n'était pas une mince affaire. Votre téléphone sait à quoi ressemble un chien.

Cette merveille des temps mod…

Pouvez-vous rendre l'IA plus juste qu'un juge ? Jouez à notre jeu d'algorithme de salle d'audience
technologyreview.com · 2019
Traduit par IA

En tant qu'enfant, vous développez un sens de ce que signifie « équité ». C'est un concept que vous apprenez très tôt lorsque vous vous adaptez au monde qui vous entoure. Quelque chose semble juste ou non.

Mais de plus en plus, les algorith…

Variantes

Une "Variante" est un incident qui partage les mêmes facteurs de causalité, produit des dommages similaires et implique les mêmes systèmes intelligents qu'un incident d'IA connu. Plutôt que d'indexer les variantes comme des incidents entièrement distincts, nous listons les variations d'incidents sous le premier incident similaire soumis à la base de données. Contrairement aux autres types de soumission à la base de données des incidents, les variantes ne sont pas tenues d'avoir des rapports en preuve externes à la base de données des incidents. En savoir plus sur le document de recherche.

Incidents similaires

Par similarité textuelle

Did our AI mess up? Flag the unrelated incidents

COMPAS Algorithm Performs Poorly in Crime Recidivism Prediction

A Popular Algorithm Is No Better at Predicting Crimes Than Random People

May 2016 · 22 rapports
Predictive Policing Biases of PredPol

Policing the Future

Nov 2015 · 17 rapports
AI Beauty Judge Did Not Like Dark Skin

A beauty contest was judged by AI and the robots didn't like dark skin

Sep 2016 · 10 rapports
Incident précédentProchain incident

Incidents similaires

Par similarité textuelle

Did our AI mess up? Flag the unrelated incidents

COMPAS Algorithm Performs Poorly in Crime Recidivism Prediction

A Popular Algorithm Is No Better at Predicting Crimes Than Random People

May 2016 · 22 rapports
Predictive Policing Biases of PredPol

Policing the Future

Nov 2015 · 17 rapports
AI Beauty Judge Did Not Like Dark Skin

A beauty contest was judged by AI and the robots didn't like dark skin

Sep 2016 · 10 rapports

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • ecd56df