Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Incident 40: COMPAS Algorithm Performs Poorly in Crime Recidivism Prediction

Description: Correctional Offender Management Profiling for Alternative Sanctions (COMPAS), a recidivism risk-assessment algorithmic tool used in the judicial system to assess likelihood of defendants' recidivism, is found to be less accurate than random untrained human evaluators.

Outils

Nouveau rapportNouveau rapportNouvelle RéponseNouvelle RéponseDécouvrirDécouvrirVoir l'historiqueVoir l'historique

Entités

Voir toutes les entités
Présumé : Un système d'IA développé et mis en œuvre par Equivant, a endommagé Accused People.

Statistiques d'incidents

ID
40
Nombre de rapports
22
Date de l'incident
2016-05-23
Editeurs
Sean McGregor
Applied Taxonomies
CSETv0, CSETv1, GMF, MIT

Classifications de taxonomie CSETv0

Détails de la taxonomie

Problem Nature

Indicates which, if any, of the following types of AI failure describe the incident: "Specification," i.e. the system's behavior did not align with the true intentions of its designer, operator, etc; "Robustness," i.e. the system operated unsafely because of features or changes in its environment, or in the inputs the system received; "Assurance," i.e. the system could not be adequately monitored or controlled during operation.
 

Unknown/unclear

Physical System

Where relevant, indicates whether the AI system(s) was embedded into or tightly associated with specific types of hardware.
 

Software only

Level of Autonomy

The degree to which the AI system(s) functions independently from human intervention. "High" means there is no human involved in the system action execution; "Medium" means the system generates a decision and a human oversees the resulting action; "low" means the system generates decision-support output and a human makes a decision and executes an action.
 

Medium

Nature of End User

"Expert" if users with special training or technical expertise were the ones meant to benefit from the AI system(s)’ operation; "Amateur" if the AI systems were primarily meant to benefit the general public or untrained users.
 

Amateur

Public Sector Deployment

"Yes" if the AI system(s) involved in the accident were being used by the public sector or for the administration of public goods (for example, public transportation). "No" if the system(s) were being used in the private sector or for commercial purposes (for example, a ride-sharing company), on the other.
 

Yes

Data Inputs

A brief description of the data that the AI system(s) used or were trained on.
 

Questionnaire consisting of 137 factors like age, prior convictions, criminal records

Classifications de taxonomie CSETv1

Détails de la taxonomie

Incident Number

The number of the incident in the AI Incident Database.
 

40

AI Tangible Harm Level Notes

Notes about the AI tangible harm level assessment
 

CSET considers wrongful detention, wrongful imprisonment, and wrongful differential/disproportionate imprisonment amounts to be tangible harm, because of the loss of physical freedom and autonomy.

Classifications de taxonomie MIT

Machine-Classified
Détails de la taxonomie

Risk Subdomain

A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
 

1.1. Unfair discrimination and misrepresentation

Risk Domain

The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
 
  1. Discrimination and Toxicity

Entity

Which, if any, entity is presented as the main cause of the risk
 

AI

Timing

The stage in the AI lifecycle at which the risk is presented as occurring
 

Post-deployment

Intent

Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
 

Unintentional

Rapports d'incidents

Chronologie du rapport

+1
Comment nous avons analysé l'algorithme de récidive COMPAS
+1
Inspecter les algorithmes pour les biais
+12
ProPublica a tort d'accuser les préjugés raciaux dans un algorithme
Phrase en chiffres : la vérité effrayante derrière les algorithmes d'évaluation des risquesLes préjugés raciaux peuvent-ils jamais être supprimés des algorithmes de justice pénale ?L'IA condamne des criminels et détermine les peines de prison, mais est-ce juste ?Une étude révèle que l'algorithme n'est pas meilleur que des personnes aléatoires pour prédire la récidive+1
Mémoire amicus dans New Jersey c. Pickett
Comment nous avons analysé l'algorithme de récidive COMPAS

Comment nous avons analysé l'algorithme de récidive COMPAS

propublica.org

Inspecter les algorithmes pour les biais

Inspecter les algorithmes pour les biais

technologyreview.com

Quand un programme informatique vous garde en prison

Quand un programme informatique vous garde en prison

nytimes.com

ProPublica a tort d'accuser les préjugés raciaux dans un algorithme

ProPublica a tort d'accuser les préjugés raciaux dans un algorithme

acsh.org

Mechanical Turkers a dépassé COMPAS, un algorithme judiciaire majeur

Mechanical Turkers a dépassé COMPAS, un algorithme judiciaire majeur

theverge.com

Un algorithme populaire n'est pas meilleur pour prédire les crimes que des personnes aléatoires

Un algorithme populaire n'est pas meilleur pour prédire les crimes que des personnes aléatoires

theatlantic.com

Les programmes sont-ils meilleurs que les gens pour prédire la récidive ?

Les programmes sont-ils meilleurs que les gens pour prédire la récidive ?

economist.com

L'exactitude, l'équité et les limites de la prédiction de la récidive

L'exactitude, l'équité et les limites de la prédiction de la récidive

science.org

Un logiciel "pas plus précis que des humains non formés" pour juger du risque de récidive

Un logiciel "pas plus précis que des humains non formés" pour juger du risque de récidive

theguardian.com

Les algorithmes de mise en liberté sous caution sont aussi précis que des personnes aléatoires faisant un sondage en ligne

Les algorithmes de mise en liberté sous caution sont aussi précis que des personnes aléatoires faisant un sondage en ligne

motherboard.vice.com

Les logiciels judiciaires ne sont peut-être pas plus précis que les enquêteurs en ligne pour prédire le risque criminel

Les logiciels judiciaires ne sont peut-être pas plus précis que les enquêteurs en ligne pour prédire le risque criminel

sciencedaily.com

Les algorithmes de prédiction de la criminalité peuvent ne pas s'en sortir beaucoup mieux que les humains non formés

Les algorithmes de prédiction de la criminalité peuvent ne pas s'en sortir beaucoup mieux que les humains non formés

wired.com

Un programme informatique commun prédit la récidive aussi mal que les humains

Un programme informatique commun prédit la récidive aussi mal que les humains

inverse.com

Les algorithmes ne sont pas meilleurs pour prédire les récidivistes que les humains inexpérimentés

Les algorithmes ne sont pas meilleurs pour prédire les récidivistes que les humains inexpérimentés

futurism.com

Une étude révèle que l'algorithme de prédiction de la criminalité n'est pas plus intelligent que les enquêteurs en ligne

Une étude révèle que l'algorithme de prédiction de la criminalité n'est pas plus intelligent que les enquêteurs en ligne

gizmodo.com.au

L'algorithme de détermination de la peine criminelle n'est pas plus précis que des personnes aléatoires sur Internet

L'algorithme de détermination de la peine criminelle n'est pas plus précis que des personnes aléatoires sur Internet

pbs.org

Phrase en chiffres : la vérité effrayante derrière les algorithmes d'évaluation des risques

Phrase en chiffres : la vérité effrayante derrière les algorithmes d'évaluation des risques

digitalethics.org

Les préjugés raciaux peuvent-ils jamais être supprimés des algorithmes de justice pénale ?

Les préjugés raciaux peuvent-ils jamais être supprimés des algorithmes de justice pénale ?

psmag.com

L'IA condamne des criminels et détermine les peines de prison, mais est-ce juste ?

L'IA condamne des criminels et détermine les peines de prison, mais est-ce juste ?

weforum.org

Une étude révèle que l'algorithme n'est pas meilleur que des personnes aléatoires pour prédire la récidive

Une étude révèle que l'algorithme n'est pas meilleur que des personnes aléatoires pour prédire la récidive

privacyinternational.org

Mémoire amicus dans New Jersey c. Pickett

Mémoire amicus dans New Jersey c. Pickett

upturn.org

Intelligence artificielle, racisme algorithmique et système canadien de justice pénale

Intelligence artificielle, racisme algorithmique et système canadien de justice pénale

slaw.ca

Comment nous avons analysé l'algorithme de récidive COMPAS
propublica.org · 2016
Traduit par IA

← Lire l'histoire

Partout au pays, les juges, les agents de probation et de libération conditionnelle utilisent de plus en plus des algorithmes pour évaluer la probabilité qu'un accusé devienne un récidiviste - un terme utilisé pour décrire…

Inspecter les algorithmes pour les biais
technologyreview.com · 2017
Traduit par IA

C'était une histoire saisissante. «Machine Bias», disait le titre, et le teaser proclamait: «Il existe des logiciels utilisés dans tout le pays pour prédire les futurs criminels. Et il est biaisé contre les Noirs.

ProPublica, une organisati…

Quand un programme informatique vous garde en prison
nytimes.com · 2017
Traduit par IA

Le système de justice pénale s'automatise. À chaque étape - du maintien de l'ordre et des enquêtes à la mise en liberté sous caution, en passant par les preuves, la condamnation et la libération conditionnelle - les systèmes informatiques j…

ProPublica a tort d'accuser les préjugés raciaux dans un algorithme
acsh.org · 2018
Traduit par IA

Prédire l'avenir n'est pas seulement l'affaire des diseurs de bonne aventure ou des experts des médias. Les algorithmes prédictifs, basés sur de vastes ensembles de données et de statistiques, ont dépassé les opérations de vente en gros et …

Mechanical Turkers a dépassé COMPAS, un algorithme judiciaire majeur
theverge.com · 2018
Traduit par IA

Nos algorithmes de prédiction de la criminalité les plus sophistiqués ne sont peut-être pas aussi bons que nous le pensions. Une étude publiée aujourd'hui dans Science Advances examine l'algorithme COMPAS populaire - utilisé pour évaluer la…

Un algorithme populaire n'est pas meilleur pour prédire les crimes que des personnes aléatoires
theatlantic.com · 2018
Traduit par IA

La prudence est en effet de mise, selon Julia Dressel et Hany Farid du Dartmouth College. Dans une nouvelle étude, ils ont montré que COMPAS n'est pas meilleur pour prédire le risque de récidive d'un individu que des volontaires aléatoires …

Les programmes sont-ils meilleurs que les gens pour prédire la récidive ?
economist.com · 2018
Traduit par IA

EN AMÉRIQUE, les ordinateurs sont utilisés depuis de nombreuses années pour faciliter les décisions de mise en liberté sous caution et de condamnation. Leurs partisans soutiennent que la logique rigoureuse d'un algorithme, formé avec une gr…

L'exactitude, l'équité et les limites de la prédiction de la récidive
science.org · 2018
Traduit par IA

Les algorithmes de prédiction de la récidive sont couramment utilisés pour évaluer la probabilité qu'un accusé criminel commette un crime. Ces prédictions sont utilisées dans les décisions de mise en état, de libération conditionnelle et de…

Un logiciel "pas plus précis que des humains non formés" pour juger du risque de récidive
theguardian.com · 2018
Traduit par IA

Selon des experts, le programme utilisé pour évaluer plus d'un million d'accusés aux États-Unis n'est peut-être pas suffisamment précis pour prendre des décisions susceptibles de changer leur vie

La crédibilité d'un programme informatique u…

Les algorithmes de mise en liberté sous caution sont aussi précis que des personnes aléatoires faisant un sondage en ligne
motherboard.vice.com · 2018
Traduit par IA

Les algorithmes qui évaluent la probabilité de récidive dans le cadre du processus de mise en liberté sous caution dans les affaires pénales sont, pour être franc, vraiment effrayants.

Nous ne savons pas grand-chose sur leur fonctionnement …

Les logiciels judiciaires ne sont peut-être pas plus précis que les enquêteurs en ligne pour prédire le risque criminel
sciencedaily.com · 2018
Traduit par IA

Selon une étude du Dartmouth College, un outil logiciel informatique largement utilisé n'est peut-être pas plus précis ou juste pour prédire le comportement criminel à répétition que les personnes sans expérience de la justice pénale.

L'ana…

Les algorithmes de prédiction de la criminalité peuvent ne pas s'en sortir beaucoup mieux que les humains non formés
wired.com · 2018
Traduit par IA

Le système de justice pénale américain ne pourrait pas être beaucoup moins juste. Dans tout le pays, quelque 1,5 million de personnes sont enfermées dans des prisons d'État et fédérales. Plus de 600 000 personnes, dont la grande majorité n'…

Un programme informatique commun prédit la récidive aussi mal que les humains
inverse.com · 2018
Traduit par IA

Tout comme un chef professionnel ou un chirurgien cardiaque, un algorithme d'apprentissage automatique est aussi bon que la formation qu'il reçoit. Et comme les algorithmes prennent de plus en plus les rênes et prennent des décisions pour l…

Les algorithmes ne sont pas meilleurs pour prédire les récidivistes que les humains inexpérimentés
futurism.com · 2018
Traduit par IA

Prédire la récidive

La récidive est la probabilité qu'une personne reconnue coupable d'un crime récidive. Actuellement, ce taux est déterminé par des algorithmes prédictifs. Le résultat peut affecter tout, des décisions de détermination de …

Une étude révèle que l'algorithme de prédiction de la criminalité n'est pas plus intelligent que les enquêteurs en ligne
gizmodo.com.au · 2018
Traduit par IA

Dans une étude publiée mercredi, deux chercheurs de Dartmouth ont découvert qu'un algorithme populaire d'évaluation des risques n'était pas meilleur pour prédire la probabilité de récidive d'un délinquant criminel qu'une enquête sur Interne…

L'algorithme de détermination de la peine criminelle n'est pas plus précis que des personnes aléatoires sur Internet
pbs.org · 2018
Traduit par IA

Recevez des e-mails sur les programmes NOVA à venir et le contenu connexe, ainsi que des reportages sur les événements actuels à travers une lentille scientifique. Adresse e-mail Code postal S'inscrire

Selon une étude récente, un algorithme…

Phrase en chiffres : la vérité effrayante derrière les algorithmes d'évaluation des risques
digitalethics.org · 2018
Traduit par IA

Bien que les taux de criminalité aient diminué régulièrement depuis les années 1990, les taux de récidive demeurent un facteur dans les domaines de la sécurité publique et de la gestion des détenus. L'Institut national de la justice définit…

Les préjugés raciaux peuvent-ils jamais être supprimés des algorithmes de justice pénale ?
psmag.com · 2018
Traduit par IA

(Photo : Joe Raedle/Getty Images)

Des dizaines de personnes se sont rassemblées dans une salle d'audience de Philadelphie le 6 juin pour exprimer leurs objections à un algorithme de justice pénale proposé. L'algorithme, développé par la Pen…

L'IA condamne des criminels et détermine les peines de prison, mais est-ce juste ?
weforum.org · 2018
Traduit par IA

Lorsque Netflix se trompe sur une recommandation de film, vous pensez probablement que ce n'est pas grave. De même, lorsque vos baskets préférées ne figurent pas dans la liste des produits recommandés d'Amazon, ce n'est probablement pas la …

Une étude révèle que l'algorithme n'est pas meilleur que des personnes aléatoires pour prédire la récidive
privacyinternational.org · 2019
Traduit par IA

Dans une étude de COMPAS, un outil algorithmique utilisé dans le système de justice pénale américain, les chercheurs du Dartmouth College, Julia Dressel et Hany Farid, ont découvert que l'algorithme ne faisait pas mieux que les volontaires …

Mémoire amicus dans New Jersey c. Pickett
upturn.org · 2020
Traduit par IA

DÉCLARATION PRÉLIMINAIRE ET DÉCLARATION D'INTÉRÊT Un examen indépendant et contradictoire des logiciels utilisés dans le système de justice pénale est nécessaire pour protéger les tribunaux contre les preuves non fiables et pour s'assurer q…

Intelligence artificielle, racisme algorithmique et système canadien de justice pénale
slaw.ca · 2020
Traduit par IA

L'évaluation du risque de récidive est le processus de détermination de la probabilité qu'une personne accusée, condamnée ou incarcérée récidive. Le processus vise à aider à déterminer la limitation appropriée de la liberté du sujet. Grâce …

Variantes

Une "Variante" est un incident qui partage les mêmes facteurs de causalité, produit des dommages similaires et implique les mêmes systèmes intelligents qu'un incident d'IA connu. Plutôt que d'indexer les variantes comme des incidents entièrement distincts, nous listons les variations d'incidents sous le premier incident similaire soumis à la base de données. Contrairement aux autres types de soumission à la base de données des incidents, les variantes ne sont pas tenues d'avoir des rapports en preuve externes à la base de données des incidents. En savoir plus sur le document de recherche.

Incidents similaires

Par similarité textuelle

Did our AI mess up? Flag the unrelated incidents

Northpointe Risk Models

Machine Bias - ProPublica

May 2016 · 15 rapports
Predictive Policing Biases of PredPol

Policing the Future

Nov 2015 · 17 rapports
Sexist and Racist Google Adsense Advertisements

Discrimination in Online Ad Delivery

Jan 2013 · 27 rapports
Incident précédentProchain incident

Incidents similaires

Par similarité textuelle

Did our AI mess up? Flag the unrelated incidents

Northpointe Risk Models

Machine Bias - ProPublica

May 2016 · 15 rapports
Predictive Policing Biases of PredPol

Policing the Future

Nov 2015 · 17 rapports
Sexist and Racist Google Adsense Advertisements

Discrimination in Online Ad Delivery

Jan 2013 · 27 rapports

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • ecd56df