Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Incidente 11: Northpointe Risk Models

Descripción: An algorithm developed by Northpointe and used in the penal system is two times more likely to incorrectly label a black person as a high-risk re-offender and is two times more likely to incorrectly label a white person as low-risk for reoffense according to a ProPublica review.

Herramientas

Nuevo InformeNuevo InformeNueva RespuestaNueva RespuestaDescubrirDescubrirVer HistorialVer Historial

Entidades

Ver todas las entidades
Presunto: un sistema de IA desarrollado e implementado por Northpointe, perjudicó a Accused People.

Estadísticas de incidentes

ID
11
Cantidad de informes
15
Fecha del Incidente
2016-05-23
Editores
Sean McGregor
Applied Taxonomies
CSETv0, CSETv1, GMF, MIT

Clasificaciones de la Taxonomía CSETv0

Detalles de la Taxonomía

Problem Nature

Indicates which, if any, of the following types of AI failure describe the incident: "Specification," i.e. the system's behavior did not align with the true intentions of its designer, operator, etc; "Robustness," i.e. the system operated unsafely because of features or changes in its environment, or in the inputs the system received; "Assurance," i.e. the system could not be adequately monitored or controlled during operation.
 

Unknown/unclear

Physical System

Where relevant, indicates whether the AI system(s) was embedded into or tightly associated with specific types of hardware.
 

Software only

Level of Autonomy

The degree to which the AI system(s) functions independently from human intervention. "High" means there is no human involved in the system action execution; "Medium" means the system generates a decision and a human oversees the resulting action; "low" means the system generates decision-support output and a human makes a decision and executes an action.
 

Medium

Nature of End User

"Expert" if users with special training or technical expertise were the ones meant to benefit from the AI system(s)’ operation; "Amateur" if the AI systems were primarily meant to benefit the general public or untrained users.
 

Expert

Public Sector Deployment

"Yes" if the AI system(s) involved in the accident were being used by the public sector or for the administration of public goods (for example, public transportation). "No" if the system(s) were being used in the private sector or for commercial purposes (for example, a ride-sharing company), on the other.
 

Yes

Data Inputs

A brief description of the data that the AI system(s) used or were trained on.
 

137-question survey

Clasificaciones de la Taxonomía CSETv1

Detalles de la Taxonomía

Incident Number

The number of the incident in the AI Incident Database.
 

11

Clasificaciones de la Taxonomía MIT

Machine-Classified
Detalles de la Taxonomía

Risk Subdomain

A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
 

1.1. Unfair discrimination and misrepresentation

Risk Domain

The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
 
  1. Discrimination and Toxicity

Entity

Which, if any, entity is presented as the main cause of the risk
 

AI

Timing

The stage in the AI lifecycle at which the risk is presented as occurring
 

Post-deployment

Intent

Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
 

Unintentional

Informes del Incidente

Cronología de Informes

+5
El análisis de ProPublica encuentra sesgo en el sistema de puntuación de riesgo de justicia penal COMPAS
Incluso los algoritmos están sesgados contra los hombres negros¿Son racistas las puntuaciones de evaluación de riesgos penales?Un nuevo programa juzga si eres un delincuente a partir de tus rasgos faciales+1
ProPublica se equivoca al cargar el sesgo racial en un algoritmo
Injusticia algorítmicaSentencia por números: la aterradora verdad detrás de los algoritmos de evaluación de riesgosLa ciudad de Nueva York se enfrenta a la discriminación algorítmicaSí, la inteligencia artificial puede ser racista¿Puedes hacer que la IA sea más justa que un juez? Juega nuestro juego de algoritmos judiciales
El análisis de ProPublica encuentra sesgo en el sistema de puntuación de riesgo de justicia penal COMPAS

El análisis de ProPublica encuentra sesgo en el sistema de puntuación de riesgo de justicia penal COMPAS

privacyinternational.org

Cómo analizamos el algoritmo de reincidencia COMPAS

Cómo analizamos el algoritmo de reincidencia COMPAS

propublica.org

Tribunales de EE. UU. utilizan algoritmos plagados de racismo para dictar sentencias

Tribunales de EE. UU. utilizan algoritmos plagados de racismo para dictar sentencias

mic.com

Sesgo de máquina - ProPublica

Sesgo de máquina - ProPublica

propublica.org

La discriminación oculta en los puntajes de evaluación de riesgos penales

La discriminación oculta en los puntajes de evaluación de riesgos penales

npr.org

Incluso los algoritmos están sesgados contra los hombres negros

Incluso los algoritmos están sesgados contra los hombres negros

theguardian.com

¿Son racistas las puntuaciones de evaluación de riesgos penales?

¿Son racistas las puntuaciones de evaluación de riesgos penales?

brookings.edu

Un nuevo programa juzga si eres un delincuente a partir de tus rasgos faciales

Un nuevo programa juzga si eres un delincuente a partir de tus rasgos faciales

vice.com

ProPublica se equivoca al cargar el sesgo racial en un algoritmo

ProPublica se equivoca al cargar el sesgo racial en un algoritmo

acsh.org

Un algoritmo popular no es mejor para predecir crímenes que personas aleatorias

Un algoritmo popular no es mejor para predecir crímenes que personas aleatorias

theatlantic.com

Injusticia algorítmica

Injusticia algorítmica

thenewatlantis.com

Sentencia por números: la aterradora verdad detrás de los algoritmos de evaluación de riesgos

Sentencia por números: la aterradora verdad detrás de los algoritmos de evaluación de riesgos

digitalethics.org

La ciudad de Nueva York se enfrenta a la discriminación algorítmica

La ciudad de Nueva York se enfrenta a la discriminación algorítmica

aclu.org

Sí, la inteligencia artificial puede ser racista

Sí, la inteligencia artificial puede ser racista

vox.com

¿Puedes hacer que la IA sea más justa que un juez? Juega nuestro juego de algoritmos judiciales

¿Puedes hacer que la IA sea más justa que un juez? Juega nuestro juego de algoritmos judiciales

technologyreview.com

El análisis de ProPublica encuentra sesgo en el sistema de puntuación de riesgo de justicia penal COMPAS
privacyinternational.org · 2016
Traducido por IA

Los programas informáticos que realizan evaluaciones de riesgo de los sospechosos de delitos son cada vez más comunes en los tribunales estadounidenses y se utilizan en todas las etapas de los sistemas de justicia penal para determinar quié…

Cómo analizamos el algoritmo de reincidencia COMPAS
propublica.org · 2016
Traducido por IA

En todo el país, los jueces y los oficiales de libertad condicional utilizan cada vez más algoritmos para evaluar la probabilidad de que un acusado de un delito se convierta en reincidente, un término que se usa para describir a los delincu…

Tribunales de EE. UU. utilizan algoritmos plagados de racismo para dictar sentencias
mic.com · 2016
Traducido por IA

Durante años, la comunidad de justicia penal ha estado preocupada. Los tribunales de todo el país están asignando montos de fianza para sentenciar a los acusados en función de algoritmos, y tanto los abogados como los científicos de datos a…

Sesgo de máquina - ProPublica
propublica.org · 2016
Traducido por IA

En una tarde de primavera de 2014, Brisha Borden llegaba tarde para recoger a su hermanastra de la escuela cuando vio una bicicleta Huffy azul para niños sin llave y un scooter Razor plateado. Borden y un amigo tomaron la bicicleta y el sco…

La discriminación oculta en los puntajes de evaluación de riesgos penales
npr.org · 2016
Traducido por IA

La discriminación oculta en los puntajes de evaluación de riesgos penales

Los tribunales de todo el país utilizan cada vez más el "puntaje de evaluación de riesgo" del acusado para ayudar a tomar decisiones sobre la fianza, la libertad cond…

Incluso los algoritmos están sesgados contra los hombres negros
theguardian.com · 2016
Traducido por IA

Una de mis posesiones más preciadas es El arte de la programación informática de Donald Knuth, un científico informático para quien se podría haber acuñado la palabra "legendario". En cierto modo, uno podría pensar en su magnum opus como un…

¿Son racistas las puntuaciones de evaluación de riesgos penales?
brookings.edu · 2016
Traducido por IA

Imagine que lo declararon culpable de un delito y estaba esperando conocer su sentencia. ¿Preferiría que su sentencia sea determinada por un algoritmo informático, que sopesa desapasionadamente los factores que predicen su riesgo futuro de …

Un nuevo programa juzga si eres un delincuente a partir de tus rasgos faciales
vice.com · 2016
Traducido por IA

Al igual que una versión más torcida de la prueba Voight-Kampff de Blade Runner, un nuevo artículo de aprendizaje automático de un par de investigadores chinos ha profundizado en la controvertida tarea de dejar que una computadora decida so…

ProPublica se equivoca al cargar el sesgo racial en un algoritmo
acsh.org · 2018
Traducido por IA

Predecir el futuro no es solo la procedencia de los adivinos o los expertos de los medios. Los algoritmos predictivos, basados en amplios conjuntos de datos y estadísticas, han superado las operaciones mayoristas y minoristas, como sabe cua…

Un algoritmo popular no es mejor para predecir crímenes que personas aleatorias
theatlantic.com · 2018
Traducido por IA

De hecho, se justifica la precaución, según Julia Dressel y Hany Farid de Dartmouth College. En un nuevo estudio, demostraron que COMPAS no es mejor para predecir el riesgo de reincidencia de un individuo que los voluntarios reclutados al a…

Injusticia algorítmica
thenewatlantis.com · 2018
Traducido por IA

No culpe al algoritmo: mientras existan disparidades raciales en el sistema de justicia, el software de sentencia nunca podrá ser completamente justo.

Durante generaciones, el pueblo maasai del este de África ha transmitido la historia de u…

Sentencia por números: la aterradora verdad detrás de los algoritmos de evaluación de riesgos
digitalethics.org · 2018
Traducido por IA

Aunque las tasas de criminalidad han disminuido constantemente desde la década de 1990, las tasas de reincidencia siguen siendo un factor tanto en las áreas de seguridad pública como en el manejo de prisioneros. El Instituto Nacional de Jus…

La ciudad de Nueva York se enfrenta a la discriminación algorítmica
aclu.org · 2018
Traducido por IA

Los algoritmos invisibles moldean cada vez más el mundo en el que vivimos, y no siempre para mejor. Desafortunadamente, existen pocos mecanismos para garantizar que no causen más daño que bien.

Eso finalmente podría estar cambiando: un prim…

Sí, la inteligencia artificial puede ser racista
vox.com · 2019
Traducido por IA

Abre la aplicación de fotos en tu teléfono y busca "perro", y aparecerán todas las fotos que tengas de perros. Esta no fue una hazaña fácil. Su teléfono sabe cómo se ve un perro.

Esta maravilla moderna es el resultado del aprendizaje automá…

¿Puedes hacer que la IA sea más justa que un juez? Juega nuestro juego de algoritmos judiciales
technologyreview.com · 2019
Traducido por IA

De niño, desarrollas un sentido de lo que significa “justicia”. Es un concepto que aprendes desde el principio a medida que aceptas el mundo que te rodea. Algo se siente justo o no.

Pero cada vez más, los algoritmos han comenzado a arbitrar…

Variantes

Una "Variante" es un incidente que comparte los mismos factores causales, produce daños similares e involucra los mismos sistemas inteligentes que un incidente de IA conocido. En lugar de indexar las variantes como incidentes completamente separados, enumeramos las variaciones de los incidentes bajo el primer incidente similar enviado a la base de datos. A diferencia de otros tipos de envío a la base de datos de incidentes, no se requiere que las variantes tengan informes como evidencia externa a la base de datos de incidentes. Obtenga más información del trabajo de investigación.

Incidentes Similares

Por similitud de texto

Did our AI mess up? Flag the unrelated incidents

COMPAS Algorithm Performs Poorly in Crime Recidivism Prediction

A Popular Algorithm Is No Better at Predicting Crimes Than Random People

May 2016 · 22 informes
Predictive Policing Biases of PredPol

Policing the Future

Nov 2015 · 17 informes
AI Beauty Judge Did Not Like Dark Skin

A beauty contest was judged by AI and the robots didn't like dark skin

Sep 2016 · 10 informes
Incidente AnteriorSiguiente Incidente

Incidentes Similares

Por similitud de texto

Did our AI mess up? Flag the unrelated incidents

COMPAS Algorithm Performs Poorly in Crime Recidivism Prediction

A Popular Algorithm Is No Better at Predicting Crimes Than Random People

May 2016 · 22 informes
Predictive Policing Biases of PredPol

Policing the Future

Nov 2015 · 17 informes
AI Beauty Judge Did Not Like Dark Skin

A beauty contest was judged by AI and the robots didn't like dark skin

Sep 2016 · 10 informes

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • ecd56df