Registro de citas para el Incidente 11

Description: An algorithm developed by Northpointe and used in the penal system is two times more likely to incorrectly label a black person as a high-risk re-offender and is two times more likely to incorrectly label a white person as low-risk for reoffense according to a ProPublica review.

Herramientas

Nuevo InformeNuevo InformeNueva RespuestaNueva RespuestaDescubrirDescubrirVer HistorialVer Historial
Presunto: un sistema de IA desarrollado e implementado por Northpointe, perjudicó a Accused People.

Estadísticas de incidentes

ID
11
Cantidad de informes
15
Fecha del Incidente
2016-05-23
Editores
Sean McGregor

Clasificaciones de la Taxonomía CSETv0

Detalles de la Taxonomía

Full Description

An algorithm developed by Northpointe and used in the penal system is shown to be inaccurate and produces racially-skewed results according to a review by ProPublica. The review shows how the 137-question survey given following an arrest is inaccurate and skewed against people of color. While there is not question regarding race in the survey, the algorithm is two times more likely to incorrectly label a black person as a high-risk re-offender (False Positive) and is also two times more likely to incorrectly label a white person as low-risk for reoffense (False Negative) than actual statistics support. Overall, the algorithm is 61% effective at predicting reoffense. This system is used in Broward County, Florida to help judges make decisions surrounding pre-trial release and sentencing post-trial.

Short Description

An algorithm developed by Northpointe and used in the penal system is two times more likely to incorrectly label a black person as a high-risk re-offender and is two times more likely to incorrectly label a white person as low-risk for reoffense according to a ProPublica review.

Severity

Unclear/unknown

Harm Distribution Basis

Race

Harm Type

Harm to civil liberties, Other:Reputational harm; False incarceration

AI System Description

An algorithm, developed by Northpointe designed to assign a risk score associated with a person's likelihood of reoffending after their original arrest.

System Developer

Northpointe

Sector of Deployment

Public administration and defence

Relevant AI functions

Perception, Cognition

AI Techniques

law enforcement algorithm, crime prediction algorithm

AI Applications

risk assesment, crime projection

Location

Broward County, Florida

Named Entities

ProPublica, Northpointe, COMPAS, Broward County, FL

Technology Purveyor

Northpointe

Beginning Date

2016-01-01T00:00:00.000Z

Ending Date

2019-01-01T00:00:00.000Z

Near Miss

Harm caused

Intent

Accident

Lives Lost

No

Infrastructure Sectors

Government facilities

Data Inputs

137-question survey

Clasificaciones de la Taxonomía CSETv1

Detalles de la Taxonomía

Harm Distribution Basis

race

Sector of Deployment

law enforcement, public administration

privacyinternational.org · 2016

Los programas informáticos que realizan evaluaciones de riesgo de los sospechosos de delitos son cada vez más comunes en los tribunales estadounidenses y se utilizan en todas las etapas de los sistemas de justicia penal para determinar quié…

Cómo analizamos el algoritmo de reincidencia COMPAS
propublica.org · 2016

En todo el país, los jueces y los oficiales de libertad condicional utilizan cada vez más algoritmos para evaluar la probabilidad de que un acusado de un delito se convierta en reincidente, un término que se usa para describir a los delincu…

Tribunales de EE. UU. utilizan algoritmos plagados de racismo para dictar sentencias
mic.com · 2016

Durante años, la comunidad de justicia penal ha estado preocupada. Los tribunales de todo el país están asignando montos de fianza para sentenciar a los acusados en función de algoritmos, y tanto los abogados como los científicos de datos a…

Sesgo de máquina - ProPublica
propublica.org · 2016

En una tarde de primavera de 2014, Brisha Borden llegaba tarde para recoger a su hermanastra de la escuela cuando vio una bicicleta Huffy azul para niños sin llave y un scooter Razor plateado. Borden y un amigo tomaron la bicicleta y el sco…

La discriminación oculta en los puntajes de evaluación de riesgos penales
npr.org · 2016

La discriminación oculta en los puntajes de evaluación de riesgos penales

Los tribunales de todo el país utilizan cada vez más el "puntaje de evaluación de riesgo" del acusado para ayudar a tomar decisiones sobre la fianza, la libertad cond…

Incluso los algoritmos están sesgados contra los hombres negros
theguardian.com · 2016

Una de mis posesiones más preciadas es El arte de la programación informática de Donald Knuth, un científico informático para quien se podría haber acuñado la palabra "legendario". En cierto modo, uno podría pensar en su magnum opus como un…

¿Son racistas las puntuaciones de evaluación de riesgos penales?
brookings.edu · 2016

Imagine que lo declararon culpable de un delito y estaba esperando conocer su sentencia. ¿Preferiría que su sentencia sea determinada por un algoritmo informático, que sopesa desapasionadamente los factores que predicen su riesgo futuro de …

Un nuevo programa juzga si eres un delincuente a partir de tus rasgos faciales
vice.com · 2016

Al igual que una versión más torcida de la prueba Voight-Kampff de Blade Runner, un nuevo artículo de aprendizaje automático de un par de investigadores chinos ha profundizado en la controvertida tarea de dejar que una computadora decida so…

ProPublica se equivoca al cargar el sesgo racial en un algoritmo
acsh.org · 2018

Predecir el futuro no es solo la procedencia de los adivinos o los expertos de los medios. Los algoritmos predictivos, basados en amplios conjuntos de datos y estadísticas, han superado las operaciones mayoristas y minoristas, como sabe cua…

Un algoritmo popular no es mejor para predecir crímenes que personas aleatorias
theatlantic.com · 2018

De hecho, se justifica la precaución, según Julia Dressel y Hany Farid de Dartmouth College. En un nuevo estudio, demostraron que COMPAS no es mejor para predecir el riesgo de reincidencia de un individuo que los voluntarios reclutados al a…

Injusticia algorítmica
thenewatlantis.com · 2018

No culpe al algoritmo: mientras existan disparidades raciales en el sistema de justicia, el software de sentencia nunca podrá ser completamente justo.

Durante generaciones, el pueblo maasai del este de África ha transmitido la historia de u…

digitalethics.org · 2018

Aunque las tasas de criminalidad han disminuido constantemente desde la década de 1990, las tasas de reincidencia siguen siendo un factor tanto en las áreas de seguridad pública como en el manejo de prisioneros. El Instituto Nacional de Jus…

La ciudad de Nueva York se enfrenta a la discriminación algorítmica
aclu.org · 2018

Los algoritmos invisibles moldean cada vez más el mundo en el que vivimos, y no siempre para mejor. Desafortunadamente, existen pocos mecanismos para garantizar que no causen más daño que bien.

Eso finalmente podría estar cambiando: un prim…

Sí, la inteligencia artificial puede ser racista
vox.com · 2019

Abre la aplicación de fotos en tu teléfono y busca "perro", y aparecerán todas las fotos que tengas de perros. Esta no fue una hazaña fácil. Su teléfono sabe cómo se ve un perro.

Esta maravilla moderna es el resultado del aprendizaje automá…

¿Puedes hacer que la IA sea más justa que un juez? Juega nuestro juego de algoritmos judiciales
technologyreview.com · 2019

De niño, desarrollas un sentido de lo que significa “justicia”. Es un concepto que aprendes desde el principio a medida que aceptas el mundo que te rodea. Algo se siente justo o no.

Pero cada vez más, los algoritmos han comenzado a arbitrar…

Variantes

Una "Variante" es un incidente que comparte los mismos factores causales, produce daños similares e involucra los mismos sistemas inteligentes que un incidente de IA conocido. En lugar de indexar las variantes como incidentes completamente separados, enumeramos las variaciones de los incidentes bajo el primer incidente similar enviado a la base de datos. A diferencia de otros tipos de envío a la base de datos de incidentes, no se requiere que las variantes tengan informes como evidencia externa a la base de datos de incidentes. Obtenga más información del trabajo de investigación.

Incidentes Similares

Por similitud de texto

Did our AI mess up? Flag the unrelated incidents