Incidentes Asociados
En todo el país, los jueces y los oficiales de libertad condicional utilizan cada vez más algoritmos para evaluar la probabilidad de que un acusado de un delito se convierta en reincidente, un término que se usa para describir a los delincuentes que reinciden. Hay docenas de estos algoritmos de evaluación de riesgos en uso. Muchos estados han creado sus propias evaluaciones y varios académicos tienen herramientas escritas. También hay dos herramientas líderes a nivel nacional ofrecidas por proveedores comerciales. Nos propusimos evaluar una de las herramientas comerciales creadas por Northpointe, Inc. para descubrir la precisión subyacente de su algoritmo de reincidencia y probar si el algoritmo estaba sesgado contra ciertos grupos. Nuestro análisis de la herramienta de Northpointe, llamada COMPAS (que significa Perfil de manejo de delincuentes correccionales para sanciones alternativas), encontró que los acusados negros tenían muchas más probabilidades que los blancos de ser juzgados incorrectamente por tener un mayor riesgo de reincidencia, mientras que los acusados blancos tenían más probable que los acusados negros sean marcados incorrectamente como de bajo riesgo. Observamos a más de 10,000 acusados de delitos en el condado de Broward, Florida, y comparamos sus tasas de reincidencia previstas con la tasa que realmente ocurrió durante un período de dos años. Cuando la mayoría de los acusados ingresan en la cárcel, responden a un cuestionario COMPAS. Sus respuestas se introducen en el software COMPAS para generar varios puntajes que incluyen predicciones de "Riesgo de reincidencia" y "Riesgo de reincidencia violenta". Comparamos las categorías de riesgo de reincidencia predichas por la herramienta COMPAS con las tasas reales de reincidencia de los acusados en los dos años posteriores a la calificación, y descubrimos que la puntuación predijo correctamente la reincidencia de un delincuente el 61 por ciento de las veces, pero solo fue correcta en sus predicciones. de reincidencia violenta el 20 por ciento de las veces. Al pronosticar quién volvería a delinquir, el algoritmo predijo correctamente la reincidencia para los acusados blancos y negros en aproximadamente la misma tasa (59 por ciento para los acusados blancos y 63 por ciento para los negros), pero cometió errores de maneras muy diferentes. Clasifica erróneamente a los acusados blancos y negros de manera diferente cuando se examina durante un período de seguimiento de dos años. Nuestro análisis encontró que: A menudo se predijo que los acusados negros tenían un mayor riesgo de reincidencia de lo que realmente tenían. Nuestro análisis encontró que los acusados negros que no reincidieron durante un período de dos años tenían casi el doble de probabilidades de ser clasificados erróneamente como de mayor riesgo en comparación con sus contrapartes blancos (45 por ciento frente a 23 por ciento). A menudo se predijo que los acusados blancos serían menos riesgosos de lo que eran. Nuestro análisis encontró que los acusados blancos que reincidieron en los próximos dos años fueron etiquetados erróneamente como de bajo riesgo con casi el doble de frecuencia que los negros reincidentes (48 por ciento frente a 28 por ciento). El análisis también mostró que incluso al controlar los delitos anteriores, la reincidencia futura, la edad y el género, los acusados negros tenían un 45 por ciento más de probabilidades de recibir puntuaciones de riesgo más altas que los acusados blancos. Los acusados negros también tenían el doble de probabilidades que los acusados blancos de ser clasificados erróneamente como de mayor riesgo de reincidencia violenta. Y los reincidentes violentos blancos tenían un 63 por ciento más de probabilidades de haber sido clasificados erróneamente como de bajo riesgo de reincidencia violenta, en comparación con los reincidentes violentos negros. El análisis de reincidencia violenta también mostró que incluso cuando se controlaban los delitos anteriores, la reincidencia futura, la edad y el género, los acusados negros tenían un 77 por ciento más de probabilidades de recibir puntuaciones de riesgo más altas que los acusados blancos. Trabajo anterior En 2013, los investigadores Sarah Desmarais y Jay Singh examinaron 19 metodologías diferentes de riesgo de reincidencia que se usaban en los Estados Unidos y descubrieron que “en la mayoría de los casos, la validez solo se había examinado en uno o dos estudios realizados en los Estados Unidos y, con frecuencia, esas investigaciones fueron completadas por las mismas personas que desarrollaron el instrumento”. Su análisis de la investigación publicada antes de marzo de 2013 encontró que las herramientas "eran moderadas en el mejor de los casos en términos de validez predictiva", dijo Desmarais en una entrevista. Y no pudo encontrar ningún conjunto sustancial de estudios realizados en los Estados Unidos que examinaran si las puntuaciones de riesgo tenían sesgos raciales. “Los datos no existen”, dijo. El examen más grande del sesgo racial en los algoritmos de evaluación de riesgos de EE. UU. desde entonces es un artículo de 2016 de Jennifer Skeem en la Universidad de California, Berkeley y Christopher T. Lowenkamp de la Oficina Administrativa de los Tribunales de EE. UU. Examinaron datos sobre 34,000 delincuentes federales para probar la validez predictiva de la herramienta de evaluación de riesgos posterior a la condena que fue desarrollada por los tribunales federales para ayudar a los oficiales de libertad condicional y libertad condicional a determinar el nivel de supervisión requerido para un recluso al ser liberado. Los autores encontraron que la puntuación de riesgo promedio para los delincuentes negros era más alta que para los delincuentes blancos, pero eso concluyó que las diferencias no se podían atribuir a un sesgo. Un estudio de 2013 analizó la validez predictiva entre varias razas para otro puntaje llamado Inventario de nivel de servicio, uno de los puntajes de riesgo comercial más populares de Multi-Health Systems. Ese estudio encontró que "las minorías étnicas tienen puntajes LS más altos que las no minorías". Los autores del estudio, que son canadienses, anotaron que las disparidades raciales se encontraron de manera más consistente en EE. UU. que en Canadá. “Una posibilidad puede ser que el sesgo sistemático dentro del sistema de justicia pueda distorsionar la medición de la reincidencia ‘verdadera’”, escribieron. Un estudio más pequeño de 2006 de 532 residentes varones de un programa de liberación laboral también encontró "una tendencia hacia errores de clasificación para los afroamericanos" en el Inventario de Nivel de Servicio-Revisado. El estudio, realizado por Kevin Whiteacre del Programa de Servicios Correccionales del Ejército de Salvación, encontró que el 42,7 por ciento de los afroamericanos fueron clasificados incorrectamente como de alto riesgo, en comparación con el 27,7 por ciento de los caucásicos y el 25 por ciento de los hispanos. Ese estudio instó a los establecimientos penitenciarios a investigar el uso que hacen de los puntajes de forma independiente utilizando un enfoque de tabla de contingencia simple que seguiremos más adelante en este estudio. A medida que los puntajes de riesgo se adentran más en la corriente principal del sistema de justicia penal, los formuladores de políticas han solicitado más estudios para determinar si los puntajes están sesgados. Cuando era fiscal general de los EE. UU., Eric Holder le pidió a la Comisión de Sentencias de los EE. UU. que estudiara posibles sesgos en las pruebas utilizadas en la sentencia. “Aunque estas medidas se diseñaron con las mejores intenciones, me preocupa que, sin darse cuenta, socaven nuestros esfuerzos para garantizar una justicia individualizada e igualitaria”, dijo, y agregó, “pueden exacerbar las disparidades injustificadas e injustificadas que ya son demasiado comunes en nuestro país”. sistema de justicia penal y en nuestra sociedad”. La comisión de sentencias dice que actualmente no está realizando un análisis de sesgo en las evaluaciones de riesgo. Entonces ProPublica hizo su propio análisis. Cómo adquirimos los datos Elegimos examinar el algoritmo COMPAS porque es uno de los puntajes más populares que se usan en todo el país y se usa cada vez más en la etapa previa al juicio y en la sentencia, el llamado "front-end" del sistema de justicia penal. Elegimos el condado de Broward porque es una jurisdicción grande que usa la herramienta COMPAS en las decisiones de liberación previa al juicio y Florida tiene leyes sólidas de apertura de registros. A través de una solicitud de registros públicos, ProPublica obtuvo dos años de puntajes COMPAS de la Oficina del Sheriff del Condado de Broward en Florida. Recibimos datos de las 18,610 personas que recibieron puntajes en 2013 y 2014. Debido a que el condado de Broward usa principalmente el puntaje para determinar si liberar o detener a un acusado antes de su juicio, descartamos los puntajes que se evaluaron en libertad condicional, libertad condicional u otras etapas. en el sistema de justicia penal. Eso nos dejó con 11,757 personas que fueron evaluadas en la etapa previa al juicio. Cada acusado previo al juicio recibió al menos tres puntajes COMPAS: "Riesgo de reincidencia", "Riesgo de violencia" y "Riesgo de no comparecer". Los puntajes COMPAS para cada acusado oscilaron entre 1 y 10, siendo diez el riesgo más alto. Las puntuaciones del 1 al 4 fueron etiquetadas por COMPAS como “Bajas”; 5 a 7 fueron etiquetados como "Medio"; y de 8 a 10 fueron etiquetados como "Alto". A partir de la base de datos de puntajes COMPAS, construimos un perfil de los antecedentes penales de cada persona, tanto antes como después de que se les calificara. Recopilamos antecedentes penales públicos del sitio web de la Oficina del Secretario del Condado de Broward hasta el 1 de abril de 2016. En promedio, los acusados en nuestro conjunto de datos no fueron encarcelados durante 622,87 días (sd: 329,19). Comparamos los antecedentes penales con los registros COMPAS utilizando el nombre y apellido de una persona y la fecha de nacimiento. Esta es la misma técnica utilizada en el estudio de validación COMPAS del condado de Broward realizado por investigadores de la Universidad Estatal de Florida en 2010. Descargamos alrededor de 80,000 antecedentes penales del sitio web de la oficina del secretario del condado de Broward. Para determinar la raza, usamos las clasificaciones raciales utilizadas por la Oficina del Sheriff del Condado de Broward, que identifica a los acusados como negros, blancos, hispanos, asiáticos y nativos americanos. En 343 casos, la raza se marcó como Otra. También compilamos el registro de encarcelamiento de cada persona. Recibimos registros penitenciarios de la Oficina del Sheriff del condado de Broward desde enero de 2013 hasta abril de 2016, y descargamos registros de encarcelamiento público del sitio web del Departamento Correccional de Florida. Descubrimos que, a veces, los nombres o las fechas de nacimiento de las personas se ingresaban incorrectamente en algunos registros, lo que generaba coincidencias incorrectas entre el puntaje COMPAS de una persona y sus antecedentes penales. Intentamos determinar cuántos registros se vieron afectados. En una muestra aleatoria de 400 casos, encontramos una tasa de error del 3,75 por ciento (IC: +/- 1,8 por ciento). Cómo definimos la reincidencia Definir la reincidencia fue clave para nuestro análisis. En un estudio de 2009 que examinó el poder predictivo de su puntaje COMPAS, Northpointe definió la reincidencia como "un arresto en el que se pueden tomar huellas dactilares que involucra un cargo y la presentación de cualquier código uniforme de informes de delitos (UCR)". Interpretamos que eso significaba un delito penal que resultó en una reserva en la cárcel y tuvo lugar después del delito por el cual la persona fue calificada por COMPAS. Sin embargo, no siempre estaba claro qué caso penal estaba asociado con el puntaje COMPAS de un individuo. Para hacer coincidir los puntajes de COMPAS con los casos que los acompañan, consideramos los casos con fechas de arresto o fechas de cargos dentro de los 30 días posteriores a la realización de una evaluación de COMPAS. En algunos casos, no pudimos encontrar ningún cargo correspondiente a los puntajes COMPAS. Eliminamos esos casos de nuestro análisis. A continuación, buscamos determinar si una persona había sido acusada de un nuevo delito posterior al delito por el cual fue examinado por COMPAS. No contamos las multas de tráfico y algunas infracciones de ordenanzas municipales como reincidencia. No contamos como reincidentes a las personas que fueron arrestadas por no presentarse a sus audiencias judiciales, ni a las personas que luego fueron acusadas de un delito que ocurrió antes de su evaluación COMPAS. Para reincidencia violenta, usamos la definición de crimen violento del FBI, una categoría que incluye asesinato, homicidio involuntario, violación forzada, robo y asalto agravado. Para la mayor parte de nuestro análisis, definimos la reincidencia como un nuevo arresto dentro de los dos años. Basamos esta decisión en la guía para profesionales de Northpointe, que dice que su puntaje de reincidencia está destinado a predecir "un nuevo delito menor o mayor dentro de los dos años posteriores a la fecha de administración de COMPAS". Además, un estudio reciente de las tasas de reincidencia de 25,000 presos federales realizado por la Comisión de Sentencias de EE. UU., que muestra que la mayoría de los reincidentes cometen un nuevo delito dentro de los primeros dos años después de la liberación (si es que van a cometer un delito). Análisis Analizamos las puntuaciones COMPAS para “Riesgo de reincidencia” y “Riesgo de reincidencia violenta”. No analizamos la puntuación COMPAS para el “Riesgo de no comparecer”. Comenzamos analizando la puntuación de riesgo de reincidencia. Nuestro análisis inicial analizó la distribución simple de las puntuaciones de los deciles COMPAS entre blancos y negros. Trazamos la distribución de estos puntajes para 6,172 acusados que no habían sido arrestados por un nuevo delito o que habían reincidido dentro de los dos años. Estos histogramas muestran que los puntajes de los acusados blancos estaban sesgados hacia las categorías de menor riesgo, mientras que los acusados negros se distribuyeron uniformemente entre los puntajes. En nuestra muestra de dos años, había 3175 acusados negros y 2103 acusados blancos, con 1175 acusadas mujeres y 4997 acusados hombres. Hubo 2.809 acusados que reincidieron dentro de dos años en esta muestra. Los histogramas del puntaje de riesgo violento de COMPAS también muestran una disparidad en la distribución del puntaje entre los acusados blancos y negros. La muestra que usamos para probar el puntaje de reincidencia violenta de COMPAS fue ligeramente más pequeño que el puntaje de reincidencia general: 4020 acusados, 1918 acusados negros y 1459 acusados blancos. Hubo 652 reincidentes violentos. Si bien existe una clara diferencia entre las distribuciones de los puntajes COMPAS para los acusados blancos y negros, simplemente observar las distribuciones no tiene en cuenta otros factores demográficos y de comportamiento. Para probar las disparidades raciales en el puntaje controlando otros factores, creamos un modelo de regresión logística que consideró la raza, la edad, los antecedentes penales, la reincidencia futura, el grado de acusación, el género y la edad. Riesgo de Reincidencia General Modelo Logístico Variable dependiente: Puntaje (Bajo vs Medio y Alto) Femenino 0.221*** (0.080) Edad: Mayor de 45 -1.356*** (0.099) Edad: Menor de 25 1.308*** (0.076) Negro 0,477*** (0,069) Asiático -0,254 (0,478) Hispano -0,428*** (0,128) Nativo americano 1,394* (0,766) Otro -0,826*** (0,162) Número de antecedentes 0,269*** (0,011) Delito menor -0,311*** (0,067) Dos años Reincidencia 0,686*** (0,064) Constante -1,526*** (0,079) Observaciones 6.172 Akaike Inf. crítico 6.192.402 Nota: p<0,1; p<0,05; p<0.01 Utilizamos esos factores para modelar las probabilidades de obtener una puntuación COMPAS más alta. De acuerdo con la guía para profesionales de Northpointe, COMPAS "las puntuaciones en el rango medio y alto atraen más interés de las agencias de supervisión que las puntuaciones bajas, ya que una puntuación baja sugeriría que hay poco riesgo de reincidencia general", por lo que consideramos las puntuaciones más altas que "bajas". para indicar un riesgo de reincidencia. Nuestro modelo logístico encontró que el factor más predictivo de una puntuación de riesgo más alta era la edad. Los acusados menores de 25 años tenían 2,5 veces más probabilidades de obtener una puntuación más alta que los delincuentes de mediana edad, incluso cuando se controlaban los delitos anteriores, la delincuencia futura, la raza y el género. La raza también fue bastante predictiva de una puntuación más alta. Si bien los acusados negros tenían tasas de reincidencia más altas en general, cuando se ajustaron por esta diferencia y otros factores, tenían un 45 por ciento más de probabilidades de obtener una puntuación más alta que los blancos. Sorprendentemente, dados sus niveles más bajos de criminalidad en general, las acusadas tenían un 19,4 por ciento más de probabilidades de obtener una puntuación más alta que los hombres, controlando los mismos factores. Riesgo de Reincidencia Violenta Modelo Logístico Variable dependiente: Puntaje (Bajo vs Medio y Alto) Femenino -0.729 (0.127) Edad: Mayor de 45 -1.742 (0.184) Edad: Menor de 25 3.146*** (0.115) ) Negro 0,659*** (0,108) Asiático -0,985 (0,705) Hispano -0,064 (0,191) Nativo americano 0,448 (1,035) Otro -0,205 (0,225) Número de antecedentes 0,138*** (0,012) Delito menor -0,164* (0,098) Reincidencia de dos años 0,934*** (0,115) Constante -2,243*** (0,113) Observaciones 4.020 Akaike Inf. crítico 3.022,779 Nota: p<0,1; p<0,05; p<0,01 El software COMPAS también tiene una puntuación de riesgo de reincidencia violenta. Analizamos a 4020 personas que fueron calificadas por reincidencia violenta durante un período de dos años (sin incluir el tiempo que pasaron en prisión). Ejecutamos un modelo de regresión similar para estas puntuaciones. La edad fue un predictor aún más fuerte de una puntuación más alta para la reincidencia violenta. Nuestra regresión mostró que los acusados jóvenes tenían 6,4 veces más probabilidades de obtener una puntuación más alta que los acusados de mediana edad, al corregir los antecedentes penales, el género, la raza y la futura reincidencia violenta. La raza también predijo una puntuación más alta para la reincidencia violenta. Los acusados afroamericanos tenían un 77,3 por ciento más de probabilidades que los acusados blancos de recibir una puntuación más alta, corrigiendo los antecedentes penales y la futura reincidencia violenta. Para probar la precisión predictiva general de COMPAS, ajustamos un modelo de riesgos proporcionales de Cox a los datos, la misma técnica que Northpointe usó en su propio estudio de validación. Un modelo de Cox nos permite comparar las tasas de reincidencia mientras controlamos el tiempo. Debido a que no controlamos otros factores, como la criminalidad del acusado, podemos incluir a más personas en este modelo de Cox. Para este análisis, el tamaño de nuestra muestra fue de 10 314 acusados (3 569 acusados blancos y 5 147 acusados negros). Riesgo de Reincidencia General Modelo Cox Riesgo Alto 1.250 (0.041) Riesgo Medio 0.796 (0.041) Observaciones 13,344 R2 0.068 Max. Posible R2 0,990 Prueba de Wald 954,820*** (df = 2) Prueba LR 942,824*** (df = 2) Puntuación (Logrank) Prueba 1.054,767*** (df = 2) Nota: p<0,1; p<0,05; p<0.01 Consideramos que las personas en nuestro conjunto de datos estaban "en riesgo" desde el día en que recibieron el puntaje COMPAS hasta el día en que cometieron una nueva infracción o el 1 de abril de 2016, lo que sucediera primero. Quitamos a las personas del grupo de riesgo mientras estaban encarceladas. La variable independiente en el modelo de Cox fue el puntaje de riesgo categórico COMPAS. El modelo de Cox mostró que las personas con puntuaciones altas tenían 3,5 veces más probabilidades de reincidir que las personas en la categoría baja (puntuaciones de 1 a 4). El estudio de Northpointe encontró que las personas con puntuaciones altas (puntuaciones de 8 a 10) tenían 5,6 veces más probabilidades de reincidir. Ambos resultados indican que la puntuación tiene valor predictivo. Un gráfico de supervivencia de Kaplan Meier también muestra una clara diferencia en las tasas de reincidencia entre cada nivel de puntuación COMPAS. En general, la regresión de Cox tuvo una puntuación de concordancia del 63,6 por ciento. Eso significa que para cualquier par de acusados seleccionados al azar en la muestra, el sistema COMPAS puede clasificar con precisión su riesgo de reincidencia el 63,6 por ciento de las veces (por ejemplo, si una persona del par reincide, ese par contará como una coincidencia exitosa si esa persona también tuvo una puntuación más alta). En su estudio, Northpointe informó una concordancia ligeramente superior: 68 por ciento. Ejecutar el modelo de Cox en las puntuaciones de riesgo subyacentes, clasificadas del 1 al 10, en lugar de los intervalos bajo, medio y alto, arrojó una concordancia ligeramente superior del 66,4 por ciento. Ambos resultados son más bajos que lo que Northpointe describe como un umbral de confiabilidad. “Una regla general, según varios artículos recientes, es que las AUC de 0,70 o más suelen indicar una precisión predictiva satisfactoria, y las medidas entre 0,60 y 0,70 sugieren una precisión predictiva de baja a moderada”, dice la empresa en su estudio. El puntaje COMPAS de reincidencia violenta tuvo una concordancia de 65.1 por ciento. El sistema COMPAS predice de manera desigual la reincidencia entre géneros. Según las estimaciones de Kaplan-Meier, las mujeres calificadas como de alto riesgo recidivaron a una tasa del 47,5 por ciento durante dos años después de recibir la calificación. Pero los hombres clasificados como de alto riesgo recidivaron a una tasa mucho más alta, 61.2 por ciento, durante el mismo período de tiempo. Esto significa que una mujer de alto riesgo tiene un riesgo mucho menor de reincidir que un hombre de alto riesgo, un hecho que puede ser pasado por alto por los funcionarios encargados de hacer cumplir la ley al interpretar el puntaje. Northpointe ofrece una prueba personalizada para mujeres, pero no se usa en el condado de Broward. La precisión predictiva del puntaje de reincidencia de COMPAS fue consistente entre razas en nuestro estudio: 62,5 por ciento para los acusados blancos frente a 62,3 por ciento para los acusados negros. Los autores del estudio de Northpointe encontraron una pequeña diferencia en los puntajes de concordancia por raza: 69 por ciento para los acusados blancos y 67 por ciento para los acusados negros. En todas las categorías de riesgo, los acusados negros reincidieron a tasas más altas. Riesgo de reincidencia general Modelo de Cox (con término de interacción) Negro 0,279 (0,061) Asiático -0,777 (0,502) Hispano -0,064 (0,097) Nativo americano -1,255 (1,001) Otro 0,014 (0,110) Puntaje alto 1,284 ( 0,084) Puntuación media 0,843*** (0,071) Negro:Alto -0,190* (.100, p: 0,0574) Asiático:Alto 1,316* (0,768) Hispano:Alto -0,119 (0,198) Nativo americano:Alto 1,956* (0,083) ) Otro: Alto 0.415 (0.259) Negro: Medio -0.173* (.091, p: 0.0578) Asiático: Medio 0.986 (0.711) Hispano: Medio 0.065 (0.164) Nativo americano: Medio 1.390 (1.120) Otro: Medio -0.334 ( 0,232) Observaciones 13.344 R2 0,072 Máx. Posible R2 0,990 Logaritmo de probabilidad -30.280,410 Prueba de Wald 988,830*** (df = 17) Prueba de LR 993,709*** (df = 17) Prueba de puntuación (Logrank) 1.104,894*** (df = 17) Nota: *p<0,1; **p<0,05; ***p<0.01 También agregamos un término de interacción carrera por puntaje al modelo de Cox. Este término nos permitió considerar si la diferencia en la reincidencia entre un puntaje alto y un puntaje bajo era diferente para los acusados negros y los acusados blancos. El coeficiente de puntuaciones altas para los acusados negros es casi estadísticamente significativo (0,0574). Los acusados blancos de alto riesgo tienen 3,61 veces más probabilidades de reincidir que los acusados blancos de bajo riesgo, mientras que los acusados negros de alto riesgo tienen solo 2,99 veces más probabilidades de reincidir que los acusados negros de bajo riesgo. Las proporciones de riesgo para los acusados de riesgo medio frente a los acusados de bajo riesgo también son diferentes según la raza: 2,32 para los acusados blancos y 1,95 para los acusados negros. Debido a la brecha en las proporciones de riesgo, podemos concluir que el puntaje se está desempeñando de manera diferente entre los subgrupos raciales. Realizamos un análisis similar en el puntaje de reincidencia violenta de COMPAS, sin embargo, no encontramos un resultado similar. Aquí, encontramos que el término de interacción entre raza y puntaje no fue significativo, lo que significa que no hay una diferencia significativa en los peligros de los acusados negros de alto y bajo riesgo y los acusados blancos de alto y bajo riesgo. En general, hay muchos menos reincidentes violentos que los reincidentes generales y no hay una diferencia clara en las tasas de peligro entre los niveles de puntuación para los reincidentes blancos y negros. Estos diagramas de Kaplan Meier muestran tasas muy bajas de reincidencia violenta. Finalmente, investigamos si ciertos tipos de errores (falsos positivos y falsos negativos) se distribuyeron de manera desigual entre las razas. Usamos tablas de contingencia para determinar esas tasas relativas siguiendo el análisis descrito en el documento de 2006 del Ejército de Salvación. Eliminamos a las personas de nuestro conjunto de datos para quienes teníamos menos de dos años de información de reincidencia. La población restante era de 7214, un poco más grande que la muestra en los modelos logísticos anteriores, porque no necesitamos la información del caso del acusado para este análisis. Al igual que en el análisis de regresión logística, marcamos las puntuaciones distintas de "bajo" como de mayor riesgo. Las siguientes tablas muestran cómo se desempeñó el puntaje de reincidencia de COMPAS: Todos los acusados Bajo Alto Sobrevivieron 2681 1282 Reincididos 1216 2035 Tasa FP: 32.35 Tasa FN: 37.40 PPV: 0.61 VPN: 0.69 LR+: 1.94 LR-: 0.55 Acusados negros Bajo Alto Sobrevivieron 990 805 Reincididos 532 1369 Tasa FP: 44.85 Tasa FN: 27.99 PPV: 0.63 VPN: 0.65 LR+: 1.61 LR-: 0.51 Acusados blancos Bajo Alto Sobreviviente 1139 349 Recidivados 461 505 Tasa FP: 23.45 Tasa FN: 47.72 PPV: 0.59 VAN+2: 3 LR-: 0,62 Estas tablas de contingencia revelan que es más probable que el algoritmo clasifique erróneamente a un acusado negro como de mayor riesgo que a un acusado blanco. Los acusados negros que no reinciden tenían casi el doble de probabilidades de ser clasificados por COMPAS como de mayor riesgo en comparación con sus homólogos blancos (45 por ciento frente a 23 por ciento). Sin embargo, los acusados negros que obtuvieron una puntuación más alta reincidieron con una frecuencia un poco mayor que los acusados blancos (63 por ciento frente a 59 por ciento). La prueba tendía a cometer el error opuesto con los blancos, lo que significa que era más probable que predijera erróneamente que los blancos no cometerían más delitos si los liberaban en comparación con los acusados negros. COMPAS subclasificó a los reincidentes blancos como de bajo riesgo con un 70,5 % más de frecuencia que a los reincidentes negros (48 % frente a 28 %). El índice de probabilidad para los acusados blancos fue ligeramente superior (2,23) que para los acusados negros (1,61). También probamos si restringir nuestra definición de alto riesgo para incluir solo el puntaje alto de COMPAS, en lugar de incluir puntajes medios y altos, cambió los resultados de nuestro análisis. En ese escenario, los acusados negros tenían tres veces más probabilidades que los acusados blancos de ser clasificados falsamente como de alto riesgo (16 por ciento frente a 5 por ciento). Encontramos resultados similares para la puntuación COMPAS de reincidencia violenta. Como antes, calculamos tablas de contingencia en función del desempeño de la puntuación: Todos los acusados Bajo Alto Sobrevivieron 4121 1597 Reincididos 347 389 Tasa FP: 27,93 Tasa FN: 47,15 PPV: 0,20 VPN: 0,92 LR+: 1,89 LR-: 0,65 Acusados negros Bajo Alto Sobrevivieron 1692 1043 Recidivados 170 273 Tasa FP: 38,14 Tasa FN: 38,37 PPV: 0,21 VAN: 0,91 LR+: 1,62 LR-: 0,62 Acusados blancos Bajo Alto Sobrevivientes 1679 380 Recidivados 129 77 Tasa FP: 18,46 Tasa FN: 62 : 0,7 VAN: 93 LR+: 2.03 LR-: 0.77 Los acusados negros tenían el doble de probabilidades que los blancos de ser clasificados erróneamente como de mayor riesgo de reincidencia violenta, y los reincidentes blancos fueron clasificados erróneamente como de bajo riesgo 63.2 por ciento más a menudo que los acusados negros. El mayor riesgo de reincidencia violenta reincidió a una tasa ligeramente más alta que los acusados blancos (21 por ciento frente a 17 por ciento), y el índice de probabilidad para los acusados blancos fue más alto, 2,03, que para los acusados negros, 1,62.