Problema 705

Predicción de la reincidencia

La reincidencia es la probabilidad de que una persona condenada por un delito vuelva a delinquir. Actualmente, esta tasa está determinada por algoritmos predictivos. El resultado puede afectar todo, desde las decisiones de sentencia hasta si una persona recibe o no la libertad condicional.

Para determinar qué tan precisos son estos algoritmos en la práctica, un equipo dirigido por los investigadores de Dartmouth College, Julia Dressel y Hany Farid, realizaron un estudio de un software comercial de evaluación de riesgos ampliamente utilizado conocido como Perfiles de gestión de delincuentes correccionales para sanciones alternativas (COMPAS). El software determina si una persona reincidirá o no dentro de los dos años siguientes a su condena.

El estudio reveló que COMPAS no es más preciso que un grupo de voluntarios sin experiencia en justicia penal para predecir las tasas de reincidencia. Dressel y Farid obtuvieron una lista de voluntarios de un sitio web y luego les asignaron al azar pequeñas listas de acusados. A los voluntarios se les dijo el sexo, la edad y los antecedentes penales previos de cada acusado y luego se les pidió que predijeran si volverían a delinquir en los próximos dos años.

La precisión de las predicciones del voluntario humano incluyó una media del 62,1 por ciento y una mediana del 64,0 por ciento, muy cerca de la precisión de COMPAS, que es del 65,2 por ciento.

Además, los investigadores descubrieron que, aunque COMPAS tiene 137 características, los predictores lineales con solo dos características (la edad del acusado y su número de condenas anteriores) funcionaron igual de bien para predecir las tasas de reincidencia.

El problema del sesgo

Un área de preocupación para el equipo era el potencial de sesgo algorítmico. En su estudio, tanto los voluntarios humanos como COMPAS exhibieron tasas similares de falsos positivos al predecir la reincidencia de los acusados negros, aunque no sabían la raza del acusado cuando hacían sus predicciones. La tasa de falsos positivos para los acusados negros fue del 37 por ciento, mientras que fue del 27 por ciento para los acusados blancos. Estas tasas eran bastante cercanas a las de COMPAS: 40 por ciento para los acusados negros y 25 por ciento para los acusados blancos.

En la discusión del artículo, el equipo señaló que “las diferencias en la tasa de arrestos de acusados blancos y negros complican la comparación directa de las tasas de falsos positivos y falsos negativos entre razas”. Esto está respaldado por datos de NAACP que, por ejemplo, han encontrado que “los afroamericanos y los blancos usan drogas a tasas similares, pero la tasa de encarcelamiento de los afroamericanos por cargos de drogas es casi 6 veces mayor que la de los blancos”.

Los autores señalaron que, aunque la raza de una persona no se indicó explícitamente, ciertos aspectos de los datos podrían correlacionarse potencialmente con la raza, lo que generaría disparidades en los resultados. De hecho, cuando el equipo repitió el estudio con nuevos participantes y proporcionó datos raciales, los resultados fueron casi los mismos. El equipo concluyó que "la exclusión de la raza no conduce necesariamente a la eliminación de las disparidades raciales en la predicción de la reincidencia humana".

Resultados repetidos

COMPAS se ha utilizado para evaluar a más de 1 millón de personas desde que se desarrolló en 1998 (aunque su componente de predicción de reincidencia no se incluyó hasta 2000). Con ese contexto en mente, los hallazgos del estudio, que un grupo de voluntarios no capacitados con poca o ninguna experiencia en justicia penal se desempeñaron a la par con el algoritmo, fueron alarmantes.

La conclusión obvia sería que el algoritmo predictivo simplemente no es lo suficientemente sofisticado y hace mucho tiempo que debería actualizarse. Sin embargo, cuando el equipo estuvo listo para validar sus hallazgos, entrenaron una máquina de vectores de soporte no lineal (NL-SVM) más poderosa con los mismos datos. Cuando produjo resultados muy similares, el equipo se enfrentó a una reacción violenta, ya que se asumió que habían entrenado el nuevo algoritmo demasiado cerca de los datos.

Dressel y Farid dijeron que entrenaron específicamente el algoritmo en el 80 por ciento de los datos, luego realizaron sus pruebas en el 20 por ciento restante para evitar el llamado "sobreajuste", cuando la precisión de un algoritmo se ve afectada porque se ha familiarizado demasiado con los datos.

Algoritmos predictivos

Los investigadores concluyeron que quizás los datos en cuestión no se pueden separar linealmente, lo que podría significar que los algoritmos predictivos, sin importar cuán sofisticados sean, simplemente no son un método efectivo para predecir la reincidencia. Teniendo en cuenta que el futuro de los acusados está en juego, el equipo de Dartmouth afirmó que el uso de dichos algoritmos para tomar estas determinaciones debe considerarse cuidadosamente.

Como afirmaron en la discusión del estudio, los resultados de su estudio muestran que confiar en un algoritmo para esa evaluación no es diferente a poner la decisión “en manos de personas al azar que responden a una encuesta en línea porque, al final, el los resultados de estos dos enfoques parecen ser indistinguibles”.

"Imagínese que es un juez y tiene un software comercial que dice que tenemos grandes datos, y dice que esta persona es de alto riesgo", dijo Farid a Wired, "Ahora imagine que le digo que le pregunté a 10 personas en línea lo mismo pregunta, y esto es lo que dijeron. Sopesarías esas cosas de manera diferente.

Los algoritmos predictivos no solo se utilizan en el sistema de justicia penal. De hecho, los encontramos todos los días: desde productos que se nos anuncian en línea hasta recomendaciones de música en servicios de transmisión. Pero un anuncio que aparece en nuestro suministro de noticias tiene muchas menos consecuencias que la decisión de condenar a alguien por un delito.