Incidentes Asociados
En un estudio publicado el miércoles, un par de investigadores de Dartmouth descubrieron que un popular algoritmo de evaluación de riesgos no era mejor para predecir la probabilidad de reincidencia de un delincuente que una encuesta en Internet de humanos con poca o ninguna experiencia relevante.
Foto: AP
El estudio comparó los poderes de predicción de delitos de un algoritmo llamado COMPAS, ya utilizado por varios estados, con los de Mechanical Turk de Amazon, una especie de micro TaskRabbit donde se paga a las personas para completar pequeñas tareas. Usando una encuesta en línea, el investigador pidió a los "turcos" que predijeran la reincidencia basándose en algunos datos escasos sobre los delincuentes.
Teniendo en cuenta el sexo, la edad, el cargo por delito, el grado penal y las condenas anteriores en tribunales de menores, delitos graves y delitos menores de 50 infractores, cada uno de los 400 encuestados tuvo que evaluar su probabilidad de reincidencia. Los investigadores de Dartmouth tenían información sobre si los delincuentes en cuestión realmente reincidieron.
Al final, los autores del estudio descubrieron que el algoritmo de evaluación de riesgos no era más preciso que el de las personas sin experiencia en justicia penal. Desde cableado:
En general, los turcos predijeron la reincidencia con un 67 por ciento de precisión, en comparación con el 65 por ciento de Compas. Incluso sin tener acceso a la raza del acusado, también predijeron incorrectamente que los acusados negros reincidirían con más frecuencia de lo que predijeron incorrectamente que los acusados blancos reincidirían, lo que se conoce como tasa de falsos positivos. Eso indica que incluso cuando los datos raciales no están disponibles, ciertos puntos de datos, como el número de condenas, pueden convertirse en indicadores de la raza, un problema central para erradicar el sesgo en estos algoritmos.
El alto número de falsos positivos es revelador. Incluso sin conocer la raza de un acusado determinado, se creía erróneamente que los acusados negros eran más propensos a delinquir con mayor frecuencia. Si bien es muy poco ético incluir explícitamente la raza como un factor en la probabilidad de reincidencia, la raza, sin embargo, colorea cada punto de datos. La segregación racial, por ejemplo, afecta el lugar donde los delincuentes viven y van a la escuela.
Si una escuela está desatendida (al igual que varias escuelas en vecindarios minoritarios), eso afecta el nivel educativo de los estudiantes y, por lo tanto, sus ingresos y, en términos más generales, sus oportunidades en la vida. No hay una variable específica para la raza, pero afecta ampliamente cada factor que interviene en el cálculo de la reincidencia.
Ya sea usando humanos o máquinas, no hay una forma real de liberar a la raza de ninguno de los indicadores del crimen. El problema es cuando la realidad del sesgo se oculta detrás de una apariencia algorítmica de objetividad. No esperamos que máquinas supuestamente imparciales repitan los sesgos humanos y, como resultado, esos sesgos se vuelven invisibles.
"Detrás de toda la conversación sobre los algoritmos estaba la suposición de que la predicción algorítmica era intrínsecamente superior a la predicción humana", dijo a Wired Julia Dressel, coautora del artículo.
En un comunicado, la compañía que fabrica COMPAS afirmó que el estudio solo confirmó "el desempeño válido del modelo de riesgo COMPAS", escribiendo: "Los hallazgos de 'precisión predictiva virtualmente igual' en este estudio, en lugar de ser una crítica de la evaluación COMPAS , en realidad se suma a un número creciente de estudios independientes que han confirmado que COMPAS logra una buena previsibilidad y coincide con el estándar AUC cada vez más aceptado de 0,70 para herramientas de evaluación de riesgos bien diseñadas que se utilizan en la justicia penal".
Entonces, ¿qué se correlaciona realmente con la reincidencia? Es sorprendentemente simple: la edad y las condenas anteriores. Las personas mayores tenían menos probabilidades de volver a meterse en problemas; gente más joven, más.
[Cableado]