Incidentes Asociados
El programa utilizado para evaluar a más de un millón de acusados en EE. UU. puede no ser lo suficientemente preciso para tomar decisiones que podrían cambiar la vida, dicen los expertos
La credibilidad de un programa de computadora utilizado para las decisiones de fianza y sentencia ha sido cuestionada después de que se descubrió que no era más preciso para predecir el riesgo de reincidencia que las personas sin experiencia en justicia penal a las que solo se proporciona la edad, el sexo y los antecedentes penales del acusado. .
El algoritmo, llamado Compas (perfil de gestión de delincuentes correccionales para sanciones alternativas), se utiliza en todo EE. UU. para sopesar si los acusados en espera de juicio o sentencia corren demasiado riesgo de reincidir como para ser puestos en libertad bajo fianza.
Desde que se desarrolló en 1998, se informa que la herramienta se ha utilizado para evaluar a más de un millón de acusados. Pero un nuevo artículo ha puesto en duda si las predicciones del software son lo suficientemente precisas para justificar su uso en decisiones que pueden cambiar la vida.
Los algoritmos que ya te están cambiando la vida Leer más
Hany Farid, coautor del artículo y profesor de ciencias de la computación en Dartmouth College en New Hampshire, dijo: "El costo de equivocarse es muy alto y en este punto hay una seria pregunta sobre si debería tener algún papel en estos decisiones.”
El análisis se produce cuando los tribunales y las fuerzas policiales a nivel internacional confían cada vez más en enfoques computarizados para predecir la probabilidad de que las personas vuelvan a delinquir e identificar posibles focos de delincuencia donde se deben concentrar los recursos policiales. En el Reino Unido, la fuerza policial de East Midlands está probando un software llamado Valcri, cuyo objetivo es generar ideas plausibles sobre cómo, cuándo y por qué se cometió un delito, así como quién lo cometió, y la policía de Kent ha estado utilizando un software predictivo de mapeo de delitos llamado PredPol desde 2013. .
La tendencia ha suscitado preocupaciones sobre si tales herramientas podrían introducir nuevas formas de sesgo en el sistema de justicia penal, así como preguntas sobre la regulación de los algoritmos para garantizar que las decisiones a las que lleguen sean justas y transparentes.
El último análisis se centra en la cuestión más básica de la precisión.
Farid, con su colega Julia Dressel, compararon la capacidad del software, que combina 137 medidas para cada individuo, con la de los trabajadores no capacitados, contratados a través del mercado de colaboración abierta en línea Mechanical Turk de Amazon.
Los académicos utilizaron una base de datos de más de 7000 acusados en prisión preventiva del condado de Broward, Florida, que incluía información demográfica individual, edad, sexo, antecedentes penales y antecedentes penales en el período de dos años posterior a la puntuación de Compas.
A los trabajadores en línea se les dieron breves descripciones que incluían el sexo, la edad y los antecedentes penales del acusado y se les preguntó si pensaban que volverían a delinquir. Utilizando mucha menos información que Compas (siete variables frente a 137), cuando se agruparon los resultados, los humanos fueron precisos en el 67 % de los casos, en comparación con el 65 % de precisión de Compas.
En un segundo análisis, el documento encontró que la precisión de Compas en la predicción de la reincidencia también podría compararse mediante un cálculo simple que involucra solo la edad del delincuente y la cantidad de condenas anteriores.
“Cuando se reduce lo que el software está haciendo en realidad, se reduce a dos cosas: su edad y la cantidad de condenas anteriores”, dijo Farid. “Si eres joven y tienes muchas condenas previas, corres un alto riesgo”.
“A medida que levantamos el telón de estos algoritmos patentados, cuyos detalles están muy bien guardados, no parece tan impresionante”, agregó. “No significa que no debamos usarlo, pero los jueces, los tribunales y los fiscales deben entender qué hay detrás de esto”.
Seena Fazel, profesora de psiquiatría forense en la Universidad de Oxford, estuvo de acuerdo en que el funcionamiento interno de tales herramientas de evaluación de riesgos debe hacerse público para que puedan ser examinados.
Sin embargo, dijo que en la práctica, dichos algoritmos no se usaban para proporcionar una respuesta de "sí o no", sino que eran útiles para dar grados de riesgo y resaltar áreas de vulnerabilidad, por ejemplo, recomendar que a una persona se le asigne un trabajador de apoyo a las drogas. al salir de prisión.
“No creo que se pueda decir que estos algoritmos no tienen valor”, dijo. "Hay muchas otras pruebas que sugieren que son útiles".
El auge de los robots racistas: cómo la IA está aprendiendo nuestros peores impulsos Leer más
El documento también destaca el potencial de asimetrías raciales en los resultados de dicho software que pueden ser difíciles de evitar, incluso si el software en sí es imparcial.
El análisis mostró que, si bien la precisión del software era la misma para los acusados blancos y negros, la llamada tasa de falsos positivos (cuando alguien que no comete un delito se clasifica como de alto riesgo) era más alta para los acusados negros que para los blancos. . Este tipo de asimetría es matemáticamente inevitable en el caso en que dos poblaciones tengan una tasa subyacente diferente de reincidencia (en el conjunto de datos de Florida, los acusados negros tenían más probabilidades de reincidir), pero tales disparidades, no obstante, plantean preguntas espinosas.