Incidentes Asociados
Reciba correos electrónicos sobre los próximos programas de NOVA y contenido relacionado, así como informes destacados sobre eventos actuales a través de una lente científica. Dirección de correo electrónico Código postal Suscríbete
Un algoritmo informático "imparcial" utilizado para informar las decisiones judiciales parece no ser mejor que las evaluaciones de un grupo aleatorio de personas, según un estudio reciente. Además, el algoritmo parece emitir recomendaciones racialmente sesgadas.
COMPAS, el software que utilizan muchos jueces para informar sus decisiones de sentencia, tiende a clasificar a las personas negras como de mayor riesgo y a las blancas como de menor riesgo, a pesar de no incluir información explícita sobre la raza. En la práctica, esto se traduce en sugerencias de rehabilitación más indulgentes para los acusados blancos y programas más rigurosos para los acusados negros del mismo riesgo de reincidencia.
Soporte proporcionado por Más información
Un estudio de 1000 acusados sugiere que un algoritmo utilizado por jueces en varios estados puede estar equivocado un tercio de las veces.
Los resultados, y el sesgo, fueron estadísticamente indistinguibles de los juicios realizados por voluntarios humanos seleccionados al azar en Internet.
Aquí está John Timmer escribiendo en Ars Technica:
La importancia de esa discrepancia sigue siendo tema de debate, pero dos investigadores del Dartmouth College se han hecho una pregunta más fundamental: ¿el software es bueno? La respuesta que se les ocurrió es "no especialmente", ya que su rendimiento podría igualarse reclutando personas en Mechanical Turk o realizando un análisis simple que solo tuviera en cuenta dos factores.
Es probable que el sesgo racial se infiltre en el algoritmo COMPAS a través de los datos sobre las tasas de arresto, que en algunas ciudades y condados están sesgados. Equivalent, el desarrollador de COMPAS, dice que se basa en 127 puntos de datos diferentes al determinar los programas de rehabilitación, pero solo seis al evaluar si un individuo está en riesgo de reincidir.
El nuevo estudio se basa en una investigación de Pro Publica, que analizó el desempeño de COMPAS en el condado de Broward, Florida, entre 2013 y 2014. Los investigadores del Dartmouth College tomaron datos sobre la edad, el sexo y los antecedentes penales de 1000 acusados y se los entregaron a "jueces" voluntarios que fueron reclutados a través de Internet a través del servicio Mechanical Turk de Amazon.
COMPAS no fue mejor que los participantes del estudio en la evaluación del riesgo de reincidencia de un acusado. Los autores del estudio compararon las recomendaciones hechas por COMPAS y los participantes con datos del mundo real sobre reincidentes. En la práctica, lo hicieron más personas blancas que se predijo que no reincidirían (40,3 % humanos, 47,9 % COMPAS) en comparación con personas negras (29,2 % humanos, 30,9 % COMPAS). Además, se predijo erróneamente que una mayor proporción de delincuentes negros reincidirían (37,1 % humanos, 40,4 % COMPAS) en comparación con los acusados blancos (27,2 % humanos, 25,4 % COMPAS).
Si bien COMPAS y los juicios humanos fueron similares, los juicios fallados tendieron a favorecer a los acusados blancos y perjudicar a los acusados negros. Los falsos positivos son casos en los que los delincuentes no reinciden, pero se predijo que lo harían. Los falsos negativos son casos en los que se predijo que los delincuentes se reformarían, pero no lo hicieron.
Los investigadores de Dartmouth también lograron reproducir las predicciones del software consultando solo el 5% de la información que supuestamente considera el algoritmo.
“El software comercial de evaluación de riesgos ampliamente utilizado COMPAS no es más preciso ni justo que las predicciones hechas por personas con poca o ninguna experiencia en justicia penal”, escriben los autores del estudio. “Un predictor lineal simple provisto de solo dos funciones es casi equivalente a COMPAS con sus 137 funciones”.