Incidentes Asociados
Tendemos a suponer que el futuro a corto plazo de la automatización se basará en asociaciones hombre-máquina. Nuestros compinches robóticos compensarán las blandas ineficiencias del cerebro humano, mientras que el juicio humano lijará sus fríos bordes mecánicos.
Comparta con The Post: ¿De qué manera ha sentido el impacto de la inflación? Pero, ¿y si la asociación, especialmente en las primeras etapas, acentúa los defectos de ambos? Por ejemplo, una fórmula diseñada para reducir la población carcelaria en Virginia llevó a algunos jueces a imponer sentencias más severas para los acusados jóvenes o negros, y más indulgentes para los violadores.
En una era en la que se espera ampliamente que la inteligencia artificial [coma lo que queda del mundo] (https://www.wsj.com/articles/SB10001424053111903480904576512250915629460), los algoritmos de sentencias simples son una vista previa del futuro asistido por herramientas de la economía. Un documento de trabajo publicado el martes de Megan Stevenson de la Universidad George Mason y Jennifer Doleac de Texas A&M proporciona uno de los primeros exámenes de los efectos no deseados consecuencias que surgen cuando los algoritmos y los humanos se unen en la naturaleza.
Los algoritmos están destinados a eliminar algunas de las conjeturas de las decisiones de sentencia de los jueces mediante la asignación de una puntuación de riesgo simple a los acusados. En Virginia, la puntuación incluía datos como el tipo de delito, la edad, las condenas anteriores y la situación laboral. El hurto puntúa más alto que los delitos de drogas, los hombres puntúan más alto que las mujeres y las personas solteras puntúan más alto que sus pares casados. (El matrimonio y el empleo se eliminaron de la puntuación en 2013).
Algoritmos similares ahora se usan en 28 estados (y partes de siete más). En Virginia, se adoptaron en todo el estado en 2002 para ayudar a mantener baja la población carcelaria después de que se abolió la libertad condicional discrecional. El análisis de Stevenson y Doleac se basa en decenas de miles de condenas por delitos graves, con un enfoque particular en el período entre 2000 y 2004.
Se suponía que los jueces usarían puntajes de riesgo para identificar a los delincuentes que tenían menos probabilidades de reincidir y darles sentencias de cárcel más cortas o enviarlos a un programa como libertad condicional o tratamiento por abuso de sustancias. En lugar de centrarse en patrones de discriminación por algoritmos o [jueces](https://chicagounbound.uchicago .edu/cgi/viewcontent.cgi?article=1663&context=law_and_economics) actuando solo, como lo han hecho otros, Stevenson y Doleac midieron cómo interactuaban los dos.
Después de controlar los efectos del tiempo, la geografía y la demografía, Stevenson y Doleac encontraron que el nuevo y ambicioso sistema de evaluación de riesgos no violentos, a menudo presentado como un modelo a seguir por otros estados, no cambió la tasa a la que las personas fueron encarceladas, la duración de sus sentencias o la tasa a la que reincidieron después de la liberación. Pero eso no significa que no tuvo ningún efecto.
Los jueces siguieron las sugerencias del algoritmo un poco menos de la mitad de las veces. Las personas que el algoritmo consideró de alto riesgo recibieron sentencias más largas de lo que deberían, y los candidatos evaluados como de bajo riesgo recibieron sentencias más cortas. Los dos ajustes se compensaron entre sí, por lo que los números generales no cambiaron, pero la interacción entre las recomendaciones algorítmicas de sentencia y la discreción de los jueces produjo efectos perversos.
En un comunicado, Meredith Farrar-Owens, directora de la Comisión de Sentencias Penales de Virginia, dijo que el objetivo del sistema era evitar el aumento de la delincuencia o las tasas de reincidencia mientras desviaba de la prisión a los delincuentes no violentos de menor riesgo y liberaba espacio para los delincuentes violentos, de quienes se esperaba cumplir penas más largas bajo las reformas de sentencia que entraron en vigor en 1995.
“Si bien los instrumentos de evaluación de riesgos de la Comisión se desarrollaron sobre la base de un estudio empírico de las tasas y patrones de reincidencia entre los delincuentes de Virginia, el uso de la evaluación de riesgos se lleva a cabo dentro del contexto de un sistema de justicia penal complejo y dinámico”, dijo Farrar-Owens. “Las recomendaciones de evaluación de riesgos son consultivas y solo uno de los muchos factores que los jueces considerarán al sentenciar a los acusados”.
Agregó que la capacidad de los jueces para seguir las sugerencias del algoritmo también puede haber estado limitada por acuerdos de declaración de culpabilidad y por la falta de opciones alternativas en su circuito particular.
La sentencia de los delincuentes juveniles es un ejemplo de los sorprendentes efectos secundarios del algoritmo. Stevenson dijo que algunos jueces pueden no darse cuenta, pero el puntaje de riesgo de alguien es en gran medida un reflejo de la edad que tienen. Eso es porque la edad es un fuerte predictor de reincidencia. Su puntuación de riesgo aumenta sustancialmente más por ser menor de 30 años (13 puntos) que, por ejemplo, por haber estado encarcelado cinco o más veces como adulto (9 puntos).
En un análisis de 2018, Christopher Slobogin de Stevenson y Vanderbilt calculó que el 58 % de la puntuación de riesgo de reincidencia violenta del algoritmo COMPAS ampliamente utilizado se puede atribuir envejecer.
“La gente está recibiendo esta etiqueta muy estigmatizante, alto riesgo de reincidencia violenta, en gran parte porque tienen 19 años”, dijo.
Los jueces tendían a ser más misericordiosos con los acusados jóvenes de lo que recomendaba el algoritmo. No obstante, los acusados menores de 23 años tenían 4 puntos porcentuales más de probabilidad de ser encarcelados después de que se adoptara la evaluación de riesgos, y sus sentencias fueron un 12 por ciento más largas que las de sus pares mayores.
“Según el estudio de reincidencia de la Comisión, la edad es uno de los factores más ponderados en la herramienta de evaluación de riesgos. Tiene sentido que, una vez que los jueces tengan una herramienta objetiva de evaluación de riesgos basada en la investigación, veríamos aumentar las sentencias de los delincuentes adultos jóvenes en relación con los delincuentes mayores”, dijo Farrar-Owens.
Las disparidades raciales también aumentaron entre los circuitos que más utilizaron la evaluación de riesgos. Aunque las computadoras no pueden usar explícitamente variables prohibidas como la raza en sus cálculos de sentencia, los acusados negros tenían 4 puntos porcentuales más de probabilidades de ser encarcelados después de que se adoptó la evaluación de riesgos, en comparación con los blancos equivalentes. Las sentencias de los acusados negros también fueron un 17 por ciento más largas.
“Esto se explica en parte por el hecho de que los acusados de raza negra tienen puntajes de riesgo más altos y en parte porque los acusados de raza negra reciben sentencias más severas que los acusados de raza blanca con el mismo puntaje de riesgo”, escriben Stevenson y Doleac.
Los autores también estudiaron un programa similar de evaluación de riesgos para delincuentes sexuales. Por precaución, el programa se creó para que el algoritmo solo pudiera autorizar sentencias más largas que las de referencia; sin embargo, su efecto neto fue disminuir la frecuencia con la que los delincuentes sexuales eran encarcelados en 5 puntos porcentuales y acortar sus sentencias en aproximadamente 24 por ciento.
Stevenson y Doleac sugieren que al asignar a un delincuente sexual una puntuación de riesgo bajo, los algoritmos pueden ayudar a proteger a un juez de una reacción violenta si el delincuente continúa cometiendo otro delito. Esto les permite ofrecer sentencias más cortas de lo que de otro modo habrían impuesto.
“Si sentencian a alguien con indulgencia y esa persona sale y comete un crimen atroz, todos los dedos los señalan”, dijo Stevenson. “Si cometen un error en la otra dirección, al no liberar a alguien que habría hecho cualquier cosa si lo hubieran liberado, nadie lo ve. No hay consecuencias para el juez”.
Frank Pasquale de la Universidad de Maryland, quien defendió la supervisión de los algoritmos en "[The Black Box Society]" de 2015 (https://www.amazon.com/gp/product/0674970845?ie=UTF8&tag=thewaspos09-20&camp=1789&linkCode =xm2&creativeASIN=0674970845)”, dijo que la mayoría de los jueces no están adecuadamente capacitados para evaluar las afirmaciones hechas por los sistemas de sentencia como el de Virginia. Debido a que los jueces tienen la opción de rechazar la conclusión del algoritmo, dijo Pasquale, pueden seguirlo solo cuando proporcione una excusa conveniente.
“Puede haber muchos escenarios en los que los algoritmos de IA terminen siendo una racionalización de lo que el juez quiere hacer”, dijo Pasquale.
Stevenson y Doleac escriben que, especialmente cuando los objetivos de los socios humanos del algoritmo difieren de los de sus diseñadores, debemos esperar resultados inesperados.
“La evaluación de riesgos no violentos de Virginia no redujo ni el encarcelamiento ni la reincidencia; su uso desfavoreció a un grupo vulnerable (los jóvenes); y no logró reducir las disparidades raciales”, escriben Stevenson y Doleac. “La evaluación de riesgo de delincuentes sexuales de Virginia redujo las sentencias para los condenados por violación: un grupo al que la Comisión de Sentencias se había dirigido para aumentar las sentencias”.
¿Por qué tuvo problemas el algoritmo de Virginia? Resulta que el crimen futuro es difícil de predecir. "Incluso en condiciones ideales", escriben Stevenson y Doleac, "las predicciones de delitos futuros no pueden explicar más que una pequeña fracción de la variación en la reincidencia".
El profesor de la Universidad de Duke, Brandon Garrett, que ha estudiado por separado el sistema de Virginia, dijo: “No se puede simplemente adoptar una herramienta y esperar que resuelva los problemas mágicamente. Tienes que poner en práctica el pensamiento y la información reales”.
Garrett y sus colaboradores hablaron con jueces de todo Virginia. Algunos dijeron que no estaban capacitados o que no confiaban en la fórmula. Algunos dijeron que ni siquiera tenían los programas necesarios para desviar a las personas de las cárceles. Un juez incluso comparó secamente el uso del algoritmo con visitar a un psíquico.
En un análisis que se publicará próximamente en California Law Review, Garrett y su colaborador John Monahan, de la Universidad de Virginia, escriben que los jueces no siguieron las evaluaciones de riesgo de manera consistente, y que algunos no las usaron en absoluto.
“Tampoco debería ser una sorpresa”, escriben, “dado que los jueces y otros tomadores de decisiones generalmente no reciben casi capacitación en evaluación de riesgos, y su discreción para ignorar la evaluación de riesgos prácticamente no se controla”.
Farrar-Owens dijo que a los jueces recién nombrados se les enseña sobre el programa de evaluación de riesgos durante la orientación, pero que “la filosofía judicial con respecto a la evaluación de riesgos ciertamente varía en todo el Estado Libre Asociado”.
Aurélie Ouss, que investiga sentencias penales, reincidencia y temas relacionados en la Universidad de Pensilvania, elogió el trabajo de Stevenson y Doleac y dijo que mostraba que los algoritmos de Virginia no habían sido la panacea que algunos esperaban ni la pesadilla que otros temían. Al igual que Garrett, dijo que podría reducirse a la implementación.
“Hay tantas maneras en las que puede presentar la información”, señaló Ouss. "Puede darse el caso de que una herramienta diferente que esté diseñada de manera diferente, que los jueces usen de manera diferente, produzca resultados diferentes".
Sin embargo, en el caso de la raza y la edad, Stevenson y Doleac encuentran que si los jueces hubieran cumplido completamente con las recomendaciones del algoritmo, las disparidades habrían sido aún mayores.
“Si está sentenciando únicamente por una razón de riesgo, entonces quiere encerrar a todos los adolescentes”, dijo Stevenson. “Pero si estás sentenciando por otros motivos, como la misericordia para los vulnerables o evaluando el nivel de culpabilidad que tienen las personas, entonces las personas son jóvenes. Hay muchas razones por las que no necesariamente queremos castigarlos más severamente que a las personas mayores”.