Incidentes Asociados
La evaluación del riesgo de reincidencia es el proceso de determinar la probabilidad de que una persona acusada, condenada o encarcelada reincida. El proceso tiene por objeto coadyuvar en la determinación de la debida limitación a la libertad del sujeto. Con la innovación en tecnología, especialmente en el área de la inteligencia artificial (IA), las herramientas de evaluación del riesgo de reincidencia basadas en tecnología de IA ahora están bien desarrolladas y se utilizan en el sistema de justicia penal. Las herramientas algorítmicas se utilizan cada vez más en el sistema de justicia penal canadiense en las fases previas al juicio, de sentencia y posteriores a la sentencia para predecir el comportamiento delictivo futuro de las personas acusadas, condenadas o encarceladas. El uso cada vez mayor de la tecnología de IA en la evaluación del riesgo de reincidencia en el sistema de justicia penal plantea muchos problemas legales. Discutiré tres de estos temas en esta publicación de blog. El primer problema se relaciona con lo que llamo racismo algorítmico. Esto surge del uso de datos históricos en el entrenamiento de herramientas de evaluación de riesgos de IA. Esto tiene la tendencia a perpetuar el sesgo histórico que se replica en las evaluaciones de riesgo por estas herramientas de IA. El segundo problema se relaciona con la legalidad del uso de evaluaciones de riesgo de IA por parte de los jueces en las decisiones de sentencia. Argumento que la evaluación de riesgos de AI basada en datos de una población general tiende a privar a un convicto del derecho a una sentencia individualizada basada en información precisa. En tercer lugar, está el problema de la naturaleza patentada de la metodología utilizada en las herramientas de evaluación de riesgos de la IA. Este es especialmente el caso cuando los delincuentes que impugnan su sentencia penal buscan acceder a estos secretos comerciales patentados. Problemas con el uso de IA en la evaluación de riesgos de la justicia penal Racismo algorítmico: vino viejo en una botella nueva Por racismo algorítmico, me refiero al sesgo sistémico basado en la raza que surge del uso de herramientas impulsadas por IA en el análisis de datos en la toma de decisiones resultando en resultados injustos para individuos de un segmento particular de la sociedad distinguidos por raza. La IA es subsistente en big data. Se requiere una gran cantidad de datos para entrenar el algoritmo de IA para permitirle hacer predicciones. Algunos de los datos utilizados para entrenar el algoritmo de IA en la evaluación del riesgo de reincidencia son datos históricos de épocas de encarcelamiento masivo, vigilancia policial sesgada y regímenes de fianza y sentencia sesgados caracterizados por una discriminación sistémica contra sectores particulares de la sociedad. Canadá no es inmune a los problemas asociados con los datos de una vigilancia policial sesgada, como lo demuestran los datos de la práctica de "tarjetas" de décadas de antigüedad por parte de algunos departamentos de policía. Toronto, Edmonton y Halifax son notorias por esta práctica que ha sido criticada de forma rutinaria por atacar de manera desproporcionada a los jóvenes negros e indígenas. De mayor preocupación es el hecho de que algunos de estos datos no tienen en cuenta las recientes reformas de reducción de riesgos y antidiscriminación destinadas a abordar la sobrerrepresentación de segmentos particulares de la sociedad en el sistema de justicia penal. A diferencia del racismo explícito que es evidente y obvio, el racismo algorítmico no se manifiesta abiertamente, sino que está oscurecido y enterrado en los datos. De hecho, está aún más desdibujado por un sistema de creencias que tiende a presentar la tecnología como neutral en cuanto a raza y daltónica. Las evaluaciones sesgadas algorítmicamente por herramientas de IA (a diferencia de la evidencia de expertos) se aceptan en el sistema de justicia penal sin más exámenes o contrainterrogatorios. Esto está relacionado con el "anclaje", un término utilizado por los científicos del comportamiento para referirse al sesgo cognitivo que surge de la tendencia humana a confiar en los datos disponibles en la toma de decisiones con poca consideración (si es que alguna) a las fallas en los datos. Comprender el racismo algorítmico requeriría el uso de la lente adecuada para examinar sus tentáculos ocultos incrustados u oscurecidos en las tecnologías de evaluación de riesgos de IA utilizadas en el sistema de justicia penal. La Teoría Crítica de la Raza (CRT) proporciona una lente adecuada para el estudio del racismo algorítmico. CRT fue desarrollado por académicos legales que tenían la intención de comprender las experiencias vividas por personas de color en un sistema judicial que se presentaba a sí mismo como objetivo y racialmente neutral. CRT adopta la noción de que el racismo es endémico en la sociedad. Según Devon W. Carbado, en “Critical What What?” (2011) 43:5 Connecticut Law Review 1593 en 1609, CRT desafía los principios dominantes de que el daltonismo da como resultado la neutralidad racial y que la conciencia del color genera preferencias raciales. CRT ve la noción de daltonismo como un mecanismo que más bien ciega a las personas ante las políticas racistas que perpetúan aún más la desigualdad racial. Bennett Capers señaló que los escritos que influyeron en el movimiento crítico de la raza tienden a centrarse en algunos temas recurrentes, como que las leyes daltónicas tienden a ocultar la desigualdad real en la sociedad, que las reformas que aparentemente benefician a las minorías solo son posibles cuando están en el interés de la mayoría blanca, y esa raza tiende a evitarse en la ley. Los académicos de CRT están utilizando progresivamente estudios de investigación sobre sesgos implícitos para ilustrar las afirmaciones. El examen de estos estudios de investigación y datos tiende a desenmascarar el racismo implícito enterrado en las leyes y prácticas sociales que da como resultado resultados injustos o prejuicios contra individuos de un segmento particular de la sociedad caracterizado por la raza. El uso de CRT para estudiar estas herramientas de evaluación de riesgos de IA y su funcionamiento revelará cómo estas nuevas tecnologías refuerzan el sesgo implícito y explícito contra los grupos minoritarios, especialmente los delincuentes negros e indígenas que constituyen una población desproporcionada en el sistema de justicia penal canadiense. “Madea va a la cárcel”: Sentencia individualizada versus sentencia generalizada Un tema importante relacionado con la legalidad de las herramientas de evaluación de riesgos en las sentencias de la justicia penal se relaciona con el uso de análisis grupales en las decisiones de sentencia relacionadas con un delincuente individual en lugar de una sentencia individualizada. basado en información precisa específica del delincuente. En el mejor de los casos, las herramientas algorítmicas de evaluación de riesgos basan su evaluación de riesgos en factores generales similares a los antecedentes del delincuente y no particularmente específicos del delincuente. En R. v. Jackson 2018 ONSC 2527 (CanLII), el juez Nakatsuru del Tribunal Superior de Ontario señaló que “la sentencia es y siempre ha sido un proceso muy individual. Un juez tiene en cuenta los hechos específicos del caso del delito y del delincuente para determinar una sentencia justa y adecuada... Cuanto más sepa realmente el juez que dicta la sentencia sobre el delincuente, más exacta y proporcionada puede ser la sentencia”. (párr. 3 [énfasis añadido]). Las herramientas modernas de evaluación del riesgo de reincidencia basadas en algoritmos y big data brindan cualquier cosa menos una evaluación o predicción individualizada de la reincidencia. En el mejor de los casos, proporcionan predicciones basadas en la reincidencia promedio de una población general de personas que comparten características similares a las del acusado. Este proceso tiene la tendencia involuntaria de perpetuar los estereotipos asociados con ciertos grupos (por ejemplo, las minorías raciales). Los jueces sentenciadores como trabajadores de primera línea en el sistema de justicia penal tienen la obligación de garantizar que la información que utilizan en sus decisiones de sentencia no contribuya directa o indirectamente a estereotipos negativos y discriminaciones. R. v. Ipeelee, 2012 SCC 13 (CanLII) en el párrafo 67. El uso de herramientas de evaluación del riesgo de reincidencia es muy común en el sistema de justicia penal canadiense. Kelly Hannah-Moffat en "Sentencia actuarial: una propuesta 'inestable'", señaló la tendencia de los abogados y oficiales de libertad condicional a clasificar a las personas que obtienen puntajes de evaluación de alto riesgo como delincuentes de alto riesgo en lugar de simplemente como personas que comparten características similares con los miembros promedio. de ese grupo Señaló que “[E]n lugar de entenderse como correlaciones, las puntuaciones de riesgo se malinterpretan en las presentaciones judiciales, los informes previos a la sentencia y la gama de narrativas de archivos institucionales que atribuyen las características de una categoría de riesgo al individuo”. (en la página 12) Nuestro sistema de justicia penal se basa en la idea de que las personas deben ser tratadas como individuos ante la ley y no como parte de una estadística, y esto se aplica incluso en las sentencias de justicia penal. Por lo tanto, las tecnologías de evaluación del riesgo de reincidencia basadas en IA y big data han sido criticadas por privar al acusado del derecho a una sentencia individualizada basada en información precisa. (Ver el caso de Estados Unidos de State v. Loomis, 881N.W.2d 749 (Wisconsin 2016) en adelante Loomis). Esto plantea un problema de la Carta de la Sección 7 que surge de la constitucionalidad de las evaluaciones realizadas por la tecnología, especialmente en relación con el derecho de un delincuente condenado a una sentencia individualizada basada en información precisa. En Loomis, el delincuente cuestionó el uso de la evaluación algorítmica de riesgos en su sentencia. Argumentó que el uso del puntaje de evaluación de riesgos generado por la herramienta algorítmica de evaluación de riesgos COMPAS violó su derecho a una sentencia individualizada porque la herramienta se basó en información sobre un grupo más amplio al hacer una inferencia sobre su probabilidad de reincidencia. El delincuente argumentó que cualquier consideración de información sobre una población más amplia en la determinación de su probabilidad de reincidencia viola su derecho al debido proceso. El tribunal de Loomis señaló la importancia de las sentencias individualizadas en el sistema de justicia penal y reconoció el hecho de que los datos de COMPAS sobre reincidencia no son individualizados, sino que se basan en datos de grupos similares a los delincuentes. La sentencia es un aspecto crítico de nuestro sistema de justicia penal. Cuanto más sepan los jueces que dictan sentencias sobre el comportamiento pasado, presente y probable futuro de los infractores, incluidos sus antecedentes personales (históricos, sociales y culturales), más exactas y proporcionales podrán formular las sentencias. Si bien los puntajes de riesgo pueden complementar efectivamente el esfuerzo de los jueces para redactar sentencias apropiadas, siempre se les debe recordar a los jueces que los puntajes de riesgo algorítmicos son solo uno de los muchos factores que se deben usar en la determinación de sentencias apropiadas y, por lo tanto, se le debe dar el peso apropiado a este factor. junto con muchos otros factores para garantizar que la sentencia que se impone al delincuente sea lo más individualizada posible. El juez Nakatsuru en R. v. Jackson observó acertadamente que: Una sentencia impuesta en base a un conocimiento complejo y profundo de la persona ante el tribunal, ya que está situada en la realidad pasada y presente de su experiencia vivida, se verá muy diferente de una sentencia impuesta sobre un cartón recortado de un “delincuente” (en el párrafo 103). Los jueces encargados de dictar sentencia no deben ceder en ningún momento del proceso de sentencia y usar su discreción para anular o ignorar las puntuaciones algorítmicas de riesgo que parecen estar fuera de sintonía con otros factores considerados en el proceso de sentencia, especialmente cuando tales puntuaciones de riesgo tienden a agravar en lugar de mitigar la frase. Otro problema que puede afectar aún más la capacidad de las herramientas de evaluación de riesgos de IA para lograr una puntuación de riesgo individualizada surge cuando las herramientas de IA que se desarrollan y prueban con datos de un grupo en particular se utilizan en otro grupo que no es homogéneo al grupo original. Esto dará como resultado un sesgo de representación. Los intentos de implementar tecnología de IA en grupos que no estén representados de manera efectiva en los datos de capacitación utilizados para desarrollar y capacitar la tecnología generalmente generarían resultados defectuosos e inexactos. Este problema ha sido evidente en el software de reconocimiento facial. Un informe en The New York Times muestra que el software de reconocimiento facial de IA en el mercado actual se desarrolla y entrena con datos de hombres predominantemente blancos. Si bien el software ha podido lograr una precisión del 99 por ciento en el reconocimiento de rostros de hombres blancos, este no ha sido el caso con otras razas y el género femenino. Cuanto más oscura es la piel, más inexacto y defectuoso es el resultado: hasta un 35 % de tasa de error para las mujeres de piel más oscura. En Ewert v. Canada 2018 SCC 30 (CanLII), un hombre indígena presentó una impugnación de la Carta contra su evaluación de riesgos por parte de Correctional Services Canada (CSC). Las herramientas utilizadas en la evaluación se habían desarrollado y probado en una población predominantemente no indígena. La Corte Suprema dictaminó que la obligación de CSC en virtud de la s.24(1) de la Ley de Correcciones y Liberación Condicional se aplica a los resultados generados por las herramientas de evaluación de riesgos. Por lo tanto, una herramienta algorítmica que se desarrolla y entrena en base a los datos de un grupo cultural predominante será, muy probablemente, una variante transcultural hasta cierto punto cuando se aplique a otro grupo cultural no representado (o no representado adecuadamente) en los datos. utilizado para entrenar la herramienta. Es poco probable que esto genere una evaluación individualizada del delincuente, pero es más probable que resulte en una evaluación defectuosa del riesgo que representa el delincuente. Derecho de propiedad frente a derecho constitucional La metodología utilizada en la evaluación de la reincidencia por las herramientas de evaluación de riesgos de IA se considera secreto comercial patentado y generalmente no está disponible para el escrutinio del tribunal, el acusado o la fiscalía. Los derechos de propiedad adjuntos a estas herramientas restringen la capacidad del juez, la fiscalía o el acusado para acceder o determinar qué factores se tienen en cuenta en la evaluación y cuánto peso se les asigna a esos factores. El proceso secreto asociado con estas herramientas se vuelve problemático cuando los delincuentes que impugnan su sentencia adversa resultante de las evaluaciones realizadas por estas herramientas buscan acceder a la información patentada para probar la arbitrariedad de la privación de su libertad o para invalidar la sentencia resultante de la evaluación. En nuestro sistema de justicia penal, una persona acusada tiene los derechos constitucionales de libertad personal y equidad procesal tanto en el juicio como en la sentencia. Estos derechos también surgen en el encarcelamiento cuando los funcionarios penitenciarios toman decisiones que afectan la libertad del delincuente (por ejemplo, clasificación de seguridad). (Ver May v. Ferndale Institution, 2005 SCC 82 (CanLII) en el párrafo 76 (en adelante, May v. Ferndale). La imposición de una sentencia penal que requiere encarcelamiento implica claramente una privación de los derechos fundacionales del delincuente. Tal privación debe ser en de acuerdo con la ley. Pero, ¿qué pasa si un delincuente condenado busca acceso a un secreto comercial patentado en una herramienta comercial de inteligencia artificial utilizada para evaluar la reincidencia que resultó en la sentencia penal? Esto dará lugar a un conflicto entre el derecho de propiedad de una corporación comercial a su secreto comercial y los derechos estatutarios del infractor En May v. Ferndale, Correctional Services Canada (CSC) había utilizado una herramienta de riesgo computarizada, la Escala de reclasificación de seguridad (SRS), para revisar la clasificación de seguridad de algunos reclusos de riesgo mínimo a medio. Los reclusos solicitaron acceso a la matriz de puntuación utilizada por la herramienta SRS computarizada. El CSC les negó el acceso. La Corte Suprema de Canadá dictaminó que los reclusos estaban claramente involucrados. tenía derecho a acceder a la matriz de puntuación del SRS, y que la falta de divulgación de la información constituía una violación importante de la equidad procesal. Según el tribunal: Se privó a los apelantes de información esencial para comprender el sistema informático que generaba sus puntuaciones. No se proporcionó a los recurrentes la fórmula utilizada para ponderar los factores ni los documentos utilizados para calificar las preguntas y respuestas. Los apelantes sabían cuáles eran los factores, pero no sabían cómo se les asignaban los valores o cómo esos valores se tenían en cuenta en la generación del puntaje final. (en el párrafo 117 [Énfasis agregado]) La Corte Suprema señaló que era de sentido común que los puntajes de la matriz, así como la metodología utilizada para llegar a la clasificación de seguridad, deberían haberse puesto a disposición de los reclusos: Por una cuestión de lógica y sentido común , la tabulación de puntuación y la metodología asociadas con la puntuación de clasificación SRS deberían estar disponibles. La importancia de hacer que esa información esté disponible se deriva del hecho de que los reclusos pueden querer refutar la evidencia en la que se basan para el cálculo del puntaje SRS y la clasificación de seguridad. Esta información puede ser crítica en circunstancias en las que la clasificación de un valor depende del peso atribuido a un factor específico. (en el párrafo 118 [Énfasis añadido]) Conclusión Las tecnologías de inteligencia artificial seguirán revolucionando nuestro sistema de justicia. Si se usa correctamente, podría mejorar en gran medida la administración eficiente y eficaz de nuestro sistema de justicia penal. Sin embargo, el uso de IA en nuestro sistema de justicia penal plantea algunos problemas legales serios y novedosos que deben abordarse. Es importante estudiar estos problemas legales con el objetivo final de desarrollar un marco que mitigue los impactos adversos y discriminatorios de estos. tecnologías sobre los derechos de los imputados y los infractores.