Incidents associés
Nous avons tendance à supposer que l'avenir à court terme de l'automatisation reposera sur des partenariats homme-machine. Nos acolytes robots compenseront les inefficacités spongieuses du cerveau humain, tandis que le jugement humain poncera leurs bords froids et mécaniques.
Partager avec The Post : De quelle manière avez-vous ressenti l'impact de l'inflation ? Mais que se passe-t-il si le partenariat, surtout au début, accentue plutôt les défauts des deux ? Par exemple, une formule visant à réduire les populations carcérales en Virginie a conduit certains juges à prononcer des peines plus sévères pour les prévenus jeunes ou noirs, et plus clémentes pour les violeurs.
À une époque où l'on s'attend à ce que l'intelligence artificielle [mange ce qui reste du monde] (https://www.wsj.com/articles/SB10001424053111903480904576512250915629460), de simples algorithmes de détermination de la peine sont un aperçu de l'avenir assisté par des outils de l'économie. Un document de travail publié mardi par Megan Stevenson de l'Université George Mason et Jennifer Doleac de Texas A&M fournit l'un des premiers examens des conséquences qui surviennent lorsque les algorithmes et les humains s'associent dans la nature.
Les algorithmes visent à éliminer certaines conjectures des décisions de condamnation des juges en attribuant un simple score de risque aux accusés. En Virginie, le score comprenait des données telles que le type d'infraction, l'âge, les condamnations antérieures et le statut d'emploi. Le vol a un score plus élevé que les délits liés à la drogue, les hommes un score plus élevé que les femmes et les célibataires un score plus élevé que leurs pairs mariés. (Le mariage et l'emploi ont été retirés du score en 2013.)
Des algorithmes similaires sont maintenant utilisés dans 28 États (et des parties de sept autres). En Virginie, ils ont été adoptés dans tout l'État en 2002 pour aider à réduire la population carcérale après l'abolition de la libération conditionnelle discrétionnaire. L'analyse de Stevenson et Doleac s'appuie sur des dizaines de milliers de condamnations pour crime, avec un accent particulier sur la période entre 2000 et 2004.
Les juges étaient censés utiliser les scores de risque pour identifier les criminels les moins susceptibles de récidiver et leur infliger des peines de prison plus courtes ou les envoyer dans un programme tel que la probation ou le traitement de la toxicomanie. Plutôt que de se concentrer sur les modèles de discrimination par algorithmes ou [juges](https://chicagounbound.uchicago .edu/cgi/viewcontent.cgi?article=1663&context=law_and_economics) agissant seuls, comme d'autres l'ont fait, Stevenson et Doleac ont mesuré comment les deux interagissaient.
Après avoir contrôlé les effets du temps, de la géographie et de la démographie, Stevenson et Doleac ont découvert que le nouveau système ambitieux d'évaluation des risques non violents, souvent présenté comme un modèle à suivre par d'autres États, ne modifiait pas le rythme auquel les personnes étaient incarcérées, la durée de leur peine ou le taux de récidive après leur libération. Mais cela ne veut pas dire que cela n'a eu aucun effet.
Les juges ont suivi les suggestions de l'algorithme un peu moins de la moitié du temps. Les personnes jugées à haut risque par l'algorithme ont reçu des peines plus longues qu'elles ne l'auraient été, et les candidats évalués comme à faible risque ont reçu des peines plus courtes. Les deux ajustements se compensent, de sorte que les chiffres globaux n'ont pas changé, mais l'interaction entre les recommandations algorithmiques de détermination de la peine et la discrétion des juges a néanmoins produit des effets pervers.
Dans un communiqué, Meredith Farrar-Owens, directrice de la Virginia Criminal Sentencing Commission, a déclaré que l'objectif du système était d'éviter d'augmenter les taux de criminalité ou de récidive tout en détournant les délinquants non violents à faible risque de la prison et en libérant de l'espace pour les délinquants violents, qui étaient attendus. à purger des peines plus longues dans le cadre des réformes des peines entrées en vigueur en 1995.
"Alors que les instruments d'évaluation des risques de la Commission ont été développés sur la base d'une étude empirique des taux et des schémas de récidive chez les criminels de Virginie, l'utilisation de l'évaluation des risques a lieu dans le contexte d'un système de justice pénale complexe et dynamique", a déclaré Farrar-Owens. "Les recommandations d'évaluation des risques sont consultatives et un seul des nombreux facteurs que les juges prendront en compte lors de la détermination de la peine des accusés."
Elle a ajouté que la capacité des juges à suivre les suggestions de l'algorithme peut également avoir été limitée par des accords de plaidoyer et par un manque d'options alternatives dans leur circuit particulier.
La condamnation des jeunes contrevenants est un exemple des effets secondaires surprenants de l'algorithme. Stevenson a déclaré que certains juges ne s'en rendaient peut-être pas compte, mais le score de risque d'une personne reflète en grande partie son âge. C'est parce que l'âge est un prédicteur si puissant de la récidive. Vous obtenez beaucoup plus d'ajouts à votre score de risque pour avoir moins de 30 ans (13 points) que, par exemple, pour avoir été incarcéré cinq fois ou plus à l'âge adulte (9 points).
Dans une analyse de 2018, Christopher Slobogin de Stevenson et Vanderbilt a calculé que 58 % du score de risque de récidive violente de l'algorithme COMPAS largement utilisé peuvent être attribués vieillir.
"Les gens reçoivent cette étiquette très stigmatique - risque élevé de récidive violente - en grande partie parce qu'ils ont 19 ans", a-t-elle déclaré.
Les juges avaient tendance à être plus miséricordieux envers les jeunes accusés que l'algorithme recommandé. Néanmoins, les accusés de moins de 23 ans étaient 4 points de pourcentage plus susceptibles d'être incarcérés après l'adoption de l'évaluation des risques, et leurs peines étaient 12% plus longues que leurs pairs plus âgés.
« D'après l'étude sur la récidive de la Commission, l'âge est l'un des facteurs les plus pondérés dans l'outil d'évaluation des risques. Il est logique qu'une fois que les juges disposaient d'un outil d'évaluation des risques objectif et fondé sur la recherche, nous verrions les peines des jeunes contrevenants adultes augmenter par rapport aux contrevenants plus âgés », a déclaré Farrar-Owens.
Les disparités raciales ont également augmenté parmi les circuits qui ont le plus utilisé l'évaluation des risques. Bien que les ordinateurs ne puissent pas utiliser explicitement des variables interdites comme la race dans leurs calculs de peine, les accusés noirs étaient 4 points de pourcentage plus susceptibles d'être incarcérés après l'adoption de l'évaluation des risques, par rapport aux blancs par ailleurs équivalents. Les peines des accusés noirs étaient également 17% plus longues.
"Cela s'explique en partie par le fait que les accusés noirs ont des scores de risque plus élevés, et en partie parce que les accusés noirs sont condamnés plus sévèrement que les accusés blancs avec le même score de risque", écrivent Stevenson et Doleac.
Les auteurs ont également étudié un programme similaire d'évaluation des risques pour les délinquants sexuels. Par excès de prudence, le programme a été conçu de manière à ce que l'algorithme ne puisse autoriser que des peines plus longues que la valeur de référence - mais son effet net a été de réduire la fréquence d'incarcération des délinquants sexuels de 5 points de pourcentage et de raccourcir leurs peines d'environ 24 %. pour cent.
Stevenson et Doleac suggèrent qu'en attribuant à un délinquant sexuel un score de risque faible, les algorithmes peuvent aider à protéger un juge contre les réactions négatives si le délinquant continue à commettre un autre crime. Cela leur permet d'offrir des peines plus courtes que celles qu'ils auraient autrement imposées.
"S'ils condamnent quelqu'un avec indulgence et que cette personne sort et commet un crime odieux, tous les doigts sont pointés vers eux", a déclaré Stevenson. «S'ils font une erreur dans l'autre sens – ne pas libérer quelqu'un qui aurait fait n'importe quoi s'il était libéré – personne ne le voit. Il n'y a aucune conséquence pour le juge.
Frank Pasquale de l'Université du Maryland, qui a plaidé en faveur de la surveillance des algorithmes dans "[The Black Box Society](https://www.amazon.com/gp/product/0674970845?ie=UTF8&tag=thewaspos09-20&camp=1789&linkCode =xm2&creativeASIN=0674970845) », a déclaré que la plupart des juges ne sont pas suffisamment formés pour évaluer les réclamations faites par les systèmes de détermination de la peine tels que celui de Virginie. Parce que les juges ont la possibilité de rejeter la conclusion de l'algorithme, a déclaré Pasquale, ils ne peuvent le suivre que lorsqu'il fournit une excuse pratique.
"Vous pouvez avoir beaucoup de scénarios où les algorithmes d'IA finissent par être une rationalisation de ce que le juge veut faire", a déclaré Pasquale.
Stevenson et Doleac écrivent que, surtout lorsque les objectifs des partenaires humains de l'algorithme diffèrent de ceux de ses concepteurs, nous devrions nous attendre à des résultats inattendus.
«L'évaluation des risques non violents de Virginie n'a réduit ni l'incarcération ni la récidive; son utilisation défavorise un groupe vulnérable (les jeunes) ; et n'a pas réussi à réduire les disparités raciales », écrivent Stevenson et Doleac. "L'évaluation du risque des délinquants sexuels de Virginie a réduit les peines pour les personnes reconnues coupables de viol: un groupe que la Commission de détermination de la peine avait ciblé pour des peines plus lourdes."
Pourquoi l'algorithme de Virginia a-t-il eu du mal ? Il s'avère que la criminalité future est difficile à prévoir. "Même dans des conditions idéales", écrivent Stevenson et Doleac, "les prédictions de futures infractions sont incapables d'expliquer plus qu'une infime fraction de la variation de la récidive".
Brandon Garrett, professeur à l'Université Duke, qui a étudié séparément le système Virginia, a déclaré : « Vous ne pouvez pas simplement adopter un outil et vous attendre à ce qu'il résolve les problèmes comme par magie. Vous devez mettre une réelle réflexion et des informations dans la mise en œuvre. »
Garrett et ses collaborateurs ont parlé avec des juges de toute la Virginie. Certains ont dit qu'ils n'étaient pas formés ou qu'ils ne faisaient pas confiance à la formule. Certains ont dit qu'ils n'avaient même pas les programmes nécessaires pour détourner les gens des prisons. Un juge a même sèchement assimilé l'utilisation de l'algorithme à la visite d'un médium.
Dans une analyse à paraître dans la California Law Review, Garrett et son collaborateur John Monahan de l'Université de Virginie écrivent que les juges n'ont pas suivi les évaluations des risques de manière cohérente - et que certains ne les ont pas du tout utilisées.
"Cela ne devrait pas non plus être une surprise", écrivent-ils, "étant donné que les juges et autres décideurs ne reçoivent généralement presque aucune formation en évaluation des risques, et leur pouvoir discrétionnaire d'ignorer l'évaluation des risques est pratiquement incontrôlé".
Farrar-Owens a déclaré que les juges nouvellement nommés sont informés du programme d'évaluation des risques pendant l'orientation, mais que "la philosophie judiciaire en matière d'évaluation des risques varie certainement à travers le Commonwealth".
Aurélie Ouss, qui étudie les condamnations pénales, la récidive et des sujets connexes à l'Université de Pennsylvanie, a salué le travail de Stevenson et Doleac, et a déclaré que cela montrait que les algorithmes de Virginia n'avaient été ni la panacée que certains espéraient ni le cauchemar que d'autres craignaient. Comme Garrett, elle a dit que cela pourrait dépendre de la mise en œuvre.
"Il y a tellement de façons de présenter l'information", a souligné Ouss. "Il se peut qu'un outil différent conçu différemment - que les juges utilisent différemment - donne des résultats différents."
Pourtant, dans le cas de la race et de l'âge, Stevenson et Doleac constatent que si les juges s'étaient pleinement conformés aux recommandations de l'algorithme, les disparités auraient été encore plus grandes.
"Si vous condamnez uniquement sur une base de risque, alors vous voulez enfermer tous les adolescents", a déclaré Stevenson. «Mais si vous condamnez pour d'autres raisons comme la miséricorde envers les personnes vulnérables ou l'évaluation du niveau de culpabilité des individus, alors les gens sont jeunes. Il y a beaucoup de raisons pour lesquelles nous ne voulons pas nécessairement les punir plus sévèrement que les personnes âgées. »