Incidents associés
Selon une étude du Dartmouth College, un outil logiciel informatique largement utilisé n'est peut-être pas plus précis ou juste pour prédire le comportement criminel à répétition que les personnes sans expérience de la justice pénale.
L'analyse de Dartmouth a montré que les non-experts qui ont répondu à un sondage en ligne ont obtenu des résultats aussi bons que le système logiciel COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) utilisé par les tribunaux pour aider à déterminer le risque de récidive.
Le document démontre également que bien que COMPAS utilise plus d'une centaine d'informations pour faire une prédiction, le même niveau de précision peut être atteint avec seulement deux variables - l'âge d'un accusé et le nombre de condamnations antérieures.
Selon le document de recherche, COMPAS a été utilisé pour évaluer plus d'un million de délinquants depuis son élaboration en 1998, et sa composante de prédiction de la récidive est utilisée depuis 2000.
L'analyse, publiée dans la revue Science Advances, a été réalisée par l'équipe de recherche étudiante-professeur de Julia Dressel et Hany Farid.
"Il est troublant que les travailleurs Internet non formés puissent fonctionner aussi bien qu'un programme informatique utilisé pour prendre des décisions qui changent la vie des accusés", a déclaré Farid, professeur d'informatique Albert Bradley 1915 Third Century au Dartmouth College. "L'utilisation de tels logiciels ne fait peut-être rien pour aider les personnes qui pourraient se voir refuser une seconde chance par des algorithmes de boîte noire."
Selon le document, des outils logiciels sont utilisés dans les décisions de mise en état, de libération conditionnelle et de détermination de la peine pour prédire le comportement criminel, y compris qui est susceptible de ne pas se présenter à une audience et qui est susceptible de récidiver à un moment donné dans le futur. Les partisans de ces systèmes soutiennent que les mégadonnées et l'apprentissage automatique avancé rendent ces analyses plus précises et moins biaisées que les prédictions faites par les humains.
"Les affirmations selon lesquelles les outils de données secrets et apparemment sophistiqués sont plus précis et équitables que les humains ne sont tout simplement pas étayées par nos résultats de recherche", a déclaré Dressel, qui a effectué la recherche dans le cadre de sa thèse de premier cycle en informatique à Dartmouth.
Le document de recherche compare le logiciel commercial COMPAS aux travailleurs engagés par le biais du marché de crowdsourcing en ligne Mechanical Turk d'Amazon pour voir quelle approche est la plus précise et la plus juste pour juger de la possibilité de récidive. Aux fins de l'étude, la récidive a été définie comme le fait de commettre un délit ou un crime dans les deux ans suivant la dernière arrestation d'un accusé.
Des groupes d'internautes ont vu de courtes descriptions incluant le sexe, l'âge et les antécédents criminels d'un accusé. Les résultats humains ont ensuite été comparés aux résultats du système COMPAS qui utilise 137 variables pour chaque individu.
La précision globale était basée sur le taux auquel un accusé était correctement prédit qu'il récidive ou non. La recherche a également fait état de faux positifs – lorsqu'il est prévu qu'un accusé récidive mais ne le fait pas – et de faux négatifs – lorsqu'il est prévu qu'un accusé ne récidive pas mais qu'il le fasse.
Avec considérablement moins d'informations que COMPAS - sept caractéristiques contre 137 - lorsque les résultats ont été regroupés pour déterminer la "sagesse de la foule", les humains sans expérience présumée de la justice pénale étaient exacts dans 67 % des cas présentés, statistiquement les mêmes comme la précision de 65,2 % de COMPAS. Les participants à l'étude et COMPAS étaient d'accord pour 69,2% des 1000 accusés lorsqu'ils prédisaient qui répéterait leurs crimes.
Selon l'étude, la question de la prédiction précise de la récidive ne se limite pas au COMPAS. Une étude distincte citée dans l'étude a révélé que huit des neuf logiciels n'ont pas réussi à faire des prédictions précises.
"Toute l'utilisation d'instruments de prédiction de la récidive dans les salles d'audience devrait être remise en question", a déclaré Dressel. "Avec des travaux antérieurs sur l'équité des algorithmes de justice pénale, ces résultats combinés jettent un doute important sur l'ensemble des efforts de prédiction de la récidive."
Contrairement à d'autres analyses qui se concentrent sur la question de savoir si les algorithmes sont biaisés par la race, l'étude de Dartmouth examine la question plus fondamentale de savoir si l'algorithme COMPAS est meilleur que les humains non formés pour prédire la récidive de manière précise et équitable.
Cependant, lorsque la race était prise en compte, la recherche a révélé que les résultats des répondants humains et du logiciel montraient des disparités importantes entre la façon dont les accusés noirs et blancs sont jugés.
Selon l'article, il est utile de se demander si nous mettrions ces décisions entre les mains de personnes non formées qui répondent à une enquête en ligne, car, au final, "les résultats de ces deux approches semblent indiscernables".