Incidents associés
Recevez des e-mails sur les programmes NOVA à venir et le contenu connexe, ainsi que des reportages sur les événements actuels à travers une lentille scientifique. Adresse e-mail Code postal S'inscrire
Selon une étude récente, un algorithme informatique "impartial" utilisé pour éclairer les décisions judiciaires ne semble pas être meilleur que les évaluations d'un groupe aléatoire de personnes. De plus, l'algorithme semble émettre des recommandations racistes.
COMPAS, le logiciel que de nombreux juges utilisent pour éclairer leurs décisions de condamnation, a tendance à classer les Noirs comme à haut risque et les Blancs comme à faible risque, bien qu'ils n'incluent pas d'informations explicites sur la race. En pratique, cela se traduit par des propositions de réhabilitation plus cl émentes pour les accusés blancs et des programmes plus rigoureux pour les accusés noirs du même risque de récidive.
Assistance fournie par En savoir plus
Une étude portant sur 1 000 accusés suggère qu'un algorithme utilisé par les juges de plusieurs États peut être erroné un tiers du temps.
Les résultats – et le biais – étaient statistiquement indiscernables des appels de jugement effectués par des volontaires humains sélectionnés au hasard sur Internet.
Voici John Timmer écrivant à Ars Technica :
L'importance de cet écart fait encore l'objet de débats, mais deux chercheurs du Dartmouth College ont posé une question plus fondamentale : le logiciel est-il bon ? La réponse qu'ils ont trouvée est "pas spécialement", car ses performances pourraient être égalées en recrutant des personnes sur Mechanical Turk ou en effectuant une analyse simple qui ne prend en compte que deux facteurs.
Le préjugé racial se glisse probablement dans l'algorithme COMPAS à travers les données sur les taux d'arrestation, qui dans certaines villes et certains comtés sont faussés. Equivalent, le développeur de COMPAS, affirme qu'il s'appuie sur 127 points de données différents pour déterminer les programmes de réadaptation, mais seulement sur six pour évaluer si un individu est à risque de récidive.
La nouvelle étude s'appuie sur une enquête de Pro Publica, qui a analysé les performances de COMPAS dans le comté de Broward, en Floride, entre 2013 et 2014. Des chercheurs du Dartmouth College ont recueilli des données sur l'âge, le sexe et les antécédents criminels de 1 000 accusés et les ont transmises à des «juges» bénévoles qui ont été recrutés sur Internet via le service Mechanical Turk d'Amazon.
COMPAS n'était pas meilleur que les participants à l'étude pour évaluer le risque de récidive d'un accusé. Les auteurs de l'étude ont comparé les recommandations faites par COMPAS et les participants avec des données réelles sur les récidivistes. En pratique, plus de personnes blanches dont on prévoyait qu'elles ne récidiveraient pas l'ont fait (40,3 % d'humains, 47,9 % COMPAS) par rapport aux Noirs (29,2 % d'humains, 30,9 % COMPAS). De plus, une plus grande proportion de criminels noirs ont été prédits à tort de récidiver (37,1 % d'humains, 40,4 % COMPAS) par rapport aux accusés blancs (27,2 % d'humains, 25,4 % COMPAS).
Alors que COMPAS et les jugements humains étaient similaires, les appels de jugement échoués avaient tendance à favoriser les accusés blancs et à désavantager les accusés noirs. Les faux positifs sont des cas où les criminels ne récidivent pas, mais ont été prédits. Les faux négatifs sont des cas où les criminels devaient se réformer mais ne l'ont pas fait.
Les chercheurs de Dartmouth ont également réussi à reproduire les prédictions du logiciel en ne consultant que 5% des informations que l'algorithme est censé prendre en compte.
"Le logiciel commercial d'évaluation des risques COMPAS, largement utilisé, n'est pas plus précis ou juste que les prédictions faites par des personnes ayant peu ou pas d'expertise en matière de justice pénale", écrivent les auteurs de l'étude. "Un prédicteur linéaire simple fourni avec seulement deux fonctionnalités est presque équivalent à COMPAS avec ses 137 fonctionnalités."