Incidents associés
L'évaluation du risque de récidive est le processus de détermination de la probabilité qu'une personne accusée, condamnée ou incarcérée récidive. Le processus vise à aider à déterminer la limitation appropriée de la liberté du sujet. Grâce à l'innovation technologique, en particulier dans le domaine de l'intelligence artificielle (IA), les outils d'évaluation du risque de récidive basés sur la technologie de l'IA sont désormais bien développés et utilisés dans le système de justice pénale. Les outils algorithmiques sont de plus en plus utilisés dans le système de justice pénale canadien dans les phases précédant le procès, de détermination de la peine et après la détermination de la peine pour prédire le comportement criminel futur des personnes accusées, condamnées ou incarcérées. L'utilisation croissante de la technologie de l'IA dans l'évaluation des risques de récidive dans le système de justice pénale soulève de nombreuses questions juridiques. Je vais discuter de trois de ces questions dans ce billet de blog. Le premier problème concerne ce que j'appelle le racisme algorithmique. Cela découle de l'utilisation de données historiques dans la formation d'outils d'évaluation des risques liés à l'IA. Cela a tendance à perpétuer les biais historiques qui sont reproduits dans les évaluations des risques par ces outils d'IA. La deuxième question concerne la légalité de l'utilisation des évaluations des risques liés à l'IA par les juges dans les décisions de condamnation. Je soutiens que l'évaluation des risques d'IA basée sur les données d'une population générale a tendance à priver un condamné du droit à une peine individualisée basée sur des informations précises. Troisièmement, il y a le problème de la nature exclusive de la méthodologie utilisée dans les outils d'évaluation des risques liés à l'IA. C'est particulièrement le cas lorsque les délinquants qui contestent leur condamnation pénale cherchent à accéder à ces secrets commerciaux exclusifs. Problèmes liés à l'utilisation de l'IA dans l'évaluation des risques en matière de justice pénale Racisme algorithmique - Du vieux vin dans une nouvelle bouteille Par racisme algorithmique, je fais référence à un biais systémique fondé sur la race résultant de l'utilisation d'outils alimentés par l'IA dans l'analyse des données dans la prise de décision résultant en des résultats injustes pour les individus d'un segment particulier de la société distingué par la race. L'IA se nourrit des mégadonnées. Une grande quantité de données est nécessaire pour former l'algorithme d'IA afin de lui permettre de faire des prédictions. Certaines des données utilisées pour former l'algorithme d'IA à l'évaluation du risque de récidive sont des données historiques d'époques d'incarcération de masse, de maintien de l'ordre biaisé et de régimes de cautionnement et de condamnation biaisés caractérisés par une discrimination systémique à l'encontre de sections particulières de la société. Le Canada n'est pas à l'abri des problèmes associés aux données provenant de services de police biaisés, comme en témoignent les données de la pratique de «fichage» vieille de plusieurs décennies par certains services de police. Toronto, Edmonton et Halifax sont connus pour cette pratique qui a été régulièrement critiquée pour cibler de manière disproportionnée les jeunes Noirs et Autochtones. Plus préoccupant est le fait que certaines de ces données ignorent les récentes réformes de réduction des risques et de lutte contre la discrimination visant à remédier à la surreprésentation de segments particuliers de la société dans le système de justice pénale. Contrairement au racisme explicite qui va de soi et est évident, le racisme algorithmique n'est pas ouvertement manifeste, mais plutôt obscurci et enfoui dans les données. En fait, il est encore plus brouillé par un système de croyances qui tend à dépeindre la technologie comme neutre sur le plan racial et daltonien. Les évaluations biaisées de manière algorithmique par des outils d'IA (contrairement aux preuves d'experts) sont acceptées dans le système de justice pénale sans autre examen ou contre-interrogatoire. Ceci est lié à «l'ancrage» - un terme utilisé par les scientifiques du comportement pour désigner les biais cognitifs qui découlent de la tendance humaine à s'appuyer sur des données disponibles dans la prise de décision sans tenir compte (le cas échéant) des défauts des données. Comprendre le racisme algorithmique nécessiterait l'utilisation de l'objectif approprié pour examiner ses tentacules cachés intégrés ou obscurcis dans les technologies d'évaluation des risques d'IA utilisées dans le système de justice pénale. La théorie critique de la race (CRT) fournit une lentille appropriée pour l'étude du racisme algorithmique. Le CRT a été développé par des juristes qui avaient l'intention de comprendre les expériences vécues des personnes de couleur dans un système judiciaire qui se présentait comme objectif et neutre sur le plan racial. CRT adopte la notion que le racisme est endémique dans la société. Selon Devon W. Carbado, dans "Critical What What?" (2011) 43:5 Connecticut Law Review 1593 à 1609, CRT conteste les principes dominants selon lesquels le daltonisme entraîne la neutralité raciale et que la conscience des couleurs génère des préférences raciales. Le CRT considère la notion de daltonisme comme un mécanisme qui aveugle plutôt les gens aux politiques racistes qui perpétuent davantage l'inégalité raciale. Bennett Capers a noté que les écrits qui ont influencé le mouvement racial critique ont tendance à se concentrer sur certains thèmes récurrents tels que - que les lois daltoniennes ont tendance à dissimuler une véritable inégalité dans la société, que les réformes qui profitent apparemment aux minorités ne sont possibles que lorsqu'elles sont en l'intérêt de la majorité blanche, et que la race a tendance à être évitée dans la loi. Les chercheurs du CRT utilisent progressivement des études de recherche sur les biais implicites pour illustrer les affirmations. L'examen de ces études et données de recherche tend à démasquer le racisme implicite enfoui dans les lois et les pratiques sociales qui entraîne des résultats injustes ou des préjugés contre des individus d'un segment particulier de la société caractérisé par la race. L'utilisation du CRT pour étudier ces outils d'évaluation des risques liés à l'IA et leur fonctionnement révélera comment ces nouvelles technologies renforcent les préjugés implicites et explicites contre les groupes minoritaires - en particulier les Noirs et les délinquants autochtones qui constituent une population disproportionnée dans le système de justice pénale canadien. « Madea va en prison » – Peine individualisée ou généralisée sur la base d'informations exactes spécifiques au délinquant. Dans le meilleur des cas, les outils algorithmiques d'évaluation du risque fondent leur évaluation du risque sur des facteurs généraux similaires aux antécédents du délinquant et non particulièrement spécifiques au délinquant. Dans R. c. Jackson 2018 ONSC 2527 (CanLII), le juge Nakatsuru de la Cour supérieure de l'Ontario a noté que « la détermination de la peine est et a toujours été un processus très individuel. Un juge prend en compte les faits spécifiques au cas de l'infraction et du contrevenant pour déterminer une peine juste et appropriée… Plus un juge qui prononce la peine en sait vraiment sur le contrevenant, plus la peine peut être exacte et proportionnée. (paragraphe 3 [soulignement ajouté]). Les outils modernes d'évaluation du risque de récidive fondés sur des algorithmes et des mégadonnées fournissent tout sauf une évaluation ou une prédiction individualisée de la récidive. Au mieux, ils fournissent des prédictions fondées sur la récidive moyenne d'une population générale de personnes qui partagent des caractéristiques semblables à celles de l'accusé. Ce processus a la tendance involontaire à perpétuer les stéréotypes associés à certains groupes (par exemple, les minorités raciales). Les juges chargés de la détermination de la peine, en tant que travailleurs de première ligne du système de justice pénale, ont l'obligation de veiller à ce que les informations qu'ils utilisent dans leurs décisions en matière de peine ne contribuent pas directement ou indirectement à des stéréotypes négatifs et à des discriminations. R. c. Ipeelee, 2012 CSC 13 (CanLII) au para 67. L'utilisation d'outils d'évaluation du risque de récidive est très courante dans le système de justice pénale canadien. Kelly Hannah-Moffat dans "Actuarial Sentencing: An 'Unsettled' Proposition", a noté la tendance des avocats et des agents de probation à classer les individus qui obtiennent des scores d'évaluation à haut risque comme des délinquants à haut risque plutôt que simplement comme des individus qui partagent des caractéristiques similaires avec des membres moyens. de ce groupe. Elle a noté que « [I] n lieu d'être compris comme des corrélations, les scores de risque sont mal interprétés dans les observations des tribunaux, les rapports présentenciels et la gamme de récits de dossiers institutionnels qui attribuent les caractéristiques d'une catégorie de risque à l'individu. » (à la page 12) Notre système de justice pénale est fondé sur l'idée que les gens doivent être traités comme des individus en vertu de la loi et non comme faisant partie d'une statistique – et cela s'applique même aux peines pénales. Par conséquent, les technologies d'évaluation du risque de récidive basées sur l'IA et les mégadonnées ont été critiquées comme privant l'accusé du droit à une peine individualisée basée sur des informations précises. (Voir l'affaire américaine State v. Loomis, 881N.W.2d 749 (Wis. 2016) ci-après Loomis). Cela soulève une question relative à l'article 7 de la Charte découlant de la constitutionnalité des évaluations effectuées par la technologie, en particulier en ce qui concerne le droit d'un contrevenant condamné à une détermination de la peine individualisée basée sur des informations exactes. Dans Loomis, le délinquant a contesté l'utilisation de l'évaluation algorithmique du risque dans sa détermination de la peine. Il a fait valoir que l'utilisation du score d'évaluation des risques généré par l'outil algorithmique d'évaluation des risques COMPAS violait son droit à une peine individualisée parce que l'outil s'appuyait sur des informations sur un groupe plus large pour faire une inférence sur sa probabilité de récidive. Le délinquant a fait valoir que toute prise en compte d'informations sur une population plus large dans la détermination de sa probabilité de récidive viole son droit à une procédure régulière. Le tribunal de Loomis a noté l'importance des peines individualisées dans le système de justice pénale et a reconnu le fait que les données COMPAS sur la récidive ne sont pas individualisées, mais plutôt basées sur des données de groupes similaires aux délinquants. La détermination de la peine est un aspect essentiel de notre système de justice pénale. Plus les juges chargés de la détermination de la peine en savent sur le comportement passé, présent et futur probable des délinquants, y compris leurs antécédents personnels – historiques, sociaux et culturels – plus les juges sont en mesure de prononcer des peines exactes et proportionnelles. Bien que les scores de risque puissent compléter efficacement les efforts des juges pour élaborer des peines appropriées, les juges doivent toujours se rappeler que les scores de risque algorithmiques ne sont qu'un des nombreux facteurs à utiliser dans la détermination des peines appropriées et, par conséquent, un poids approprié doit être attaché à ce facteur. ainsi que de nombreux autres facteurs afin de s'assurer que la peine imposée au délinquant est aussi individualisée qu'elle pourrait l'être. Le juge Nakatsuru dans R. c. Jackson a observé à juste titre que : Une peine imposée sur la base d'une connaissance complexe et approfondie de la personne devant le tribunal, telle qu'elle se situe dans la réalité passée et présente de son expérience vécue, sera très différente d'une peine infligée à une découpe en carton d'un «délinquant» (au paragraphe 103). Les juges chargés de la détermination de la peine ne devraient à aucun moment du processus de détermination de la peine renoncer à utiliser leur pouvoir discrétionnaire pour annuler ou ignorer les scores de risque algorithmiques qui semblent ne pas correspondre à d'autres facteurs pris en compte dans le processus de détermination de la peine, en particulier lorsque ces scores de risque ont tendance à aggraver plutôt qu'à atténuer la phrase. Un autre problème susceptible de nuire davantage à la capacité des outils d'évaluation des risques de l'IA à obtenir un score de risque individualisé survient lorsque des outils d'IA qui sont développés et testés sur les données d'un groupe particulier sont utilisés sur un autre groupe non homogène au groupe d'origine. Il en résultera un biais de représentation. Les tentatives de déploiement de la technologie de l'IA dans des groupes non représentés efficacement dans les données de formation utilisées pour développer et former la technologie entraîneraient généralement des résultats erronés et inexacts. Ce problème a été évident dans les logiciels de reconnaissance faciale. Un rapport du New York Times montre que les logiciels de reconnaissance faciale IA sur le marché aujourd'hui sont développés et entraînés sur des données d'hommes à prédominance blanche. Alors que le logiciel a été en mesure d'atteindre une précision de 99% dans la reconnaissance des visages des hommes blancs, cela n'a pas été le cas avec les autres races et le sexe féminin. Plus la peau est foncée, plus le résultat est imprécis et imparfait - jusqu'à 35% de taux d'erreur pour les femmes à la peau plus foncée. Dans Ewert c. Canada 2018 CSC 30 (CanLII), un homme autochtone a contesté en vertu de la Charte son évaluation des risques par le Service correctionnel du Canada (SCC). Les outils utilisés dans l'évaluation ont été développés et testés sur une population majoritairement non autochtone. La Cour suprême a statué que l'obligation du SCC en vertu du paragraphe 24(1) de la Loi sur le système correctionnel et la mise en liberté sous condition s'applique aux résultats générés par les outils d'évaluation des risques. Ainsi, un outil algorithmique qui est développé et formé sur la base des données d'un groupe culturel prédominant sera, plus probablement qu'improbable, une variante interculturelle dans une certaine mesure lorsqu'il est appliqué à un autre groupe culturel non représenté (ou pas représenté de manière adéquate) dans les données. utilisé pour former l'outil. Il est peu probable que cela génère une évaluation individualisée du délinquant, mais il y a plus de chances qu'elle aboutisse à une évaluation erronée du risque posé par le délinquant. Droit de propriété contre droit de la Charte La méthodologie utilisée dans l'évaluation de la récidive par les outils d'évaluation des risques de l'IA est considérée comme un secret commercial exclusif et n'est généralement pas disponible pour examen par le tribunal, l'accusé ou le ministère public. Les droits de propriété attachés à ces outils restreignent la capacité du juge, de l'accusation ou de l'accusé à accéder ou à déterminer quels facteurs sont pris en considération dans l'évaluation, et quel poids est attaché à ces facteurs. Le processus secret associé à ces outils devient problématique lorsque des délinquants contestant leur peine défavorable résultant d'évaluations faites par ces outils cherchent à accéder à des informations exclusives pour prouver le caractère arbitraire de la privation de liberté ou pour invalider la peine résultant de l'évaluation. Dans notre système de justice pénale, un accusé a le droit garanti par la Charte à la liberté personnelle et à l'équité procédurale tant au procès qu'au prononcé de la peine. Ces droits découlent également de l'incarcération lorsque des décisions affectant la liberté du délinquant sont prises par des agents correctionnels (par exemple, la cote de sécurité). (Voir May c. Établissement Ferndale, 2005 CSC 82 (CanLII) au para 76 (ci-après May c. Ferndale). L'imposition d'une peine criminelle exigeant l'incarcération implique clairement une privation des droits garantis par la Charte du délinquant. Une telle privation doit être conformément à la loi. Mais que se passe-t-il si un délinquant condamné cherche à accéder à un secret commercial exclusif dans un outil d'IA commercial utilisé pour évaluer la récidive entraînant la condamnation pénale ? Cela donnera lieu à un conflit entre le droit de propriété d'une société commerciale sur ses Dans l'affaire May c. Ferndale, le Service correctionnel du Canada (SCC) avait utilisé un outil informatisé d'évaluation du risque – l'Échelle de reclassification de la sécurité (ERS) – pour examiner la cote de sécurité de certains détenus, du niveau de risque minimum à moyen. . Les détenus ont demandé l'accès à la matrice de notation utilisée par l'outil informatisé SRS. Le SCC leur a refusé l'accès. La Cour suprême du Canada a statué que les détenus étaient manifestement ent autorisé à accéder à la matrice de notation SRS, et que le défaut de divulguer l'information constituait une violation majeure de l'équité procédurale. Selon le tribunal : Les appelants ont été privés d'informations essentielles à la compréhension du système informatisé qui générait leurs scores. Les appelants n'ont pas reçu la formule utilisée pour pondérer les facteurs ni les documents utilisés pour noter les questions et les réponses. Les appelants connaissaient les facteurs, mais ne savaient pas comment les valeurs leur étaient attribuées ou comment ces valeurs étaient prises en compte dans la génération de la note finale. (au para 117 [soulignement ajouté]) La Cour suprême a noté qu'il était de bon sens que les scores matriciels ainsi que la méthodologie utilisée pour arriver à la cote de sécurité aient été mis à la disposition des détenus : Pour une question de logique et de bon sens , le tableau de notation et la méthodologie associés au score de classification SRS auraient dû être mis à disposition. L'importance de rendre ces informations disponibles découle du fait que les détenus peuvent vouloir réfuter les preuves sur lesquelles s'appuient le calcul de la cote SRS et de la cote de sécurité. Cette information peut être critique dans des circonstances où une classification de sécurité dépend du poids attribué à un facteur spécifique. (au para 118 [soulignement ajouté]) Conclusion Les technologies de l'intelligence artificielle continueront de révolutionner notre système de justice. S'il est bien utilisé, il pourrait grandement améliorer l'administration efficiente et efficace de notre système de justice pénale. Cependant, l'utilisation de l'IA dans notre système de justice pénale soulève des problèmes juridiques graves et nouveaux qui doivent être résolus. Il est important d'étudier ces problèmes juridiques dans le but ultime d'élaborer un cadre qui atténuera les effets néfastes et discriminatoires de ces technologies sur les droits des accusés et des délinquants.