Incidents associés
Lorsque Netflix se trompe sur une recommandation de film, vous pensez probablement que ce n'est pas grave. De même, lorsque vos baskets préférées ne figurent pas dans la liste des produits recommandés d'Amazon, ce n'est probablement pas la fin du monde. Mais lorsqu'un algorithme vous attribue un score de menace de 1 à 500 utilisé pour statuer sur les peines d'emprisonnement, vous pouvez avoir des inquiétudes quant à cette utilisation de l'analyse prédictive.
Pour le grand public, les méthodes de police prédictive sont probablement mieux connues du film de science-fiction de 2002 Minority Report avec Tom Cruise. Basé sur une nouvelle de Philip K. Dick, le film présente une vision de l'avenir dans laquelle les crimes peuvent être prédits et évités. Cela peut ressembler à un scénario utopique farfelu. Cependant, la justice prédictive existe déjà aujourd'hui. S'appuyant sur des systèmes d'apprentissage automatique avancés, il existe une vague de nouvelles entreprises qui fournissent des services prédictifs aux tribunaux ; par exemple, sous la forme d'algorithmes d'évaluation des risques qui estiment la probabilité de récidive des criminels.
Les machines peuvent-elles identifier les futurs criminels ?
Après son arrestation en 2013, Eric Loomis a été condamné à six ans de prison sur la base en partie d'une prédiction algorithmique opaque selon laquelle il commettrait davantage de crimes. Equivant (anciennement Northpointe), la société derrière le logiciel propriétaire utilisé dans le cas d'Eric Loomis, affirme avoir fourni une vue à 360 degrés de l'accusé afin de fournir une assistance algorithmique détaillée dans la prise de décision judiciaire.
Cette société est l'un des nombreux acteurs dans le domaine de la justice prédictive aux États-Unis. Un rapport récent de l'Electronic Privacy Information Center révèle que les algorithmes sont de plus en plus utilisés devant les tribunaux pour «fixer la caution, déterminer les peines et même contribuer aux déterminations de culpabilité ou d'innocence». Cette évolution vers plus d'intelligence artificielle dans les tribunaux, permettant à l'IA d'augmenter le jugement humain, pourrait être extrêmement bénéfique pour le système judiciaire dans son ensemble.
Cependant, un rapport d'enquête de ProPublica a révélé que ces algorithmes ont tendance à renforcer les préjugés raciaux dans les données des forces de l'ordre. Les évaluations algorithmiques ont tendance à désigner à tort les accusés noirs comme de futurs criminels à près de deux fois plus que les accusés blancs. Qui plus est, les juges qui s'appuyaient sur ces évaluations des risques ne comprenaient généralement pas comment les notes étaient calculées.
C'est problématique, car les modèles d'apprentissage automatique ne sont aussi fiables que les données sur lesquelles ils sont formés. Si les données sous-jacentes sont biaisées sous quelque forme que ce soit, il existe un risque que les inégalités structurelles et les biais injustes ne soient pas seulement reproduits, mais également amplifiés. À cet égard, les ingénieurs en intelligence artificielle doivent se méfier particulièrement de leurs angles morts et de leurs hypothèses implicites ; ce n'est pas seulement le choix des techniques d'apprentissage automatique qui compte, mais aussi toutes les petites décisions concernant la recherche, l'organisation et l'étiquetage des données de formation pour les modèles d'IA.
Des données biaisées alimentent des algorithmes biaisés
Même de petites irrégularités et biais peuvent produire une différence mesurable dans l'évaluation finale des risques. Le problème crucial est que des problèmes tels que les préjugés raciaux et la discrimination structurelle sont ancrés dans le monde qui nous entoure.
Par exemple, il existe des preuves que, malgré des taux similaires de consommation de drogue, les Noirs américains sont arrêtés quatre fois plus que les Américains blancs pour des accusations liées à la drogue. Même si les ingénieurs collectaient fidèlement ces données et formaient un modèle d'apprentissage automatique avec elles, l'IA capterait toujours le biais intégré dans le cadre du modèle.
Les modèles systématiques d'inégalité sont partout. Si vous regardez les films les plus rentables de 2014/2015, vous pouvez voir que les personnages féminins sont largement sous-représentés à la fois en termes de temps d'écran et de temps de parole. De nouveaux modèles d'apprentissage automatique peuvent quantifier ces inégalités, mais il reste de nombreuses questions ouvertes sur la manière dont les ingénieurs peuvent les atténuer de manière proactive.
Le récent "Quick, Draw!" de Google expérience montre clairement pourquoi il est important de lutter contre les préjugés. L'expérience invitait les internautes du monde entier à participer à un jeu amusant de dessin. À chaque tour du jeu, les utilisateurs ont été mis au défi de dessiner un objet en moins de 20 secondes. Le système d'IA essaierait alors de deviner ce que leur dessin représente. Plus de 20 millions de personnes de 100 nations ont participé au jeu, résultant en plus de 2 milliards de dessins divers de toutes sortes d'objets, y compris des chats, des chaises, des cartes postales, des papillons, des horizons, etc.
Mais lorsque les chercheurs ont examiné les dessins de chaussures dans l'ensemble de données, ils ont réalisé qu'ils avaient affaire à un fort préjugé culturel. Un grand nombre des premiers utilisateurs ont dessiné des chaussures qui ressemblaient à des baskets Converse. Cela a conduit le modèle à choisir les attributs visuels typiques des baskets comme exemple prototypique de ce à quoi une «chaussure» devrait ressembler. Par conséquent, les chaussures qui ne ressemblaient pas à des baskets, comme les talons hauts, les ballerines ou les sabots, n'étaient pas reconnues comme des chaussures.
Des études récentes montrent que, s'ils ne sont pas contrôlés, les modèles d'apprentissage automatique apprendront des stéréotypes de genre dépassés, tels que les « médecins » étant des hommes et les « réceptionnistes » étant des femmes. De la même manière, les modèles d'IA