Incidents associés
L'un de mes biens les plus précieux est The Art of Computer Programming de Donald Knuth, un informaticien pour qui le mot "légendaire" aurait pu être inventé. D'une certaine manière, on pourrait considérer son magnum opus comme une tentative de faire pour l'informatique ce que les Principia Mathematica de Russell et Whitehead ont fait pour les mathématiques - c'est-à-dire revenir aux bases du domaine et vérifier ses éléments fondamentaux.
En informatique, l'un de ces éléments fondamentaux est l'algorithme - un ensemble autonome d'opérations étape par étape à effectuer, généralement par un ordinateur. Les algorithmes sont un peu comme les recettes que nous utilisons en cuisine, mais ils doivent être beaucoup plus précis car ils doivent être mis en œuvre par des dispositifs stupides et littéraux appelés ordinateurs.
Les algorithmes sont les éléments constitutifs de tous les programmes informatiques et le chef-d'œuvre de Knuth est consacré à leur analyse. Sont-ils finis (c'est-à-dire se terminant après un nombre fini d'étapes) ? Chaque étape est-elle précisément définie ? Quelles sont ses entrées et ses sorties ? Et l'algorithme est-il efficace ? Dans le large éventail de son enquête magistrale, cependant, il y a une question que Knuth ne pose jamais à un algorithme : quelles sont ses implications éthiques ?
Un homme noir sur trois peut s'attendre à être incarcéré (contre un Latino sur six et un Blanc sur 17)
Ce n'est pas une critique, d'ailleurs. De telles questions n'étaient pas pertinentes pour son projet, qui était d'asseoir l'informatique sur des bases solides. En outre, il écrivait dans les années 1960 lorsque l'idée que les ordinateurs pourraient avoir de profonds impacts sociaux, économiques et politiques n'était sur le radar de personne. L'idée que nous vivrions un jour dans une « société de l'information » totalement dépendante des ordinateurs aurait semblé fantaisiste à la plupart des gens.
Mais cette société est devenue réalité, et soudain les algorithmes qui sont les éléments constitutifs de ce monde ont pris une nouvelle signification parce qu'ils ont commencé à acquérir du pouvoir sur notre vie quotidienne. Ils déterminent si nous pouvons obtenir un prêt bancaire ou une hypothèque, et à quelles conditions, par exemple ; si nos noms figurent sur les listes d'interdiction de vol ; et si les flics locaux vous considèrent comme un criminel potentiel ou non.
Pour ne prendre qu'un exemple, les juges, les forces de police et les agents de libération conditionnelle à travers les États-Unis utilisent maintenant un programme informatique pour décider si un accusé est susceptible de récidiver ou non. L'idée de base est qu'un algorithme est susceptible d'être plus « objectif » et cohérent que le jugement plus subjectif des responsables humains. L'algorithme en question s'appelle Compas (Correctional Offender Management Profiling for Alternative Sanctions). Lorsque les accusés sont emprisonnés, ils répondent à un questionnaire Compas et leurs réponses sont introduites dans le logiciel pour générer des prédictions de « risque de récidive » et de « risque de récidive violente ».
Il s'avère que l'algorithme est assez bon pour prédire la récidive et moins bon pour prédire la variété violente. Jusqu'ici tout va bien. Mais devinez quoi ? L'algorithme n'est pas daltonien. Les accusés noirs qui n'ont pas récidivé sur une période de deux ans étaient près de deux fois plus susceptibles d'être classés à tort comme à risque plus élevé que leurs homologues blancs; les accusés blancs qui ont récidivé au cours des deux années suivantes avaient été étiquetés à tort à faible risque presque deux fois plus souvent que les récidivistes noirs.
Facebook Twitter Pinterest Donald Knuth (à gauche), qui s'est attaqué aux algorithmes dans les années 1960 dans The Art of Computer Programming. Photographie: Archives Bettmann
Nous le savons uniquement parce que le site Web ProPublica a entrepris un travail remarquable de reportage d'investigation. Via une demande d'accès à l'information, les journalistes ont obtenu les scores Compas de près de 12 000 délinquants en Floride, puis ont construit un profil des antécédents criminels de chaque individu avant et après leur notation. Les résultats de l'analyse sont assez clairs. Si vous êtes noir, les chances d'être jugé comme un récidiviste potentiel sont nettement plus élevées que si vous êtes blanc. Et pourtant, ces prédictions algorithmiques ne sont pas corroborées par des preuves.
Un cynique pourrait dire que ce n'est pas une surprise : le racisme traverse le système judiciaire américain comme le message d'un bâton de pierre. Un homme noir sur trois peut s'attendre à être incarcéré au cours de sa vie (contre un Latino sur six et un Blanc sur 17). Cela devrait être un argument pour faire des évaluations et des prévisions en utilisant un algorithme plutôt que des fonctionnaires qui peuvent avoir des préjugés. Et pourtant, cette analyse du système Compas suggère que même la machine a un parti pris racial.
Le grand casse-tête est de savoir comment le biais se glisse dans l'algorithme. Nous pourrions peut-être comprendre comment si nous pouvions l'examiner. Mais la plupart de ces algorithmes sont propriétaires et secrets, ce sont donc en fait des «boîtes noires» - des machines virtuelles dont le fonctionnement est opaque. Pourtant, le logiciel qu'ils contiennent a été écrit par des êtres humains, dont la plupart ignoraient probablement que leur travail avait désormais une dimension morale importante. Peut-être que le prochain livre du professeur Knuth devrait être The Ethics of Computer Programming.