Incidents associés
Les algorithmes invisibles façonnent de plus en plus le monde dans lequel nous vivons, et pas toujours pour le mieux. Malheureusement, peu de mécanismes sont en place pour s'assurer qu'ils ne causent pas plus de mal que de bien.
Cela pourrait enfin changer : un premier projet de loi au pays, adopté hier à New York, offre un moyen de garantir que les codes informatiques que les gouvernements utilisent pour prendre des décisions servent la justice plutôt que l'inégalité.
Les algorithmes informatiques sont une série d'étapes ou d'instructions conçues pour effectuer une tâche spécifique ou résoudre un problème particulier. Les algorithmes informent les décisions qui affectent de nombreux aspects de la société. De nos jours, ils peuvent déterminer quelle école un enfant peut fréquenter, si une personne se verra offrir un crédit par une banque, quels produits sont annoncés au consommateur et si quelqu'un recevra un entretien pour un emploi. Les responsables gouvernementaux les utilisent également pour prédire où les crimes auront lieu, qui est susceptible de commettre un crime et si quelqu'un devrait être autorisé à sortir de prison sous caution.
Les algorithmes sont souvent présumés objectifs, infaillibles et impartiaux. En fait, ils sont très vulnérables aux préjugés humains. Et lorsque les algorithmes sont défectueux, ils peuvent avoir de graves conséquences.
Tout récemment, une technique de test ADN très controversée utilisée par le médecin légiste de New York a mis en danger des milliers d'affaires criminelles. Un code défectueux peut également enraciner davantage les inégalités systémiques. Les algorithmes utilisés dans la technologie de reconnaissance faciale, par exemple, se sont révélés moins précis sur les Noirs, les femmes et les mineurs, ce qui expose des personnes innocentes au risque d'être qualifiées de suspects de crime. Et une étude de ProPublica a révélé que les outils conçus pour déterminer la probabilité d'activités criminelles futures faisaient des prédictions incorrectes qui étaient biaisées contre les Noirs. Ces outils sont utilisés pour prendre des décisions de mise en liberté sous caution et de condamnation, reproduisant le racisme dans le système de justice pénale sous couvert de neutralité technologique.
Mais même quand on sait qu'un algorithme est raciste, il n'est pas si facile de comprendre pourquoi. C'est en partie parce que les algorithmes sont généralement gardés secrets. Dans certains cas, ils sont considérés comme propriétaires par les entreprises qui les ont créés, qui se battent souvent bec et ongles pour empêcher le public d'accéder au code source derrière eux. Ce secret rend impossible la réparation d'algorithmes défectueux.
Le conseil municipal de New York a adopté hier une législation qui, nous l'espérons, nous aidera à résoudre ces problèmes. La ville de New York utilise déjà des algorithmes pour aider à un large éventail de tâches : décider qui reste et qui sort de prison, évaluations des enseignants, lutte contre les incendies, identification des complications graves de la grossesse, et bien plus encore. Le NYPD utilisait également auparavant un logiciel alimenté par un algorithme développé par Palantir Technologies qui prend les enregistrements d'arrestation, les scans de plaques d'immatriculation et d'autres données, puis trace ces données pour soi-disant aider à révéler les liens entre les personnes et même les crimes. Le département a depuis développé son propre logiciel pour effectuer une tâche similaire.
Le projet de loi, qui devrait être signé par le maire Bill de Blasio, permettra de mieux comprendre comment les agences de la ville utilisent des algorithmes pour fournir des services tout en augmentant la transparence autour d'eux. Ce projet de loi est le premier au pays à reconnaître le besoin de transparence lorsque les gouvernements utilisent des algorithmes et à déterminer comment évaluer si leur utilisation entraîne des résultats biaisés et comment remédier aux impacts négatifs.
La législation créera un groupe de travail pour examiner l'utilisation des algorithmes par les agences de la ville de New York et les problèmes politiques qu'ils impliquent. Le groupe de travail sera composé d'experts en transparence, en équité et en personnel d'organisations à but non lucratif qui travaillent avec les personnes les plus susceptibles d'être lésées par des algorithmes défectueux. Il élaborera un ensemble de recommandations traitant du moment et de la manière dont les algorithmes doivent être rendus publics, de la manière d'évaluer s'ils sont biaisés et de l'impact d'un tel biais.
Ce sont des questions extrêmement épineuses et, par conséquent, certaines choses restent sans réponse dans le projet de loi. Il ne précise pas, par exemple, si le groupe de travail exigera que tous les algorithmes sous-jacents au code source soient rendus publics ou si la divulgation du code source dépendra de l'algorithme et de son contexte. Bien que nous croyions fermement qu'il est essentiel de permettre à des chercheurs extérieurs d'examiner et de tester des algorithmes pour renforcer ces systèmes, le groupe de travail est chargé de recommander la bonne approche.
De même, le projet de loi laisse au groupe de travail le soin de déterminer quand un algorithme nuit de manière disproportionnée à un groupe particulier de New-Yorkais - en fonction de la race, de la religion, du sexe ou d'un certain nombre d'autres facteurs. Étant donné que les experts continuent de débattre de cette question difficile, le travail rigoureux et réfléchi du groupe de travail sera crucial pour protéger les droits des New-Yorkais.
L'Union des libertés civiles de New York a témoigné en faveur d'une version antérieure du projet de loi en octobre, mais nous surveillerons la composition exacte du groupe de travail, quelles recommandations sont avancées et si de Blasio y donne suite. Nous allons