Incidents associés
Le 15 janvier, le gouvernement néerlandais a été contraint de démissionner au milieu d'un scandale autour de son régime d'allocations familiales. Des systèmes censés détecter les abus du régime de prestations ont qualifié à tort plus de 20 000 parents de fraudeurs. Plus important encore, un nombre disproportionné de personnes qualifiées de fraudeurs étaient issues de l'immigration.
Parmi les bouleversements, peu d'attention a été portée au fait que l'administration fiscale utilisait des algorithmes pour guider ses prises de décision. Dans un rapport de l'autorité néerlandaise de protection des données, il est apparu clairement qu'un algorithme "d'auto-apprentissage" était utilisé pour classer les demandes de prestations. Son rôle était de savoir quelles affirmations risquaient le plus d'être fausses. Le modèle de classification des risques a servi de premier filtre ; les responsables ont ensuite examiné les allégations présentant le risque le plus élevé. Il s'avère que certaines demandes de parents ayant la double nationalité ont été systématiquement identifiées par l'algorithme comme étant à haut risque, et les autorités ont alors rapidement marqué ces demandes comme frauduleuses.
Il est difficile d'identifier ce qui a conduit l'algorithme à une sortie aussi biaisée, et c'est précisément l'un des problèmes fondamentaux. Cet article de blog soutient que le scandale néerlandais devrait servir de leçon de prudence aux agences qui souhaitent utiliser des outils d'application algorithmique et souligne la nécessité de structures de gouvernance dédiées au sein de ces agences pour éviter les faux pas.
Le problème de l'équité dans l'apprentissage automatique
Le scandale néerlandais nous place au centre du débat crucial autour de l'équité algorithmique (Kleinberg et al., 2018). Comme le montre ce cas, des erreurs dans la mise en œuvre de l'apprentissage automatique peuvent déformer la réalité et conduire à des résultats injustes. De telles erreurs, comme le soi-disant « déséquilibre de classe », un problème courant de classification de l'apprentissage automatique (Buda et al., 2018), peuvent ont été un facteur qui a conduit l'algorithme de l'autorité à trouver une plus grande distribution d'erreurs dans une population minoritaire. La sortie de l'algorithme est donc devenue biaisée et injuste.
Nous soutenons que ce concept peut facilement être étendu au-delà de ce cas spécifique. Les préjugés algorithmiques au sein des agences pourraient nuire à n'importe quel intervenant dans n'importe quel secteur. Selon divers aspects tels que la nature des données qu'elle traite (Lum, 2017), certaines parties prenantes pourraient se voir pénalisées, alors que d'autres ne le sont pas. L'algorithme d'une agence de la concurrence, par exemple, pourrait se concentrer de manière disproportionnée sur les entreprises d'une région particulière. Ou les contrôles alimentaires et de sécurité pourraient être injustement dirigés vers un type spécifique d'aliment.
Un outil tentant pour les superviseurs
Alors que l'UE adopte des stratégies d'application davantage fondées sur les risques (Blanc & Faure, 2020), il peut être intéressant pour les agences d'utiliser des algorithmes pour évaluer les risques. C'est particulièrement le cas dans les secteurs où la charge de travail bénéficierait d'une certaine forme d'analyse automatisée des données. Bien que les données lisibles par machine soient une condition préalable à de tels outils, la plupart des agences en ont une abondance. La BCE, par exemple, a exprimé son intérêt pour les techniques d'apprentissage automatique pour rendre la supervision plus efficace et proactif. Il a déjà tenté d'utiliser des algorithmes pour simplifier les évaluations d'aptitude et d'honorabilité des personnes nommées au conseil d'administration des banques. Malgré l'appel, le scandale néerlandais de l'aide sociale a mis en évidence les risques de les utiliser dans l'exécution et la nécessité d'une structure de gouvernance dédiée.
La nécessité d'une structure de gouvernance dédiée
Récemment, la Commission européenne [s'est concentrée](https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=&cad=rja&uact=8&ved=2ahUKEwj9_tv177TvAhUN_aQKHTegAzUQFjAAegQIARAD&url=https%3A%2F%2Fec.europa .eu%2Finfo%2Fsites%2Finfo%2Ffiles%2Fcommission-white-paper-artificial-intelligence-feb2020_en.pdf&usg=AOvVaw2HftMct7xrQSgoxgQKocnH) ses préoccupations en matière d'IA concernant la protection des droits et des valeurs fondamentales. Il a également défini des lignes directrices éthiques pour une IA digne de confiance, dans lesquelles l'équité (ou l'absence de parti pris ) est l'une des principales exigences des systèmes d'IA. La partialité est décrite comme « une tendance à préjuger envers ou contre une personne, un objet ou une position ». L'équité devrait donc garantir qu'un modèle fondé sur les risques n'affecte pas de manière disproportionnée des groupes restreints de parties prenantes.
Au-delà des grandes lignes des engagements de principe, les agences devront concevoir des plans méticuleux pour évaluer les opérations de ses algorithmes d'apprentissage automatique. Éliminer les biais de l'algorithme est une tâche extrêmement difficile ([Hao, 2019](https://www.technologyreview.com/2019/02/04/137602/this-is-how-ai-bias-really-happensand-why- c'est-si-difficile-à-réparer/)) et nécessite une véritable expertise. Comme l'ABE note, la prévention des biais et la détection est un domaine de recherche en constante évolution. Idéalement, il faut s'assurer que les algorithmes sont exempts de biais par conception. Cela ne peut parfois être réalisé qu'en émettant des hypothèses sur les effets potentiels de l'algorithme (Corbett-Davies & Goel, 2018). Les agences devront donc ajuster en permanence leurs algorithmes, une tâche qui peut nécessiter des départements et une expertise dédiés.
Les agences peuvent être enclines à se cacher derrière le fait qu'en fin de compte, des humains compétents contrôlent l'entrée et la sortie de l'algorithme. Mais c'est précisément parce que les humains contrôlent l'entrée et la sortie des algorithmes que les erreurs qu'ils pourraient commettre pourraient finalement transpirer dans l'algorithme. L'algorithme néerlandais a finalement été formé par des agents du fisc qui, consciemment ou non, ont peut-être "enseigné" à l'algorithme le biais qu'ils avaient déjà. Les agences ne peuvent donc pas échapper à la diligence raisonnable simplement parce que l'algorithme est simplement utilisé comme un outil de support.
De plus, plus les règles sont complexes, plus leur application demande de la souplesse. La rigidité d'un algorithme peut être utile comme classificateur mais ne saisira pas toutes les nuances des situations individuelles. Il existe un risque réel de nouveaux types de faux positifs et de faux négatifs. Un algorithme peut estimer correctement le risque dans un scénario très spécifique, mais cela ne doit pas dicter la politique d'application.
Les agences peuvent être plus vulnérables
La BCE a récemment déclaré que : « les superviseurs restent responsables de leur travail, même si une partie est effectuée par un ordinateur ». Bien que cela semble être un postulat raisonnable, il néglige le fait que les conséquences de l'application algorithmique ne se limitent pas à la responsabilité des superviseurs. Il est probable que plus l'application repose sur des algorithmes, plus elle est exposée aux risques qui y sont associés.
Du point de vue de la conception des agences, l'application algorithmique peut réduire considérablement la responsabilité des agences si les conseils d'administration ne se dotent pas de l'expertise nécessaire. La déférence envers un algorithme peut affaiblir la [responsabilité interne] de l'agence (https://doi-org.proxy.library.uu.nl/10.1111/1467-9299.00218), en attribuant les décisions à une machine moins explicable. À long terme, cela pourrait affecter l'efficacité de l'application.
Le gouvernement néerlandais pourrait trouver un réconfort dans sa démission politique, les agences sont dans une situation plus délicate. Ceux qui s'appuient fortement sur la légitimité pour favoriser la conformité (Tyler, 2003), pourraient être les plus durement touchés par une erreur algorithmique en sapant leur crédibilité. De telles erreurs pourraient également ébranler les solides stratégies d'application fondées sur la dissuasion, qui reposent sur la capacité d'identifier les risques avec précision.
La légitimité va également de pair avec la transparence, les agences doivent savoir clairement quand elles utilisent des algorithmes et comment elles les utilisent. Une telle transparence comporte cependant un risque. En tant que parties prenantes innovez pour réduire les coûts du fardeau réglementaire, les plus ingénieux d'entre eux peuvent exploiter le fonctionnement des algorithmes d'application pour rester sous le radar.
Un récit édifiant
Le scandale néerlandais des prestations nous enseigne une leçon sur les risques de l'application algorithmique. La différence réside dans le fait que l'administration fiscale avait le luxe de la responsabilité politique, lui permettant d'atténuer les conséquences à long terme du scandale. Un scandale algorithmique dans une agence peut être plus susceptible de nuire durablement à sa légitimité, et donc à l'efficacité de son application. Les agences devraient donc mettre en place des structures de gouvernance dédiées pour garantir que les algorithmes sont exempts de biais et sont utilisés de manière responsable. Une version récemment divulguée du [projet de règlement sur l'IA] de la Commission (https://www.politico.eu/article/europe-strict-rules-artificial-intelligence/amp/), devrait également s'appliquer aux agences de l'UE (article 2( 2)(d)), peut être une bonne première étape pour les guider.