Incidents associés
Le mois dernier, l’équipe DOGE d’Elon Musk a présenté un plan visant à transformer le gouvernement fédéral des États-Unis grâce à une « stratégie axée sur l’IA ».
Dirigé par Thomas Shedd, un ancien ingénieur de Tesla désormais responsable de l’équipe technologique de la General Services Administration, le plan consiste à déployer l’IA à grande échelle dans l’ensemble du gouvernement fédéral. L’objectif global est de réduire le budget de l’agence de cinquante pour cent. Shedd a suggéré d’utiliser l’IA pour analyser les contrats de licenciements, éliminer la fraude et faciliter une réduction des effectifs fédéraux en automatisant une grande partie de leur travail.
Il n’est pas surprenant que Musk, qui a cofondé OpenAI en 2015 et dirige aujourd’hui (parmi ses diverses activités) la société xAI, prône une transformation gouvernementale pilotée par l’IA. Cette ambition peut sembler plausible puisque les outils d’IA sont capables de nombreuses prouesses impressionnantes, de la rédaction d’essais à la réponse à des questions de physique. Mais libérer l’IA pour révolutionner le gouvernement fédéral est une recette pour un désastre.
Pour prédire comment se déroulera la transformation proposée par Musk, nous pouvons examiner les exemples antérieurs d’intégration de l’IA dans la prise de décision et les opérations gouvernementales. Il existe déjà de nombreux exemples de gouvernance pilotée par l’IA qui ont mal tourné, en particulier dans les cas où l’objectif est d’éradiquer la fraude et de réduire les budgets.
Dans mon État natal, le Michigan, l’Agence d’assurance-chômage (UIA) a adopté un algorithme (le Michigan Integrated Data Automated System, alias MiDAS) pour rationaliser ses opérations. Les objectifs de l’UIA étaient de prévenir la fraude au chômage et d’éliminer un tiers du personnel existant en automatisant leur travail. MiDAS a rapidement multiplié par cinq les cas de fraude présumée à l’aide sociale, ce qui a conduit à une multiplication par 23 des revenus de l’UIA.
Sur la base de ces chiffres, MiDAS semble avoir atteint les objectifs de l’UIA. Le seul problème ? Presque toutes les accusations de fraude – 93 % des cas de fraude présumée – étaient incorrectes. Ensuite, même une fois ces erreurs révélées, il a fallu des années de litige pour que les personnes accusées à tort reçoivent l’argent qui leur était dû. Pour de nombreuses personnes, l’accusation de fraude est restée dans leur casier judiciaire pendant des années, les empêchant d’obtenir un emploi.
Aux États-Unis et dans le reste du monde, des algorithmes similaires ont exclu des personnes vulnérables des soins de santé et violé les droits de l’homme.
L’une des principales raisons de ces outils d’IA défaillants est que les ingénieurs sous-estiment la complexité des processus gouvernementaux. À leur tour, les ingénieurs intègrent leurs hypothèses superficielles dans les logiciels et surestiment les capacités de leurs outils.
Il est fréquent que les ingénieurs se rendent dans les services gouvernementaux avec une confiance absolue, persuadés que l’expertise technique peut surmonter les goulets d’étranglement existants et résoudre tous les problèmes du gouvernement. Ces propositions de solutions rapides sont généralement ridicules pour le personnel existant de ces agences, qui possède une expertise approfondie dans la navigation dans les nuances complexes des processus gouvernementaux. Les ingénieurs ne comprennent pas les flux de travail complexes que suivent les agences gouvernementales. Et parce qu’ils ne comprennent pas ces flux de travail, les ingénieurs ne savent pas comment interpréter les données et les formulaires gouvernementaux.
Dans une étude récente, des collègues et moi-même avons demandé à des informaticiens de développer un outil logiciel qui donne des conseils automatisés sur l’éligibilité des personnes à une aide en cas de faillite. Les informaticiens ont réalisé la tâche rapidement, l’un d’eux ayant même noté que « cela semble très simple ». Cependant, lorsque nous avons analysé les outils logiciels qu’ils ont créés, nous avons constaté que les erreurs et les idées fausses sur le plan juridique étaient monnaie courante. Malgré ces défauts, les informaticiens étaient convaincus que leurs outils seraient utiles dans la pratique. Soixante-dix-neuf pour cent d’entre eux ont déclaré qu’ils seraient à l’aise avec l’idée que leur outil remplace les juges au tribunal des faillites.
L’équipe DOGE fait preuve d’une arrogance technique extrême. Ils foncent sans se soucier des lois et des protocoles existants. Sans prendre le temps de comprendre le fonctionnement du gouvernement, Shedd a affirmé que l’IA peut remplacer de nombreux fonctionnaires fédéraux.
Que se passera-t-il si ces projets de révolution de l’IA au sein du gouvernement se concrétisent ? Nous constatons déjà que DOGE répète les mêmes erreurs qui ont affecté d’autres cas d’automatisation gouvernementale.
Plus particulièrement, DOGE émettra probablement de nombreux jugements sans fondement sur le gaspillage et la fraude en se basant sur les résultats de l’IA. Ce résultat sera en partie dû aux définitions excessivement larges du gaspillage et de la fraude données par Musk lui-même. Il a déclaré, sans aucune preuve et contrairement à d’autres estimations, que « mille milliards de dollars peuvent être économisés simplement en s’attaquant au gaspillage, à la fraude et aux abus ». Dans cette optique, les développeurs d’IA de DOGE seront sûrement plus soucieux d’éviter les faux négatifs (ignorer un cas de fraude) que les faux positifs (étiqueter à tort un contrat comme inutile ou frauduleux), en particulier dans les cas où ils peuvent avoir un conflit d’intérêts.
L’une des causes des accusations erronées sera la mauvaise interprétation des informations contenues dans les bases de données gouvernementales. Les données gouvernementales sont notoirement complexes. Comprendre leur signification nécessite une connaissance détaillée de la manière dont ces données sont collectées et utilisées. Un premier exemple de cette erreur est survenu lorsque Musk a tweeté](https://x.com/elonmusk/status/1891350795452654076?lang=en) en colère contre des millions de personnes de plus de 100 ans censées recevoir des chèques de la Sécurité sociale. Son message comprenait une capture d’écran d’une analyse simple de la base de données de la Sécurité sociale, comptant le nombre de personnes marquées « vivantes » à différents âges. Bien que son analyse ait correctement compté les données, Musk a mal interprété ce que cela signifiait. Des millions de personnes de plus de 100 ans sont marquées comme vivantes en raison de limitations techniques et de lacunes dans les données. Fait crucial, presque aucune d’entre elles ne reçoit de chèque. En fait, il y a plusieurs années, la Social Security Administration (SSA) a envisagé de mettre à jour ses systèmes d’annotation des décès, mais a décidé que le coût de la mise à niveau ne valait pas les avantages. Si Musk avait simplement interrogé les experts de la Social Security sur les données, il aurait pu obtenir une compréhension correcte. Au lieu de cela, il a tiré avec confiance une conclusion erronée.
Une autre cause probable des accusations de fraude erronées est l’incapacité de l’IA à interpréter le sens des contrats et les relations entre eux. Les gouvernements divisent souvent le travail en plusieurs contrats, chacun servant différents aspects de programmes plus vastes. Ces contrats peuvent sembler redondants pour un outil d’IA alors qu’en fait, ils sont distincts et complémentaires. Il est certain que la rationalisation des contrats gouvernementaux peut présenter des avantages. Mais cela nécessite de reconstruire soigneusement les contrats pour servir les objectifs politiques sous-jacents, et non de les envoyer à la poubelle.
Le DOGE a déjà démontré une tendance à mal interpréter les contrats, ce qui l’a conduit à surestimer considérablement les économies qu’il a générées. Le 19 février, le DOGE a publié un « mur de reçus », se vantant d’avoir économisé 16,5 milliards de dollars grâce aux contrats annulés. Leurs calculs étaient criblés d’erreurs. Par exemple, de nombreux contrats « annulés » avaient pris fin il y a des années ou avaient été résiliés sous les administrations précédentes. Depuis leur publication initiale, le DOGE a mis à jour 40 % des contrats avec des valeurs plus précises – et plus petites. Ces mises à jour comprenaient la suppression des cinq plus gros contrats pour lesquels le DOGE avait initialement revendiqué le mérite. Ces 16,5 milliards de dollars ressemblent désormais davantage à 8 milliards de dollars, et d’autres erreurs restent non corrigées.
Pour empirer les choses, DOGE prend ces décisions de manière opaque et irresponsable. On ne sait pas quel rôle l’IA a joué dans les actions que DOGE a déjà entreprises. À l’avenir, la classification de la fraude par une IA pourrait conduire à l’annulation immédiate de contrats sans préavis ni procédure d’appel. Lorsque cette action porte préjudice à une personne ou à une organisation, elle peut ne pas être en mesure d’obtenir une explication claire de ce qui s’est passé, à part « l’IA l’a dit ».
Bien sûr, pour Musk et ses alliés, ces problèmes peuvent être des fonctionnalités plutôt que des bugs. L’IA les aidera à réduire rapidement le budget fédéral et à affirmer leur domination sur le gouvernement. Et alors si de nombreuses accusations de fraude sont incorrectes et que certaines opérations gouvernementales essentielles sont perturbées ?
Tout cela ne signifie pas que l’IA ne peut pas être un outil utile pour améliorer les services et les opérations du gouvernement. Mais pour atteindre cet objectif, il faut adopter l’approche opposée à celle de DOGE.
Lorsque j’ai travaillé en tant que data scientist dans une administration locale, j’ai rapidement appris que mes connaissances techniques étaient largement insuffisantes à elles seules. Pour faire avancer des projets socialement bénéfiques, j’ai dû reconnaître les limites de la technologie et éviter de supposer que les outils techniques les plus avancés seraient les plus utiles dans la pratique. J’ai également dû apprécier la sagesse du personnel en place. Je me suis appuyé sur leurs conseils pour comprendre les processus et les ensembles de données du gouvernement. Je devais considérer mon travail comme un complément au travail des équipes existantes, et non comme un remplacement.
La preuve la plus évidente que Musk et DOGE ne sont pas déterminés à développer de manière réfléchie une technologie qui améliore le gouvernement est qu’ils démantèlent les équipes qui ont été des pionnières dans ce domaine. Depuis sa création en 2014, le United States Digital Service (USDS) a généré des avantages comme l’amélioration de l’accès aux soins de santé pour 18 millions d’anciens combattants et la possibilité pour des millions de foyers ruraux d’accéder à un Internet haut débit abordable. Cependant, DOGE a rapidement licencié un tiers du personnel de l’USDS. Quelques jours plus tard, un autre groupe de membres du personnel de l’USDS a démissionné, écrivant que « les actions de DOGE… ne sont pas compatibles avec la mission pour laquelle nous avons rejoint le United States Digital Service : fournir de meilleurs services au peuple américain grâce à la technologie et au design. » Puis, le week-end dernier, DOGE a éliminé 18F, un groupe qui aide les agences fédérales à améliorer leur technologie. Cette décision est intervenue quelques semaines après que Shedd ait déclaré au personnel de 18F qu’ils représentaient la « référence absolue » des développeurs de technologies gouvernementales.
Étant donné le rythme effréné et l’orgueil de Musk et de l’équipe DOGE, je crains que cette incursion de l’IA ne cause des dommages incroyables aux opérations fédérales et aux personnes qui en dépendent. Mais, à tout le moins, ceux d’entre nous qui enseignent des cours sur la technologie et les politiques publiques auront une nouvelle étude de cas d’IA gouvernementale qui a mal tourné à partager avec nos étudiants.