Incidents associés
Le Département de l'Efficacité Gouvernementale (DOGE) a développé un outil d'intelligence artificielle (IA) pour identifier les contrats inutiles au sein du Département des Anciens Combattants (VA), dans le but de réduire les coûts. Cependant, le système d'IA présentait d'importantes failles techniques et inexactitudes, entraînant des annulations de contrats potentiellement préjudiciables aux services des anciens combattants.
Développement et objectif de l'outil d'IA
Début 2023, l'administration Trump cherchait à réduire les dépenses du VA. Les responsables ont fait appel à Sahil Lavingia, un ingénieur logiciel ayant une expérience limitée dans les domaines de la santé et des marchés publics, pour développer une solution d'IA rapide. Travaillant dans des délais extrêmement serrés, Lavingia a créé un outil d'évaluation des contrats en quelques jours.
Ce logiciel d'IA qualifiait les contrats considérés comme non essentiels de « CONSOMMABLES », visant à rationaliser les dépenses en recommandant les contrats à supprimer. L'outil de Lavingia était conçu pour analyser les textes des contrats et en extraire des informations telles que le numéro et le montant total du contrat.
Failles techniques et inexactitudes
Utilisation de modèles d'IA obsolètes
Le système d'IA s'appuyait sur des modèles de langage volumineux, obsolètes et peu coûteux. Plusieurs erreurs sont apparues. Par exemple, il interprétait mal la valeur des contrats, gonflant souvent celle des petits contrats. Certains contrats annoncés à 34 millions de dollars n'étaient en réalité évalués qu'à 35 000 dollars. Cette surestimation des données a faussé les décisions concernant les contrats à supprimer.
Portée limitée de l'analyse des données
L'algorithme de Lavingia n'a évalué que les 2 500 premiers mots des contrats. Ces premières pages fournissent des résumés succincts et représentent rarement l'intégralité des termes, ce qui conduit à des jugements trop simplistes. L'IA a également confondu plusieurs valeurs monétaires au sein des contrats, sélectionnant des chiffres inexacts alors que des données plus fiables existaient dans les bases de données publiques.
Manque de contexte et d'expertise du VA
L'outil d'IA a ignoré la connaissance contextuelle essentielle des opérations du VA. Il n'a pas tenu compte des exigences légales ni identifié les services essentiels aux soins des anciens combattants. En conséquence, des composants essentiels du système de passation de marchés du VA, qui soutiennent des fonctions vitales, ont été classés à tort comme « réutilisables ».
Impact sur les contrats du VA et les services aux anciens combattants
Contrats signalés pour annulation
L'IA de DOGE a signalé plus de 2 000 contrats potentiellement résiliables. La transparence sur les mesures de suivi reste limitée. Cependant, au moins 24 contrats identifiés par le système ont été annulés. Parmi ceux-ci figuraient des contrats soutenant le développement de traitements contre le cancer par séquençage génétique, des analyses d'échantillons sanguins pour la recherche du VA et des outils d'amélioration des soins infirmiers.
Préoccupations concernant les effets sur les anciens combattants
Le VA a déclaré vouloir éviter de supprimer des contrats affectant directement les soins aux anciens combattants en raison de risques potentiels. Malgré cela, des rapports d'enquête ont révélé que même des réductions modestes risquent de réduire la qualité des services pour les anciens combattants. Certains employés du VA ont signalé des tentatives précipitées de justifier la conservation de leurs contrats, se limitant parfois à des heures et se limitant à de courtes réponses écrites imitant les limites de caractères des réseaux sociaux.
Contexte de Sahil Lavingia et de l'approche de DOGE
Expérience et contraintes de temps de Lavingia
Sahil Lavingia, fort de près de 15 ans d'expérience en ingénierie logicielle, ne possède aucune expertise formelle en IA ni en santé. Après avoir rejoint DOGE le 17 mars 2023, il a développé le système d'IA dès le lendemain grâce au codage assisté par IA. Durant ses deux mois de mandat, il a passé du temps à télécharger et à analyser les contrats des VA, mais n'a eu que peu d'occasions d'apprendre les procédures de l'organisation.
Reconnaissance des limites de l'outil
Lavingia a admis à ProPublica que des erreurs figuraient dans l'outil. Il déconseille d'utiliser le code comme outil de décision finale. Il a publié le script « munchable » publiquement sur GitHub afin de permettre à la communauté de l'améliorer, conformément à l'objectif de transparence de DOGE, sous la supervision d'Elon Musk pendant cette période.
Critiques et avis d'experts
Inquiétudes concernant l'utilisation de l'IA dans les coupes budgétaires
Les experts s'interrogent sur la pertinence de l'IA pour les décisions budgétaires complexes, notamment lorsque les services aux anciens combattants sont en jeu. Cary Coglianese, professeur de droit à l'Université de Pennsylvanie, a critiqué le recours à des modèles de langage étendus (MLL) standard, soulignant leur manque de fiabilité dans un contexte aussi nuancé.
Approches alternatives recommandées
Waldo Jaquith, ancien responsable des contrats informatiques au Département du Trésor, a estimé que l'IA n'était pas un outil adapté à cette tâche. Il a soutenu que l'IA génère des résultats plausibles mais erronés. Il a souligné la nécessité d'une supervision humaine par des professionnels spécialisés, formés à l'évaluation approfondie des contrats gouvernementaux.
Réponse et orientations futures du Département des anciens combattants
Processus d'examen des contrats du Département des anciens combattants
Pete Kasperowicz, attaché de presse du Département des anciens combattants, a salué les efforts du DOGE, qualifiant cet examen de « précédent de bon sens ». Il a souligné que les 76 000 contrats du VA font l'objet de multiples examens internes avant toute réduction ou annulation, impliquant des experts en contrats et des cadres supérieurs.
Expansion potentielle de l'IA au VA
Les responsables du VA n'ont pas confirmé la poursuite de l'utilisation de l'outil d'IA « munchable ». Des documents révèlent que DOGE a envisagé d'utiliser davantage l'IA pour restructurer les services de gestion des demandes de prestations, et potentiellement remplacer du personnel. Cela suggère un intérêt continu pour les solutions d'IA malgré les difficultés rencontrées précédemment.
Points clés
- DOGE a créé un outil basé sur l'IA pour identifier et supprimer les contrats non essentiels du VA, mais a été confronté à des erreurs importantes en raison de modèles obsolètes et d'un manque de connaissances contextuelles.
- L'IA a mal évalué les contrats et négligé des nuances juridiques et opérationnelles cruciales, risquant ainsi d'annuler des services essentiels aux anciens combattants.
- Les annulations de contrats influencées par l'outil ont déjà affecté d'importants programmes de recherche et de soins.
- Les experts recommandent l'expertise humaine plutôt que l'IA générale pour des décisions aussi complexes, soulignant le risque d'hallucinations et d'inexactitudes de l'IA. * Le ministère des Anciens Combattants reconnaît le rôle de l'outil d'IA, mais insiste sur la nécessité d'un examen interne approfondi avant toute décision contractuelle.
- Le déploiement futur de l'IA au sein du ministère des Anciens Combattants reste incertain, et des plans potentiels d'expansion prudente de son utilisation sont envisagés.
DOGE a développé un outil d'IA sujet aux erreurs pour « détruire » les contrats du ministère des Anciens Combattants
Un outil d'IA doté de modèles obsolètes et d'un contexte minimal peut-il réellement déterminer quels contrats du ministère des Anciens Combattants méritent d'être supprimés ? La réponse est simple : non. Mais cela n'a pas empêché DOGE de développer un tel outil destiné à « détruire » les contrats, avec des conséquences qui soulèvent de sérieuses questions quant au rôle de l'IA dans la prise de décision gouvernementale.
Alors, que s'est-il passé exactement ? Décryptons cette histoire fascinante et édifiante d'ambition en matière d'IA, de développement bâclé et d'enjeux importants pour les anciens combattants.
Naissance d'un broyeur de contrats IA
Début 2023, alors que l'administration Trump s'apprêtait à annuler plusieurs contrats du Département des Anciens Combattants (VA), elle a confié la tâche à Sahil Lavingia, un ingénieur logiciel sans aucune expérience en matière de santé ou de politique gouvernementale. Sous l'égide du Département de l'Efficacité Gouvernementale (DOGE), Lavingia a été chargé de créer un outil permettant d'identifier les contrats « non essentiels » susceptibles d'être supprimés.
Le résultat ? Un outil d'IA bricolé à la hâte : le « muncher ». Il scannait les contrats, en qualifiait certains de « munchables » et permettait vraisemblablement d'économiser l'argent des contribuables. Sur le papier, c'est prometteur, non ?
IA obsolète et hallucinations à profusion
Eh bien, pas si vite. Le système d'IA reposait sur des modèles bon marché et obsolètes, un peu comme acheter un GPS vieux de 15 ans pour un voyage à travers le pays. Il a commis des erreurs flagrantes, notamment en gonflant considérablement le montant des contrats. Par exemple, l'outil a signalé plus d'un millier de contrats comme s'ils valaient chacun 34 millions de dollars, alors que certains ne valaient en réalité que 35 000 dollars.
Comment cela est-il arrivé ? Le système de Lavingia n'analysait que les 2 500 premiers mots, soit les pages de résumé de chaque contrat. Ces résumés étaient succincts et manquaient des détails nécessaires à une prise de décision éclairée. Pire encore, l'IA se trompait de montants lorsque plusieurs chiffres étaient présents dans un même document. Les experts soulignent que les données correctes étaient facilement accessibles dans les bases de données publiques, mais qu'elles n'étaient pas correctement exploitées.
Contexte ? Quel contexte ?
Le talon d'Achille de l'IA dans ce scénario : le contexte. Les invites de Lavingia ne contenaient pas d'informations essentielles sur les opérations du VA, comme les contrats imposés par la loi ou essentiels aux soins des patients. Cela a donné lieu à des résultats étranges, l'IA qualifiant un élément essentiel du système d'approvisionnement du VA de « consommable ».
Pire encore, le système ne comprenait pas les nuances des annulations de contrats. Toutes les coupes budgétaires ne se traduisent pas par des économies sans conséquences ; certaines érodent les services dont dépendent quotidiennement les anciens combattants.
Les conséquences : Contrats signalés et anciens combattants impactés
Le responsable du DOGE a signalé plus de 2 000 contrats potentiellement résiliables. La transparence concernant les contrats effectivement supprimés reste floue, mais au moins deux douzaines d’annulations ont été confirmées. Il s’agit notamment de contrats pour la maintenance d’appareils de séquençage génétique (utilisés pour faire progresser les traitements contre le cancer), l’analyse d’échantillons sanguins pour la recherche du VA et la fourniture d’outils permettant aux infirmières de prodiguer de meilleurs soins.
Les enjeux ? Réels. Alors que le VA affirme éviter de résilier les contrats directement liés aux soins aux anciens combattants afin de prévenir les préjudices, les rapports révèlent une tout autre réalité. Même des coupes budgétaires relativement modestes ont déjà affecté la qualité des soins aux anciens combattants.
Des membres du personnel révèlent qu’ils n’avaient que quelques heures – ou, dans certains cas, seulement 255 caractères – pour justifier la non-suppression d’un contrat. Cela revient à écrire un tweet pour défendre des services essentiels. Ce processus précipité n’inspire pas confiance dans l’outil ni dans la prise de décision qui a suivi.
La course contre la montre de Lavingia et l'aveu de ses failles
Sahil Lavingia a apporté près de 15 ans d'expérience en logiciels, mais n'avait aucune formation formelle en IA. Plus difficile encore : il n'a eu qu'une journée pour développer l'outil de A à Z après avoir rejoint DOGE mi-mars. Grâce au codage assisté par IA, il a rapidement élaboré le script « à croquer » et a passé la semaine suivante à analyser les contrats.
Il a ensuite reconnu les failles : « Des erreurs ont été commises. Je ne recommanderais jamais à quiconque d'exécuter mon code et de faire ce qu'il dit. » Un retour honnête du créateur, mais malheureusement trop tard pour certains contrats VA déjà affectés.
Néanmoins, Lavingia a fait preuve d'une démarche inhabituelle en mettant l'outil en open source sur GitHub, conformément aux objectifs de transparence approuvés par Musk chez DOGE, invitant la communauté technologique à améliorer le système. Malheureusement, la publication du code n'a guère contribué aux réparations immédiates dans le chaos entourant l'annulation des contrats.
L'avis des experts : l'IA n'est pas la solution
De nombreux experts ont émis de vives critiques. Cary Coglianese, professeur de droit et de sciences politiques à l'UPenn, spécialisé dans la gouvernance de l'IA, a jugé l'utilisation de grands modèles de langage (MLM) prêts à l'emploi pour des décisions complexes extrêmement problématique. Ces modèles d'IA génériques manquent de fiabilité pour des décisions budgétaires nuancées.
Waldo Jaquith, ancien responsable des contrats informatiques au Département du Trésor, a vivement critiqué l'utilisation de l'IA dans ce contexte : « L'IA fournit des réponses apparemment convaincantes, mais souvent erronées. » Sa recommandation ? Recourir à des humains pour évaluer les contrats. L'IA devrait assister, et non remplacer, le jugement humain, et certainement pas déterminer à elle seule le sort des services de soutien aux anciens combattants.
Position du VA et perspectives d'avenir
Malgré le tollé, le porte-parole du VA, Pete Kasperowicz, a salué les efforts du DOGE, le qualifiant de « précédent de bon sens » en matière d'examen des contrats. Il a souligné que les 76 000 contrats du VA étaient soumis à un examen approfondi par des experts en contrats et des cadres supérieurs avant toute annulation.
Cependant, le VA a refusé de confirmer s'il continuerait à utiliser cet outil « à croquer ». Des documents datant du début de l'année indiquent que DOGE a proposé d'étendre l'utilisation de l'IA, par exemple en automatisant le traitement des demandes de prestations en remplaçant des employés.
Cette perspective inquiète beaucoup. Déployer l'IA au-delà de l'évaluation des contrats pour potentiellement remplacer les travailleurs sociaux pourrait avoir un impact direct sur les anciens combattants qui sollicitent des services.
Leçons apprises : Ce que cette histoire nous apprend
La saga du « à croquer » d'IA de DOGE pour les contrats du VA offre des enseignements essentiels :
- Rapidité vs précision : Bâcler les solutions d'IA sans expertise adéquate du domaine entraîne des erreurs qui impactent la vie réelle.
- Le contexte est primordial : Les outils d'IA doivent comprendre les environnements opérationnels et juridiques spécifiques pour réaliser des évaluations valides.
- La supervision humaine reste essentielle : L'IA peut soutenir, mais ne doit pas remplacer, le jugement humain dans les décisions politiques cruciales. * La transparence est importante : Le code source ouvert est une bonne chose, mais les processus décisionnels concernant les anciens combattants nécessitent une responsabilisation au-delà des dépôts Github.
Une meilleure IA aurait-elle pu être utile ?
Imaginez si le ministère des Anciens Combattants avait donné à Lavingia le temps et les ressources nécessaires pour comprendre pleinement les contrats de soins de santé. Et si l’IA avait été entraînée sur des modèles actualisés, basés sur les mandats légaux et les priorités médicales ? L’outil aurait peut-être alors mis en évidence les contrats inefficaces sans compromettre la recherche et les services essentiels.
Au lieu de cela, l’outil est devenu davantage une solution technique rapide qu’un partenaire fiable pour l’efficacité gouvernementale.
Que peuvent faire les anciens combattants et les citoyens ?
Restez informés de l’utilisation de l’IA dans les politiques publiques, en particulier lorsqu’elle concerne les services dont vous dépendez. Posez-vous les questions suivantes :
- Les recommandations de l’IA sont-elles vérifiées de manière indépendante ?
- La prise de décision est-elle transparente ?
- Les humains sont-ils activement impliqués dans les décisions cruciales, ou les machines sont-elles aux commandes ?
Exiger un déploiement responsable de l’IA protège tout le monde, et plus particulièrement les anciens combattants qui méritent des systèmes de soutien robustes et réfléchis.
Conclusion
L'outil d'IA de DOGE pour analyser les contrats du ministère des Anciens Combattants constitue un avertissement quant à l'utilisation de l'IA par le gouvernement. Si l'automatisation promet économies et efficacité, elle ne doit jamais se faire au détriment de la qualité des soins ni de la prise de décision éclairée.
L'IA peut-elle réellement décider de ce qui est essentiel au bien-être des anciens combattants sans l'aide humaine ? Pas encore. Pour l'instant, laissons les services aux anciens combattants entre de bonnes mains.
Quel était l'objectif principal de l'outil d'IA développé par DOGE pour les contrats du ministère des Anciens Combattants ?
L'outil visait à identifier les contrats non essentiels détenus par le ministère des Anciens Combattants. Il a qualifié certains contrats de « CONSOMMABLES » pour suggérer leur annulation ou leur réexamen en vue de leur suppression.
Pourquoi l'outil d'IA a-t-il généré de nombreuses erreurs lors de l'analyse des contrats du ministère des Anciens Combattants ?
L'outil utilisait des modèles d'IA obsolètes et des données contractuelles limitées, interprétant souvent mal les valeurs et les détails des contrats. Il manquait de contexte sur les opérations du ministère des Anciens Combattants, ce qui a conduit à des évaluations erronées.
Quel a été l'impact de l'outil d'IA sur les services aux anciens combattants et les annulations de contrats du VA ?
L'outil a signalé plus de 2 000 contrats à annuler. Parmi ceux-ci figuraient des contrats essentiels aux soins des anciens combattants, comme la maintenance du séquençage génétique et l'analyse d'échantillons sanguins, dont certains ont été annulés.
Quelles ont été les principales critiques des experts concernant l'utilisation de l'IA pour la révision des contrats du VA ?
Les experts ont déclaré que les modèles d'IA standard ne sont pas fiables pour des décisions complexes comme les coupes budgétaires. Ils ont souligné la nécessité du jugement humain, car l'IA peut fournir des réponses plausibles mais erronées.
Comment l'expérience et les contraintes de temps de Sahil Lavingia ont-elles influencé le développement de l'outil d'IA ?
Lavingia n'avait aucune expérience dans le domaine de la santé ou du gouvernement et a développé l'outil en quelques jours, sous pression. Il a admis que des erreurs avaient été commises et a recommandé de ne pas se fier uniquement aux conclusions de l'IA.