Problème 6927
Lundi, devant le siège d'OpenAI, quelques personnes se sont rassemblées, munies de craies de couleurs vives. Agenouillées, elles ont commencé à écrire des messages sur le trottoir : « Défendons la liberté ! Non à la surveillance de masse légale ! Modifiez le contrat ! »
L'enjeu : un accord commercial récemment signé par l'entreprise avec le département de la Défense, suite au revirement soudain du Pentagone contre Anthropic. OpenAI fournira désormais sa technologie à l'armée pour une utilisation dans des contextes classifiés, notamment pour des décisions en temps de guerre et la collecte de renseignements. Un accord qui, selon plusieurs juristes, pourrait conférer au gouvernement des pouvoirs considérables. « J'aimerais vraiment qu'OpenAI prenne la bonne décision et défende une cause, quelle qu'elle soit », m'a confié Niki Dupuis, fondatrice d'une start-up spécialisée en IA et l'une des manifestantes.
Dans une note interne largement divulguée, envoyée jeudi soir dernier par Sam Altman et dont j'ai obtenu une copie, le PDG d'OpenAI indiquait qu'il chercherait à établir des « lignes rouges » pour empêcher le Pentagone d'utiliser les produits d'OpenAI à des fins de surveillance de masse et d'armes létales autonomes. Il s'agissait apparemment des mêmes limites qu'Anthropic avait exigées et qui avaient provoqué la fureur du Pentagone, conduisant le secrétaire à la Défense, Pete Hegseth, à déclarer l'entreprise comme un risque pour sa chaîne d'approvisionnement – une sanction lourde obligeant tout fournisseur du Pentagone à cesser d'utiliser les produits Anthropic dans le cadre de sa collaboration avec l'armée. OpenAI était peut-être sur le point d'obtenir les conditions mêmes qui avaient été refusées à Anthropic.
Mais une lecture attentive du contrat – du moins des parties qu'OpenAI a rendues publiques – révèle que les limites sont en réalité floues. Plusieurs experts juridiques indépendants m'ont indiqué que, légalement, le Pentagone pourrait probablement utiliser la technologie d'OpenAI – des versions des modèles sous-jacents à ChatGPT – pour la surveillance de masse des Américains. De plus, l'armée aura probablement la possibilité d'utiliser la technologie d'OpenAI pour développer des armes autonomes. Les modèles d'IA d'Anthropic, ancien partenaire du département de la Défense, ont vraisemblablement déjà été utilisés à des fins militaires ; récemment, ses produits auraient servi à identifier des cibles en Iran (Anthropic a refusé de commenter cette information). Cependant, l'entreprise avait refusé d'autoriser l'utilisation de sa technologie dans des armes entièrement autonomes.
Le département de la Défense, que l'administration Trump appelle le département de la Guerre, a refusé de répondre à mes questions concernant le contrat. Une porte-parole d'OpenAI m'a réaffirmé que le Pentagone s'était engagé à ne pas utiliser le système d'IA de l'entreprise pour la surveillance intérieure, sans toutefois répondre à mes questions précises. (OpenAI a un partenariat avec l'équipe commerciale de The Atlantic.)
« Le public se trouve dans une situation délicate : faut-il faire confiance à OpenAI ou non ? », m'a confié Charlie Bullock, chercheur principal à l'Institut pour le droit et l'intelligence artificielle. Brad Carson, ancien conseiller juridique puis sous-secrétaire à l'Armée de terre sous Barack Obama, s'est montré moins conciliant : dans son analyse des événements de la semaine passée, OpenAI semble « accepter sans problème l'utilisation de ChatGPT pour ce que le grand public considère comme de la surveillance de masse ».
Au cours de la semaine écoulée, Altman et OpenAI ont fait plusieurs annonces concernant le contrat, notamment en publiant un extrait dans un article de blog samedi dernier, avant de le modifier quelques jours plus tard. La communication de l'entreprise a été confuse et a semblé, à plusieurs reprises, contredire ses propres déclarations antérieures, ainsi que les informations émanant du gouvernement.
OpenAI avait affirmé avoir des limites quant à certaines applications de sa technologie, mais la partie du contrat initialement publiée laisse entendre le contraire. L'entreprise avait également suggéré avoir imposé des restrictions spécifiques à l'utilisation des modèles OpenAI par le gouvernement, mais Jeremy Lewin, haut fonctionnaire du Département d'État, a avancé une autre interprétation, écrivant que le contrat autorisait simplement « toute utilisation légale » du système OpenAI, c'est-à-dire toute utilisation techniquement légale (https://x.com/UnderSecretaryF/status/2027594072811098230). « Au mieux, cette communication donne l'impression qu'ils ne maîtrisent pas pleinement la situation, et au pire, elle renforce la perception, justifiée ou non, qu'OpenAI a tendance à manquer de transparence », m'a confié Alan Rozenshtein, professeur de droit à l'Université du Minnesota, spécialiste des technologies émergentes. Rozenshtein faisait peut-être preuve de diplomatie : depuis plusieurs années, la question centrale concernant OpenAI porte moins sur la franchise que sur l’honnêteté. Lorsqu’Altman a été brièvement licencié fin 2023, il avait été accusé d’avoir trompé le conseil d’administration d’OpenAI. Une enquête indépendante commandée par OpenAI a par la suite conclu à une rupture de confiance entre Altman et le conseil, mais a estimé que sa conduite ne justifiait pas son renvoi.
La semaine écoulée a été chaotique et les observateurs ont suivi chaque développement avec attention. Vendredi dernier, Altman a publié sur X un article indiquant qu'OpenAI avait conclu un accord avec le Département de la Défense américain quelques heures seulement après l'annonce de la rupture du contrat d'Anthropic avec l'administration. Selon Altman, le contrat d'OpenAI contient des « interdictions relatives à la surveillance de masse intérieure et à la responsabilité humaine dans l'usage de la force, y compris pour les systèmes d'armes autonomes ». Cependant, nombreux étaient les sceptiques. OpenAI avait certainement proposé au Pentagone un avantage qu'Anthropic ne pouvait offrir. Le terme « interdictions » ne semblait pas impliquer une interdiction totale de la surveillance, et l'idée que la « responsabilité humaine » soit assumée pour les armes autonomes laissait entendre que, de fait, la technologie d'OpenAI pourrait être utilisée dans ce type d'armes si la décision incombait à une personne.
Dans un article de blog publié samedi, OpenAI a insisté sur le fait que ses lignes rouges concernant la surveillance intérieure et les armes automatisées restaient fermes, et a redéfini l'accord comme une tentative de désamorcer les tensions entre le Pentagone et d'autres laboratoires d'IA américains. L'entreprise a ajouté espérer que le Pentagone proposerait les mêmes conditions à d'autres sociétés, dont Anthropic. OpenAI a également publié un extrait du contrat, sans toutefois apporter beaucoup de réconfort. Ce passage commence ainsi : « Le Département de la Guerre peut utiliser le système d'IA à toutes fins licites, conformément à la législation applicable. » Il précise ensuite que l'utilisation des systèmes OpenAI pour les activités de renseignement « sera conforme » à un certain nombre de lois et de politiques régissant les activités de renseignement américaines, lois et politiques qui ont tristement permis d'espionner les citoyens américains, comme la loi sur le renseignement et la surveillance à l'étranger (FISA) de 1978. En vertu de la FISA et des politiques connexes, par exemple, les agences de renseignement peuvent enregistrer et stocker les appels téléphoniques entre Américains et personnes à l'étranger, et acheter des données d'utilisateurs en masse auprès d'entreprises pour les analyser, ce qui n'implique pas d'interception directe des communications.
Il convient de préciser qu'il est impossible d'évaluer l'ensemble d'un contrat à partir de simples extraits : une restriction figurant dans une section peut être annulée dans certaines circonstances prévues ailleurs. Or, OpenAI n'a fourni que des extraits. D'après ce que nous avons pu constater, des experts m'ont indiqué qu'une certaine latitude avait probablement été accordée en matière de surveillance de masse. « Il existe une multitude de pratiques que le grand public qualifierait de surveillance de masse automatisée, alors qu'elles ne sont tout simplement pas illégales », a déclaré Rozenshtein. Par exemple, l'IA générative pourrait transformer des données auparavant volumineuses et opaques – déclarations de revenus, dossiers d'emploi fédéraux, milliards de communications interceptées, données de géolocalisation de smartphones, etc. – en une mine d'informations précises. Un porte-parole d'OpenAI m'a confirmé que la citation de textes de loi spécifiques dans le contrat ne modifie en rien l'interdiction convenue de la surveillance intérieure.
Concernant les armes, le contrat communiqué samedi dernier cite la directive 3000.09 du département de la Défense (https://www.esd.whs.mil/portals/54/documents/dd/issuances/dodd/300009p.pdf), qui n'interdit pas l'utilisation d'armes entièrement autonomes. Elle offre même un cadre légal pour le développement et le déploiement de telles armes en précisant les modalités de leur évaluation et de leur utilisation. En résumé, si une application est techniquement autorisée par la loi américaine, OpenAI serait probablement tenue de s'y conformer. Or, l'administration Trump a défendu des interprétations très extensives de cette loi. « Le contrat initial communiqué par OpenAI me semblait autoriser toute utilisation légale », a déclaré Bullock.
Après la publication de l'article de blog d'OpenAI, Altman et certains de ses employés ont été assaillis de questions sur X. Le contrat autorisait-il la NSA à utiliser les produits d'OpenAI ? Le responsable des partenariats de sécurité nationale d'OpenAI a insisté sur le fait que la réponse était non. Qu'en est-il des nombreuses failles juridiques en matière de surveillance ? Qu'en est-il de l'utilisation de l'IA pour analyser des données massives, acquises commercialement, que le Département de la Défense peut acheter sans mandat ? Plusieurs employés d'OpenAI ont exprimé leurs inquiétudes quant à la description de l'accord. « C'était presque comme si un contrat autorisant l'armée à utiliser la technologie d'OpenAI dans ses systèmes d'armement était en train d'être rédigé en direct sur les réseaux sociaux », m'a confié Jessica Tillipman, spécialiste du droit des marchés publics à l'Université George Washington.
Puis, lundi, OpenAI a modifié son article de blog : l'entreprise a déclaré avoir modifié son contrat avec le Pentagone afin de mieux protéger les Américains contre l'espionnage par l'IA. La nouvelle formulation précise que « le système d'IA ne doit pas être utilisé intentionnellement à des fins de surveillance intérieure de citoyens et de ressortissants américains » et que, « pour éviter toute ambiguïté », le Département de la Défense « interprète cette limitation comme interdisant le suivi, la surveillance ou le contrôle délibéré de citoyens ou de ressortissants américains, y compris par l'acquisition ou l'utilisation d'informations personnelles ou identifiables obtenues commercialement ». Autrement dit, OpenAI indique clairement que les termes de son contrat doivent empêcher que ses produits ne soient utilisés pour espionner massivement les Américains.
Des experts juridiques externes m'ont indiqué que cette mise à jour semble sensiblement différente du contrat initial et qu'elle impose au Pentagone des restrictions allant au-delà du droit applicable en vigueur. Cependant, comme auparavant, cette nouvelle formulation pourrait être interprétée comme justifiant la surveillance automatisée des Américains. Par exemple, des termes tels que intentionnellement et délibérément offrent une marge de manœuvre considérable pour la collecte de données jugée « accessoire ». De nombreuses données acquises commercialement peuvent ne pas être considérées comme « personnelles ou identifiables ». De même, des définitions restrictives de termes tels que suivi et surveillance pourraient permettre un large éventail d'activités de collecte de renseignements intérieurs, m'a expliqué Carson, ancien sous-secrétaire à l'Armée de terre. « La conception que le grand public se fait de la surveillance est totalement différente de sa définition par les autorités de sécurité nationale », a-t-il déclaré. OpenAI n'a fourni aucune définition de ces termes, ni d'aucun autre terme du contrat, lorsque nous l'avons interrogée.
La mise à jour indique également que le Pentagone a « confirmé » que les technologies d'OpenAI ne seront pas utilisées par des agences de renseignement telles que la NSA sans négociations supplémentaires. Des employés d'OpenAI ont ensuite laissé entendre que l'entreprise pourrait souhaiter de tels partenariats à l'avenir. L'expression « personnes et ressortissants »* laisse entendre que de nombreux immigrants, en situation régulière ou non, pourraient ne pas être protégés. OpenAI n'a pas répondu à la question de savoir si les immigrants sans papiers et les résidents non permanents sont protégés par son contrat. Pour Carson, ces modifications ne sont que des « promesses illusoires », un simple artifice sans aucune garantie concrète.
Bien sûr, toute cette discussion repose sur la conviction que les interdictions contractuelles sont le principal facteur empêchant l'utilisation d'un système d'IA à des fins de surveillance intérieure de masse ou d'armes autonomes. Or, cela n'est pas forcément vrai. Un avocat mal intentionné pourrait interpréter presque n'importe quel texte de mauvaise foi. Si l'on prend au sérieux la position d'OpenAI – à savoir que l'entreprise ne souhaite absolument pas que ses produits soient utilisés pour espionner les Américains – alors le respect de l'esprit du contrat pourrait s'avérer plus important que sa formulation même. Lewin, responsable du Département d'État, a déclaré que « le gouvernement entend honorer le contrat tel qu'il est rédigé » et que l'utilisation de l'IA à des fins de surveillance intérieure de masse « n'a jamais été envisagée ».
À cette fin, OpenAI a indiqué qu'elle mettra en place un dispositif de sécurité technique, ou des garde-fous, afin de contrôler l'utilisation de ses modèles et que ses ingénieurs collaboreront avec le Département de la Défense. L'entreprise estime que cela lui permettra de « vérifier de manière indépendante que les limites ne sont pas franchies ». Interrogée à ce sujet, OpenAI n'a pas fourni de détails supplémentaires sur le fonctionnement de son architecture de sécurité avec le Département de la Défense. La société affirme que ces garde-fous et son contrat, pris ensemble, offrent de meilleures garanties « que les accords précédents, y compris celui d'Anthropic ». Une fois de plus, tout dépend de la confiance que l'on accorde à OpenAI.
Ce qui nous amène au facteur le plus important et le plus complexe : que se passe-t-il si le gouvernement et OpenAI sont en désaccord sur l'autorisation de certaines utilisations de ChatGPT ? Que fait OpenAI si elle estime que le Pentagone a violé leur accord ? Généralement, le gouvernement agit en premier et engage des poursuites judiciaires ensuite, m'a expliqué Tillipman. (OpenAI a déclaré que si elle constate une violation des termes du contrat, elle peut le résilier, sans toutefois préciser la procédure.)
Et cette négociation était loin d'être ordinaire. En plaçant Anthropic sur liste noire, a affirmé Tillipman, le département de la Défense a démontré qu'« en cas d'impasse, il n'hésite pas » à imposer des sanctions extrêmes à une entreprise privée américaine. Altman a écrit sur X que désigner Anthropic comme un risque pour la chaîne d'approvisionnement « constitue un précédent extrêmement inquiétant et j'aurais souhaité que le gouvernement gère la situation différemment ». La ligne rouge devrait être très claire pour OpenAI et toute autre entreprise d'IA souhaitant travailler avec le Département de la Défense : soit vous travaillez selon les conditions du gouvernement, soit vous ne travaillez pas du tout. OpenAI a fait son choix.