Problème 6895

Musk, qui a déclaré s'engager à prévenir l'exploitation des enfants, a annoncé en janvier que son entreprise limiterait l'accès à ses outils de génération et de retouche d'images à ses clients payants. Ni lui ni xAI n'ont répondu aux demandes de commentaires.

Ces dernières semaines, des responsables de la GSA ont été invités à intégrer le logo de xAI à USAi, un outil servant de plateforme de test permettant aux employés fédéraux d'expérimenter différents modèles d'IA. Grok n'était pas accessible via USAi, principalement pour des raisons de sécurité, et reste absent de la plateforme, selon des sources proches du dossier.

Le site web affiche le logo de xAI, mais ne propose que des modèles d'Anthropic, de Google et de Meta.

Une équipe de la GSA spécialisée dans l'IA a transmis aux hauts responsables de l'agence un rapport signalant les problèmes de sécurité de Grok, ont indiqué ces mêmes sources. Ce rapport, plus complet, souligne que les failles de sécurité de Grok ne se limitent pas à des cas particuliers, mais « reflètent une tendance plus générale à une conformité non sécurisée dans des configurations non protégées ».

Dans un communiqué, Gruenbaum a déclaré que l'agence prenait la sécurité de l'IA très au sérieux. « Nous évaluons rigoureusement les modèles d'IA de pointe, y compris l'IA explicable (xAI), grâce à un processus d'examen interne exhaustif. Dans ce cas précis, nous avons suivi les procédures établies et restons déterminés à respecter le calendrier prévu », a-t-il affirmé.

Il y a deux semaines, Matthew Johnson, responsable de l'IA responsable au Pentagone, a démissionné, notamment parce qu'il craignait que la sécurité et la gouvernance ne soient reléguées au second plan face à l'effort intense déployé par le ministère de la Défense pour développer les capacités en IA, selon des sources proches du dossier.

Auparavant, l'équipe de Johnson avait diffusé des notes de service soulignant les problèmes de sécurité de Grok et s'interrogeant sur sa conformité avec l'éthique et les normes gouvernementales. Ces notes avaient été transmises à sa hiérarchie au Pentagone.

Contacté pour obtenir ses commentaires, Johnson a renvoyé à une publication LinkedIn annonçant son départ, où il se disait fier de son équipe de « véritables professionnels discrets, dont l'impact a été considérable et la reconnaissance insuffisante » au sein de la Division de l'IA Responsable du Département de la Défense : « Nous étions constamment confrontés à des situations impossibles, mais nous avons toujours réussi grâce à notre ténacité et à de nombreuses nuits blanches. »

Le porte-parole du Pentagone, Sean Parnell, a déclaré dans un communiqué que le département « se réjouit d'accueillir xAI, l'une des entreprises américaines les plus innovantes en matière d'IA, et se réjouit de déployer Grok sur sa plateforme d'IA officielle GenAI.mil très prochainement. »

La NSA, qui supervise une grande partie du renseignement national, a mené en novembre 2024 un examen confidentiel des grands modèles de langage, dont Grok. Selon des sources proches du dossier, l'examen a révélé que Grok présentait des failles de sécurité spécifiques, absentes chez d'autres modèles comme Claude d'Anthropic. Sa conclusion a servi de signal d'alarme, dissuadant certaines parties du Pentagone d'utiliser Grok, selon ces sources.

L'utilisation du drone Claude d'Anthropic lors de l'opération militaire américaine visant à capturer l'ancien président vénézuélien Nicolás Maduro le mois dernier a exacerbé les tensions avec le Pentagone.

Les directives d'utilisation d'Anthropic interdisent l'utilisation de Claude pour faciliter la violence, développer des armes ou mener des activités de surveillance. L'entreprise a refusé autorisé l'armée à utiliser ses modèles dans tous les contextes légaux. xAI a accepté ces conditions.

xAI a fait son entrée au Pentagone grâce à un contrat signé en juillet avec le bureau de l'IA, d'une valeur maximale de 200 millions de dollars, également attribué à Google, OpenAI et Anthropic. Google et OpenAI sont autorisés à utiliser Claude dans des contextes non classifiés, mais pas pour des activités classifiées.

Le PDG d'OpenAI, Sam Altman, a indiqué jeudi à ses employés que l'entreprise collaborait avec le département de la Défense américain afin d'évaluer la possibilité d'utiliser ses modèles dans des contextes classifiés, tout en maintenant les mêmes garde-fous qu'Anthropic, selon le Wall Street Journal. Des employés de Google et d'OpenAI ont signé une pétition en ligne exhortant leurs entreprises à maintenir les mêmes limites.

Jusqu'à récemment, l'armée privilégiait Claude à Grok, car ce modèle est considéré par de nombreux acteurs du secteur comme plus fiable, ont déclaré des analystes spécialisés en IA et en sécurité.

« Je ne pense pas que leurs performances soient actuellement équivalentes sur l'ensemble des capacités essentielles pour un client comme le département de la Guerre », a déclaré Gregory Allen, conseiller principal en IA au sein du think tank Center for Strategic and International Studies. Il a auparavant travaillé sur la stratégie d'IA du département de la Défense.

Sous l'administration Biden, le Bureau du numérique et de l'IA, rattaché au Pentagone, a refusé d'utiliser Grok, selon des sources proches du dossier. Parmi les préoccupations soulevées : la difficulté à tracer les sources de données utilisées pour l'entraînement du modèle, le non-respect des normes fédérales en matière d'IA responsable et des garde-fous de sécurité insuffisants. xAI n'a pas suffisamment cherché à tester sa propre technologie pour identifier et corriger les vulnérabilités, une pratique connue sous le nom de « red teaming », ont indiqué ces mêmes sources.

Des personnes ayant examiné Grok au sein du gouvernement ont déclaré que des tests récents montrent que le chatbot est plus sensible que d'autres modèles à l'« empoisonnement des données », un phénomène où des données manipulées, biaisées ou inexactes corrompent les ensembles de données sous-jacents.

Néanmoins, les responsables américains ont conclu que Grok est efficace pour imiter un acteur adverse, ce qui est utile, par exemple, pour les exercices de simulation de guerre, selon des sources proches du dossier.