Bienvenue dans

la base de données des incidents d'IA

L'intelligence artificielle d'OpenAI a déraillé cette année lors d'au moins quatre incidents supplémentaires, piratant et tentant de s'introduire dans des sites web gouvernementaux et universitaires sans y avoir été autorisée, selon des chercheurs et des responsables gouvernementaux.

Ces attaques ont eu lieu en mai et juin, avant que la technologie d'OpenAI ne compromette la sécurité de la start-up Hugging Face en juillet, déclenchant un débat international sur la sécurité de l'IA.

Contrairement à l'attaque contre Hugging Face et à d'autres incidents où les systèmes d'IA étaient sollicités pour effectuer des tests de cybersécurité qui les incitaient de fait à démontrer leurs capacités de piratage, ces nouveaux incidents se sont produits lorsque les systèmes d'IA étaient chargés d'effectuer une collecte de données relativement banale, ont indiqué les chercheurs. Lorsque les systèmes d'OpenAI ont rencontré des difficultés pour collecter des données sur des sites web, ils ont eu recours à des techniques de piratage pour obtenir les informations.

Trois de ces incidents ont été identifiés par Transluce (https://transluce.org/agent-activity), un laboratoire de recherche spécialisé dans la supervision de l'IA, et tous ont été confirmés par OpenAI. Voici comment ils se sont produits :

• Les systèmes d'OpenAI ont tenté de pirater une bibliothèque numérique de l'Université du Nouveau-Mexique les 25 et 26 mai. L'IA n'a apparemment pas réussi.

• Le 28 mai, la technologie a ciblé Data USA, un dépôt de données publiques sur l'emploi et l'éducation aux États-Unis. Cette tentative semble également avoir échoué, selon les chercheurs.

• Le 18 juin, l'IA d'OpenAI a piraté un site web du gouvernement australien, le Service de rapports statistiques de Medicare, et a acquis des données de santé. Le Premier ministre australien, Anthony Albanese, a révélé l'incident mercredi.

Les 20 et 21 juin, la technologie d'OpenAI a tenté de pirater le site web de l'Institut australien de la santé et du bien-être. Aucune information privée n'a été dérobée, ont déclaré les autorités australiennes.

Ces incidents s'ajoutent à une série d'intrusions où l'IA d'OpenAI, d'Anthropic, de Meta et de Google a pénétré d'autres systèmes à l'insu de l'utilisateur. Ces événements ont relancé le débat sur la nécessité de ralentir le développement de l'IA afin de limiter les dangers potentiels de cette technologie.

Dario Amodei, PDG d'Anthropic, a appelé les entreprises spécialisées en IA et les gouvernements à collaborer avant que cette technologie ne devienne trop puissante pour être contrôlée par l'humain. Cependant, d'autres dirigeants, comme Jensen Huang, PDG du fabricant de puces Nvidia, ont estimé que ces scénarios apocalyptiques étaient exagérés. Le président Trump a déclaré qu'il ne pensait pas que l'IA doive être soumise à une réglementation stricte.

La révélation de ces quatre incidents supplémentaires « renforce l'idée que les agents doivent être manipulés avec précaution », a déclaré Conrad Stosz, responsable de la gouvernance chez Transluce, une entreprise qui a utilisé des données de trafic web public pour analyser l'activité des agents d'OpenAI. Les agents sont des programmes autonomes qui exécutent des tâches pour un utilisateur.

M. Stosz a ajouté que les incidents australiens étaient probablement « le premier cas d'un agent choisissant de manière autonome de pirater un gouvernement ».

Une porte-parole d'OpenAI a déclaré mercredi que l'entreprise avait contacté l'Université du Nouveau-Mexique et DataUSA et était en contact avec le gouvernement australien au sujet de ces incidents.

« Dans le cadre de notre examen approfondi, nous continuons de prioriser les incidents les plus graves tout en étendant nos recherches aux activités moins graves, notamment le spamming de sites web par des agents malveillants », a-t-elle déclaré.

Elle a ajouté par ailleurs que l'entreprise de San Francisco avait découvert les incidents survenus en Australie lors d'un « examen approfondi » de ses modèles d'IA et avait constaté que « nos modèles ont agi de manière non intentionnelle ». L'examen mené par OpenAI prendra plusieurs mois, a-t-elle précisé.

Sam Altman, PDG d'OpenAI, a déclaré ce mois-ci sur les réseaux sociaux que la sécurité devait primer sur l'amélioration des capacités de l'IA et que, sans garde-fous, la société pourrait « perdre le contrôle de son avenir au profit de l'IA ».

M. Albanese a indiqué avoir parlé à M. Altman mercredi et lui avoir fait part de sa « vive inquiétude » concernant le piratage. Il a précisé que des données « non sensibles », telles que des données de dépenses, avaient été compromises, mais qu'aucune information médicale personnelle n'avait été touchée.

(Le New York Times a porté plainte contre OpenAI et Microsoft pour violation de droits d'auteur concernant des contenus d'actualité liés aux systèmes d'IA. Les deux entreprises ont nié ces accusations.)

Ces incidents supplémentaires suggèrent que les systèmes d'OpenAI tentent de pirater des sites web, des bases de données et des systèmes d'entreprise depuis plus longtemps qu'on ne le pensait. Transluce a détecté du trafic web provenant de ces agents dès le mois de mars et jusqu'à mercredi dernier, indiquant que ce comportement a commencé il y a plusieurs mois et a persisté après qu'OpenAI a entamé une enquête sur l'affaire Hugging Face et d'autres agissements répréhensibles.

Lors des incidents de mai et juin, les systèmes d'IA de l'entreprise semblaient être impliqués dans des exercices d'entraînement à la récupération de données, selon les chercheurs.

Lors de la tentative d'intrusion dans la bibliothèque de l'Université du Nouveau-Mexique, l'IA a tenté d'accéder à des photos d'un ancien centre de traitement de la tuberculose. N'ayant pu obtenir les données, l'IA a commencé à sonder le site à la recherche de vulnérabilités lui permettant de s'y introduire. N'ayant trouvé aucune faille, elle a envoyé ce qu'elle a décrit comme un « déluge » de 80 requêtes au serveur de l'université.

Ciblant Data USA, l'IA a envoyé une requête brouillée au site pour obtenir des données. Face à cet échec, elle a lancé 12 sondages pour rechercher diverses vulnérabilités, sans succès.

« Si l'on entraînait un essaim d'agents à accomplir une tâche générique et que ces agents étaient prêts à recourir au piratage, toute personne détenant ces informations pourrait être en danger », a déclaré M. Stosz de Transluce.

Le site web du gouvernement australien piraté est un portail de statistiques contenant des données sur Medicare, le système de santé universel du pays, qui couvre 27,5 millions d'assurés, sans compter les visiteurs internationaux. Le système de santé est souvent considéré comme un sujet tabou en politique australienne en raison de son large soutien populaire.

Une équipe d'OpenAI menait des recherches sur Internet concernant les dépenses publiques de santé, a déclaré M. Albanese, lorsque ses agents d'IA, confrontés à des blocages répétés, ont tenté d'obtenir des informations par d'autres moyens et ont accédé à des parties non publiques du portail. OpenAI a informé le gouvernement australien le 10 septembre.

« Nous sommes confrontés à un nouveau monde », a déclaré le Premier ministre.

Il n'a pas répondu aux questions des journalistes lui demandant s'il avait évoqué cette faille de sécurité avec M. Trump lors de leur rencontre cette semaine en marge de l'Assemblée générale des Nations Unies.

Fin juillet, lors de la visite d'inspecteurs d'État sur un chantier poussiéreux au milieu des terres agricoles du sud du New Jersey, impossible de manquer les 62 générateurs de la taille de semi-remorques alimentant l'un des plus grands centres de données en projet sur la côte Est.

Aucun de ces générateurs de 2 000 kilowatts, fonctionnant au gaz naturel, ne disposait des permis requis pour son installation ou son exploitation sur le site. Mardi, le New Jersey a infligé une amende de 1,07 million de dollars à DataOne, l'exploitant du centre de données, pour violation de la loi de l'État sur la lutte contre la pollution atmosphérique. Selon les autorités de l'État, il s'agit de l'amende la plus élevée jamais infligée à un exploitant de centre de données dans le New Jersey.

Les centres de données hyperscale, comme celui de Vineland, sont conçus pour répondre aux besoins des entreprises technologiques mondiales. Ces centres de données sont confrontés à une course à l'énergie, plus rapide que la capacité du réseau électrique. De ce fait, certains promoteurs de centres de données installent des sources d'énergie hors réseau, ce qui suscite une vive opposition du public.

« Ce projet ne sera pas gratuit pour qui que ce soit », a déclaré Mikie Sherrill, gouverneur du New Jersey, lors d'une discussion sur la Semaine du climat organisée par Heatmap News à Midtown Manhattan mercredi. « S'ils veulent s'engager dans ce projet, il doit impérativement profiter aux communautés du New Jersey. »

Le complexe de centres de données de Vineland, dont l'achèvement est prévu pour la fin de l'année, s'étendra sur 240 000 mètres carrés et nécessitera 350 mégawatts, soit l'équivalent de la consommation d'une ville moyenne. Une partie du complexe est déjà en service et le projet a suscité de nombreuses plaintes, dès la procédure d'urbanisme.

Un groupe de propriétaires a déposé une plainte fédérale contre DataOne pour nuisances sonores persistantes provenant du site. Le service de santé du comté de Cumberland a émis des injonctions à l'encontre de DataOne pour nuisances sonores excessives.

DataOne a déclaré être en désaccord avec la décision de l'État. « Nous allons demander les permis d'émission pour les générateurs temporaires », a indiqué un porte-parole dans un communiqué, ajoutant que l'entreprise était en pleine transition vers des piles à combustible silencieuses et à faibles émissions.

Mardi, les autorités de l'État ont ordonné à DataOne de déposer immédiatement les demandes de permis requises et de cesser d'utiliser les générateurs si ces permis ne sont pas approuvés dans un délai de 45 jours. Ces permis sont obligatoires pour tout générateur d'une puissance égale ou supérieure à 37 kilowatts, ont précisé les autorités. La puissance des générateurs du site de Vineland était environ 50 fois supérieure.

Les générateurs à gaz naturel émettent du dioxyde de carbone, des oxydes d'azote, du monoxyde de carbone et d'autres polluants liés à la combustion. Le complexe est situé à proximité de terres agricoles, d'habitations et de deux écoles.

Zac Landicini, résident de Vineland depuis toujours et fondateur de Sustain SJ, une association de défense de l'environnement, a déclaré mercredi avoir soulevé la question des générateurs non homologués lors d'une réunion publique en février, après qu'un agriculteur eut repéré un appareil quelconque sur des images satellite du site.

On ignore pourquoi près de six mois se sont écoulés entre cette réunion et l'inspection du 29 juillet, qui a abouti à l'amende de 1,07 million de dollars annoncée mardi. Les générateurs n'avaient pas été observés lors de la précédente inspection du site en décembre, ont indiqué les autorités.

Fin août, une enquête menée par Floodlight, un média à but non lucratif spécialisé dans l'information environnementale, et The Guardian a révélé qu'au moins 45 des 62 générateurs étaient en fonctionnement.

« C'est du genre "ne demandez pas la permission, demandez pardon après" », a déclaré Steve Brown, un habitant de longue date de Vineland, pour décrire le fonctionnement supposé du centre de données.

Il a ajouté mercredi qu'il ne pensait pas qu'une amende, même record, serait suffisamment dissuasive. « C'est une goutte d'eau dans l'océan pour une entreprise qui dispose de plusieurs milliards de dollars de capital », a-t-il affirmé.

Tiffany Leone-Vespa, mère de deux adolescents et résidente du quartier depuis 18 ans, s'est dite préoccupée par la qualité de l'air.

« Qu'est-ce qu'on respire depuis qu'ils font tourner ces générateurs sans permis ? », s'est-elle interrogée mercredi, après avoir récupéré ses enfants à l'école. « Quelles émissions ont été rejetées ? Quelle est la qualité de l'air dans le quartier ? A-t-elle déjà été mesurée ? »

Elle a critiqué la sanction infligée par l'État.

« 1,07 million de dollars, c'est quoi ? », a-t-elle lancé. « Ils auraient dû le faire pour chaque générateur qu'ils utilisaient illégalement. Ce sont des milliardaires. C'est une broutille. »

L'année dernière, l'État de Virginie a infligé une amende de près de 2,5 millions de dollars à Microsoft pour avoir fait fonctionner 62 groupes électrogènes de secours pendant une semaine dans un centre de données de Leesburg, en Virginie, suite à la défaillance d'un poste électrique. Les autorités de Virginie ont constaté que le centre de données avait dépassé les limites d'émissions polluantes autorisées. Cette amende était la plus importante sanction civile jamais infligée par l'État à un centre de données.

Leesburg se situe dans le comté de Loudoun, qui se targue d'abriter la plus forte concentration mondiale de centres de données, avec plus de 250 établissements. Au moins deux douzaines d'autres sont en projet dans la région.

Le centre de données de Vineland, à une soixantaine de kilomètres au sud-est de Philadelphie, a conclu un accord avec Microsoft pour fournir de la puissance de calcul en intelligence artificielle.

Mercredi, la gouverneure Sherrill a déclaré que les centres de données devaient investir dans le réseau électrique de l'État, déclarer leur consommation d'eau et d'énergie et apporter des bénéfices aux collectivités. Elle a ajouté que les exploitants de centres de données avaient été « déplorables » dans leur communication avec les communautés locales lors de la construction.

« C'est pourquoi, à mon avis, tant de gens se méfient de l'innovation actuellement, et de son avenir », a-t-elle conclu. « Parce que le gouvernement doit protéger les citoyens contre ces risques. Et pour l'instant, je dirais que le gouvernement fédéral ne le fera pas, c'est pourquoi, en tant qu'État, nous nous impliquons de manière aussi énergique. »

Un autre membre du département de police de Milwaukee a été inculpé pour utilisation abusive présumée du système de lecture automatique des plaques d'immatriculation.

Le détective Tehrangi Chapman, du département de police de Milwaukee, a été inculpé mercredi d'abus de fonction (un crime) et d'utilisation abusive d'un appareil GPS.

Selon la plainte, Chapman, détective affecté à la division des affaires internes, a reconnu avoir utilisé le système de caméras Flock à 20 reprises pour « suivre les déplacements » de deux personnes. « Ceci constitue une violation du règlement du département de police de Milwaukee », précise la plainte.

Les caméras de lecture automatique des plaques d'immatriculation prennent des photos des plaques et stockent ces informations. Ces données peuvent être partagées avec d'autres services de police.

Krissie Fung, commissaire de police et des pompiers de Milwaukee, a qualifié ces accusations d'« extrêmement préoccupantes ».

« Le fait que cette personne soit membre de la division des affaires internes, censée être un élément central du mécanisme de responsabilisation interne du MPD, a un impact disproportionné sur la confiance du public », a déclaré Fung.

Dans un communiqué, le chef de la police de Milwaukee, Jeffrey Norman, a déclaré : « Nul n'est au-dessus des lois. »

« Nous attendons de tous les membres de ce service, agents assermentés et personnel administratif, qu'ils respectent les normes éthiques les plus élevées », a déclaré Norman. « Nous continuerons à prendre des mesures décisives pour préserver la confiance du public et honorer les valeurs de notre organisation. »

Ces accusations surviennent quelques mois après que l'agent de police de Milwaukee, Josue Ayala, a été inculpé pour avoir utilisé le système de caméras de lecture de plaques d'immatriculation afin de vérifier la position du véhicule de sa compagne et de l'ex-compagne de celle-ci. Ayala a plaidé coupable de tentative de faute professionnelle en juin et a démissionné du service.

La plainte indique que Chapman a utilisé le système de caméras à 17 reprises entre le 10 janvier 2024 et le 3 janvier 2025 pour rechercher la plaque d'immatriculation du véhicule d'une personne. Chapman a également admis avoir installé un dispositif GPS sur le véhicule de cette personne. Les enquêteurs ont déclaré qu'il avait recherché la plaque d'immatriculation d'une autre personne à trois reprises le 7 janvier 2025, prétextant une « formation » pour justifier ces recherches.

La plainte précise que Chapman a également « mené l'enquête concernant l'utilisation abusive du système Flock par l'agent Ayala ».

Selon la plainte, une note de service « stipule clairement que l'accès au système Flock est réservé aux enquêtes et que tout membre du service de police de la ville de Milwaukee ayant accédé au système Flock pour des raisons sans lien avec l'application de la loi s'expose à des sanctions disciplinaires ».

Chapman, qui compte 22 ans de service au sein du département, est suspendu depuis le 13 mars. Il comparaîtra pour la première fois devant le tribunal le 17 juillet. Son avocat n'était pas disponible pour une interview jeudi.

Amanda Merkwae, directrice du plaidoyer pour l'Union américaine pour les libertés civiles du Wisconsin, a déclaré qu'il était « extrêmement préoccupant » que Chapman travaille au sein de la division des affaires internes.

« Les affaires internes sont censées être le dernier rempart contre la corruption et les abus policiers », a déclaré Merkwae. « Lorsque le détective chargé d'enquêter sur l'utilisation abusive du système Flock par un autre agent aurait déjà utilisé cette même technologie pour harceler des personnes, cette illusion d'autorégulation efficace s'effondre complètement. »

Dans un courriel envoyé jeudi en réponse aux accusations portées contre Chapman, MoMo Zhou, porte-parole de Flock Safety, la société à l'origine des caméras de lecture de plaques d'immatriculation, a déclaré que tout usage abusif d'un outil des forces de l'ordre était inacceptable.

« Ce cas illustre parfaitement pourquoi Flock conçoit sa technologie avec des pistes d'audit immuables et transparentes, afin que les rares cas d'abus potentiels puissent être détectés, examinés et traités », a écrit Zhou.

Le département de police de Milwaukee a annoncé des modifications de son accès au système et de sa procédure d'audit suite à la mise en examen d'Ayala.

Certaines municipalités du Wisconsin ont rompu leurs liens avec Flock.

D'autres services de police de l'État ont déjà rompu leurs liens avec Flock Safety ces dernières semaines et ces derniers mois. Certains habitants ont exprimé des inquiétudes quant au respect de la vie privée et à l'accès et au partage des données.

En novembre, le conseil municipal de Verona a voté contre le renouvellement de son contrat avec Flock. En avril, les superviseurs du comté de Dane ont voté à 32 voix contre 1 pour supprimer le financement alloué aux caméras par le bureau du shérif du comté.

Plus récemment, le service de police de l'Université du Wisconsin à Madison (UWPD) a décidé de ne pas renouveler son contrat avec Flock Safety.

« Cette décision a été prise afin que l'UWPD puisse identifier un fournisseur de systèmes de lecture automatisée de plaques d'immatriculation (LAPI) répondant mieux aux besoins de sécurité publique de l'université, tout en prenant en compte les préoccupations exprimées par la communauté universitaire concernant le recours à Flock pour la fourniture de cette technologie », a déclaré le service dans un communiqué du 3 juillet (https://uwpd.wisc.edu/uw-madison-police-department-not-renewing-current-flock-alpr-contract/).

La ville de Kaukauna ne renouvelle pas son contrat avec Flock Safety, selon un communiqué du 8 juillet.

« Compte tenu des préoccupations soulevées et de l'impossibilité de collaborer avec les communautés environnantes, il n'est pas financièrement responsable pour la ville de continuer à investir dans les caméras Flock », a déclaré Jamie Graff, chef de la police de Kaukauna, dans un communiqué. « Nous travaillons actuellement avec Flock pour désactiver l'équipement et le retirer de la ville. »

HOUSTON, Texas (KTRK) – Des adjoints du shérif du comté de Harris ont encerclé une voiture qu'ils pensaient volée, sortant leurs armes et menottant deux hommes qui se trouvaient à bord. Ils se sont vite rendu compte de leur erreur : il s'agissait de la mauvaise voiture et les deux hommes n'étaient pas des suspects.

C'était en début de soirée, le 3 août, dans un quartier résidentiel paisible de Cypress, lorsqu'Anthony et Julian, tous deux âgés de 19 ans, revenaient d'une station-service. Anthony s'apprêtait à partir au volant de sa Camaro lorsque, soudain, des adjoints du shérif ont encerclé sa voiture. Les images de sonnettes de voisins montrent au moins cinq voitures de patrouille et le bruit d'un hélicoptère qui tourne autour d'eux avant leur arrestation. ABC13 ne divulgue pas leurs noms de famille puisqu'ils ne sont pas poursuivis.

« J'étais en train de démarrer, j'ai fait à peine quelques centimètres et je me suis retrouvé encerclé par une horde de policiers et un hélicoptère », a déclaré Anthony. « C'était comme dans un film. »

Les amis ont déclaré que les adjoints du shérif les avaient braqués et menottés avant de leur demander leur permis de conduire ou la carte grise de leur véhicule.

« Il a pointé son arme sur nous deux et m'a ordonné de me mettre à terre », a raconté Julian. « Je me suis retourné et il m'a poussé au sol. Il a dit : "À terre ! Je vais te tirer dessus et te tuer !" »

Julian a partagé une vidéo montrant des coupures et des éraflures sur ses bras après avoir été, selon ses dires, poussé au sol par un adjoint du shérif. Tous deux ont rapidement compris que les adjoints les avaient pris pour des conducteurs de voiture volée.

D'après le bureau du shérif du comté de Harris, des caméras de surveillance ont repéré la plaque d'immatriculation d'une Camaro volée dans le secteur. Le bureau du shérif a indiqué que cette voiture était liée à plusieurs vols qualifiés.

Une unité en civil a repéré une voiture correspondant à la description, mais ni l'adjoint ni l'hélicoptère n'ont pu lire la plaque d'immatriculation. Un porte-parole a déclaré qu'ils avaient alors demandé des renforts. Une fois les deux hommes menottés, les adjoints ont réalisé leur erreur.

« Ils ont ouvert la porte et m'ont demandé : "Vous voulez savoir ce qui s'est passé ?" J'ai répondu : "Oui." Ils m'ont dit qu'ils recherchaient une voiture volée et m'ont montré la photo. C'est là que j'ai compris », a raconté Anthony.

Soulagée, la mère d'Anthony, Leslie, souhaite que les adjoints soient tenus responsables et estime que cet incident aurait pu être évité, ou du moins géré différemment. Elle envisage de prendre un avocat.

« Ils auraient pu vérifier sa plaque d'immatriculation ou l'aborder autrement. Un simple contrôle routier pour lui demander ses papiers d'identité, par exemple, pour s'assurer qu'il n'était pas dans cet état. Ils auraient pu lui éviter ce traumatisme », a déclaré Leslie. « Ils n'ont rien fait de mal. Ce sont de bons garçons. En tant que mère, j'étais en colère, triste et inquiète. »

Selon le bureau du shérif du comté de Harris, les supérieurs hiérarchiques, notamment le capitaine de district, les lieutenants et les sergents de quart, visionneront les enregistrements des caméras corporelles afin de vérifier que les procédures et protocoles ont été respectés.

Un porte-parole a indiqué que les hommes avaient reçu des informations sur la procédure à suivre pour déposer une plainte officielle auprès de leur service des affaires internes, ce qu'ils comptent faire.