Bienvenue dans

la base de données des incidents d'IA

Three foreign nationals were arrested and charged with using AI to allegedly impersonate corporate CEOs and attorneys to steal over $100m, according to an indictment that was newly unsealed by the US Department of Justice.

According to a press release from the United States attorney’s office for the southern district of New York, three men – Jacob Soall, Sharon Hazan, and Guy Sheetrit – were arrested for using AI to alter and impersonate the voices and images of

AIID editor's note

This abridgment retains the overview, Tencent’s account as reported by the researchers, the findings on Amap protections and credential use, and the contributor and source lists. The full report contains the remaining technical findings, communications, figures, activity chart, methods, and notes.

AI transparency note

ChatGPT assisted with the Markdown conversion and selection of sections for this abridgment. Retained passages were checked against the supplied source.

Investigation · urlquery.

Le gouvernement australien est en pleine effervescence depuis la révélation, en début d'année, du piratage informatique dont il a été victime. Le mois dernier, à l'Assemblée générale des Nations Unies, le Premier ministre australien, Anthony Albanese, a indiqué que les modèles d'OpenAI avaient accédé, de leur propre initiative, à des données confidentielles de la base de données Medicare du pays, et avaient également sondé ou tenté d'infiltrer au moins trois autres agences gouvernementales. Cette semaine encore, les parlementaires australiens ont interrogé Jason Kwon, directeur de la stratégie d'OpenAI, sur cet incident : « Si vous n'aviez pas volontairement fourni ces informations au gouvernement, nous ne le saurions toujours pas aujourd'hui ? » a demandé le sénateur Jonathon Duniam. « Votre remarque est une conclusion logique », a répondu M. Kwon.

Parallèlement, le gouvernement australien se prépare à une vague de piratages informatiques alimentés par l'IA : le ministère australien de l'Intérieur a ordonné à tous les organismes gouvernementaux d'identifier, dans les six prochains mois, leurs systèmes informatiques obsolètes et d'établir un plan de leur mise hors service progressive. Dans un monde où « les capacités de pointe de l'IA ont ciblé la technologie du Commonwealth », a écrit le ministre de l'Intérieur, de tels logiciels représentent « un risque inacceptable pour le gouvernement australien ».

L'Australie n'est qu'un exemple parmi les nations, associations et entreprises privées qui se préparent à une recrudescence des piratages informatiques alimentés par l'IA. Les criminels et les services de renseignement étatiques utilisent désormais cette technologie pour mener des cyberattaques avec une rapidité, une ampleur et une sophistication accrues, notamment par le biais de courriels d'hameçonnage hyper-personnalisés et d'intrusions automatisées. Par conséquent, le nombre de failles de cybersécurité révélées chaque mois a doublé depuis le début de l'année, selon une étude du groupe Threat Intelligence de Google.

Lire : Un aperçu saisissant de l'efficacité impitoyable de l'IA

Face à cette situation, les équipes informatiques s'efforcent de renforcer leurs défenses. « Il s'agit d'une question de mois, voire d'un an, avant que le problème de la sécurisation des infrastructures logicielles de notre civilisation ne soit résolu », m'a confié Stanislav Fort, ancien chercheur chez Anthropic et aujourd'hui directeur scientifique de la société de cybersécurité AISLE. L'IA ne se contente pas de rendre les cyberattaques plus efficaces, elle accroît également la surface d'attaque potentielle. Selon Fort, s'introduire dans un site web ou exécuter une attaque par rançongiciel prend du temps ; c'est pourquoi les pirates informatiques ont traditionnellement ciblé des entreprises importantes offrant des gains considérables. Cependant, l'émergence d'agents de piratage peu coûteux et infatigables signifie que toute organisation ou personne peut devenir une cible potentielle. Parallèlement, les professionnels de la cybersécurité avec lesquels je me suis entretenu se sont montrés confiants quant à leur capacité à relever le défi. « Si nous améliorons nos pratiques en matière de cybersécurité, nous pourrons sans aucun doute, collectivement, faire face aux menaces posées par l'IA », a déclaré Fort.

Les cyberattaques perpétrées contre les installations de distribution d'eau du Minnesota l'été dernier donnent un aperçu de ce qui nous attend. Des pirates informatiques liés à l'Iran ont perturbé le fonctionnement de dizaines de services de distribution d'eau dans le Minnesota, dont beaucoup dans de petites communes ne disposant pas nécessairement d'un responsable de la cybersécurité au sein de leurs équipes. « Nous avons eu la chance qu'un opérateur très vigilant signale la panne d'une pompe », m'a expliqué John Israel, responsable de la sécurité des systèmes d'information du Minnesota. L'État a reçu ce signalement vers 3 heures du matin et a lancé une enquête et une intervention dans les deux heures qui ont suivi. Les pirates informatiques ont exploité une faille de sécurité dans les ordinateurs industriels, faille qui avait été révélée quelques jours auparavant par l'Agence de cybersécurité et de sécurité des infrastructures (CISA). Les services des eaux ont temporairement dû recourir à des procédures manuelles pour assurer la continuité de leurs opérations : par exemple, un opérateur devait parfois se rendre au château d'eau toutes les quelques heures pour vérifier le bon fonctionnement de l'ensemble du système, a précisé M. Israel.

Bien que l'intelligence artificielle n'ait pas été directement impliquée dans les cyberattaques du Minnesota, Emily Zimmer, porte-parole des services informatiques du Minnesota, m'a indiqué : « Nous supposons que la plupart des adversaires utilisent l'IA » pour amplifier leurs attaques. Autrement dit, il est difficile d'imaginer un pirate informatique qui n'utilise pas cette technologie aujourd'hui. La CISA a publié un avis signalant que des acteurs malveillants utilisent des logiciels malveillants générés par l'IA pour cibler des ordinateurs similaires au sein d'infrastructures critiques à travers le pays. « Nous allons constater une augmentation des vulnérabilités, le nombre de correctifs va augmenter, et nous devons les mettre en œuvre plus rapidement afin de prévenir ces attaques », a déclaré Israel. « Nos statistiques le confirment. » Pour les petites villes aux budgets limités qui doivent se défendre contre les pirates informatiques étatiques, le défi est encore plus grand. Minnesota IT Services envoie des « cybernavigateurs » dans tout l'État pour apporter leur aide en matière de cybersécurité, a précisé Israel, mais « des centaines et des centaines de villes et de villages » ont besoin d'assistance.

Une défense efficace contre les attaques d'IA exige un changement de paradigme en matière de cybersécurité. Historiquement, les professionnels de l'informatique ont bénéficié d'un certain temps : les défenseurs humains devaient simplement agir plus vite que leurs adversaires. Mais l'IA permet des attaques bien plus nombreuses et rapides. Bien entendu, les experts en cybersécurité exploitent eux-mêmes l'IA. « Je ne dis pas que c'est la fin du monde », a déclaré Israel, tout en restant préoccupé. « Nous devons tous renforcer nos capacités de réaction. » Il existe une asymétrie entre les attaquants et les défenseurs. Les premiers utilisent les nouvelles technologies sans retenue, tandis que les entreprises et les agences gouvernementales sont généralement plus lentes et plus prudentes.

Les hôpitaux, par exemple, sont des cibles particulièrement prisées et vulnérables pour les cyberattaques. Ils stockent d'énormes quantités de dossiers médicaux, d'informations de paiement et de données d'essais cliniques. À l'instar des services publics de distribution d'eau, ils peuvent également manquer de ressources informatiques importantes. Compte tenu du risque vital que représente une panne majeure pour les patients, les cliniques sont particulièrement susceptibles de payer une rançon. Aujourd'hui, les hôpitaux « doivent partir du principe que tout ce qui est connecté à Internet, en particulier, n'est pas sécurisé à 100 % », m'a expliqué John Riggi, conseiller national en cybersécurité et gestion des risques à l'American Hospital Association (AHA). Même les petits établissements possèdent des milliers d'ordinateurs, de téléphones et d'appareils médicaux qui pourraient constituer des points d'entrée pour les intrusions. C'est pourquoi M. Riggi les aide non seulement à sécuriser leur système informatique, mais aussi à se préparer à fonctionner de manière traditionnelle en cas de piratage majeur.

De plus, les hôpitaux doivent être particulièrement vigilants quant à l'adoption de mesures de protection contre l'intelligence artificielle (IA). Une clinique ne peut pas implémenter un nouveau code sans s'assurer qu'il ne mettra pas hors service ses respirateurs, ses pompes à perfusion, ses appareils de radiographie et autres dispositifs essentiels, a précisé M. Riggi. Les entreprises technologiques ont tendance à « innover vite et à prendre des risques », m'a confié Scott Gee, conseiller national adjoint de l'AHA en cybersécurité et gestion des risques. « Dans le secteur de la santé, ces risques concernent le personnel. Nous ne pouvons pas nous permettre d'innover vite et de prendre des risques. »

Les chances de succès des pirates informatiques augmentent sans cesse. L'IA leur permet à la fois d'exploiter les failles plus rapidement et d'automatiser les intrusions. Auparavant, les organisations disposaient d'un mois pour corriger les vulnérabilités avant d'être gravement menacées, m'a expliqué Adam Meyers, vice-président senior des opérations de contre-attaques chez Crowdstrike. Désormais, elles n'ont parfois que 24 heures pour effectuer une correction, a-t-il ajouté. Et ce délai pourrait être réduit à 30 minutes seulement lorsqu'une nouvelle vulnérabilité est découverte. Un hôpital, un réseau électrique, un système de distribution d'eau, et en réalité toute infrastructure fournissant des services essentiels en temps réel, ne peuvent tout simplement pas se permettre de déployer un nouveau code aussi rapidement.

Lors de notre entretien, Riggi et Gee revenaient d'un week-end passé à aider des hôpitaux à se protéger contre des attaques informatiques de grande ampleur ciblant des failles de sécurité dans Citrix NetScaler, une plateforme utilisée par environ 50 % des hôpitaux, selon Riggi. NetScaler est « l'équivalent du contrôle aérien » pour les informations numériques circulant dans un hôpital, a-t-il déclaré. Cela a fait de ce programme une cible de choix pour les pirates informatiques et un outil complexe à désactiver et à réparer pour les hôpitaux, en raison des « effets en cascade imprévisibles susceptibles d'affecter les soins de santé ». Riggi a indiqué qu'il est difficile de déterminer si l'IA a été utilisée pour développer l'attaque – comme c'est souvent le cas – mais la rapidité de sa découverte et de son exploitation la rend plausible.

De nombreux systèmes informatiques sont constitués de plusieurs décennies de logiciels superposés à des logiciels plus anciens. Cela signifie qu'une attaque ciblant un seul programme ou produit peut avoir des répercussions imprévisibles et importantes au sein d'un hôpital ou d'une autre organisation, a expliqué Riggi. « Il faut s'attendre à davantage d'attaques, à des attaques plus rapides et à une nécessité pour les entreprises de se transformer plus vite qu'à l'accoutumée », m'a confié Lee Klarich, directeur des produits et de la technologie chez Palo Alto Networks, une entreprise spécialisée en cybersécurité. Son entreprise a consacré le premier semestre à lancer en urgence un produit destiné à protéger les infrastructures critiques contre les attaques sophistiquées utilisant l'IA. Pour passer de l'idée au lancement en cinq mois seulement, Klarich a déclaré : « C'est du jamais vu ! »

Bien que les entreprises et les petites villes soient parfois lentes à adopter l'IA pour la cybersécurité, elles peuvent aussi être très rapides à intégrer cette technologie dans leurs opérations quotidiennes, créant ainsi de nouvelles failles. Les agents et les chatbots peuvent stocker et divulguer des données personnelles, ou être amenés à partager des identifiants ou à écrire du code malveillant. À mesure que les modèles d'IA générative sont devenus plus performants, ils sont paradoxalement devenus encore moins compréhensibles. OpenAI a récemment signalé que ses modèles avaient publié sur Internet des images téléchargées par les utilisateurs. Des programmeurs comme des employés non techniques développent intuitivement de nouvelles applications potentiellement vulnérables. « Nous constatons que des pirates utilisent l'IA pour attaquer les chatbots des entreprises, puis se servent de ces mêmes chatbots pour attaquer d'autres entreprises », m'a expliqué Adam Ely, responsable de la sécurité de l'IA chez Check Point. Sans parler des comptes d'IA individuels des employés, qui ne sont pas soumis au contrôle de l'entreprise. L'IA place les organisations « sous une menace constante, tant interne qu'externe », m'a confié Todd Marlin, PDG de Guardrail Technologies. Il travaille avec certaines des plus grandes entreprises du monde, pour constater qu'elles « peinent encore à comprendre ce qui se passe en interne ».

Une autre source d'incertitude s'ajoute : les professionnels de la cybersécurité tentent de se préparer aux attaques d'IA sans connaître pleinement les capacités des bots. Dawn Song, professeure à l'UC Berkeley et chercheuse chez Meta, dirige une équipe chargée de développer certains des tests les plus exigeants et les plus utilisés pour évaluer les capacités de piratage de l'IA. Mais l'évolution rapide des modèles émergents oblige son équipe à développer des tests plus difficiles, et ce, plus rapidement. « La durée de validité des tests de référence, avant qu'ils ne soient saturés, se raccourcit également », m'a expliqué Song à titre personnel. « Cela représente un défi de taille pour nous permettre de continuer à évaluer les technologies émergentes. »

Les professionnels de la cybersécurité avec lesquels je me suis entretenu ont tous exprimé un certain espoir quant à l'utilisation de l'IA pour renforcer la sécurité, soulignant que notre infrastructure numérique actuelle est déjà truffée de failles de sécurité et de code mal écrit. Les petites villes et les entreprises, faute de ressources ou même de sensibilisation à la cybersécurité, étaient déjà vulnérables.

L'IA peut fournir à la fois l'impulsion et l'outil nécessaires aux réparations structurelles importantes qui se font attendre depuis trop longtemps : détecter et éliminer les vulnérabilités et surveiller les intrusions 24 h/24 et 7 j/7. Le Minnesota, par exemple, s'est associé à OpenAI et Anthropic pour accéder à leurs modèles d'IA les plus avancés en matière de cybersécurité. Mais même cette initiative comporte un aveu : seule l'IA peut nous sauver de l'IA. Quoi qu'il en soit, la situation pourrait un jour échapper à tout contrôle humain.

AIID editor's note

This report has been abridged to fit AIID's 50,000-character limit. The abridgment omits the table covering twenty-one sites and fourteen fetch services, along with the evidence appendix. The retained text is reproduced verbatim.

The FBI figures count entries in Vanderbilt's referrer logs. Four entries contained an individual's API key. Whether any corresponding requests reached the FBI remains unverified.

AI transparency note

ChatGPT (GPT-6.1 Sol) assisted with the abridgment and Markdown conversion. The complete text and evidence appendix are avai