Bienvenue dans

la base de données des incidents d'IA

Le Parti démocrate progressiste (PDP) a demandé hier l'ouverture d'une enquête judiciaire sur l'utilisation potentiellement illégale d'intelligence artificielle (IA) pour imiter la voix du président William Lai dans une vidéo critiquant la gestion par le gouvernement d'un scandale lié à la sécurité des huiles de cuisson.

Le Bureau d'enquête criminelle a déclaré dimanche avoir reçu un signalement concernant cette vidéo, intitulée « Vous n'y pouvez rien » (油不得你).

Les enquêteurs examinent l'affaire, car l'utilisation de cette vidéo pourrait induire le public en erreur et lui faire croire qu'il s'agit d'une déclaration officielle du président.

Ces dernières semaines, les autorités ont rappelé des lots d'huile de cuisson brute produits par Central Union Oil Corp (CUOC, 中聯油脂) présentant des niveaux excessifs de benzopyrène, un agent cancérigène.

Selon les médias locaux, le réalisateur de la vidéo, M. Wei (韋), a été contacté par la police.

Lors d'une conférence de presse à Taipei sur la sécurité alimentaire à Hsinchu, le porte-parole du Parti démocrate progressiste (DPP), Justin Wu (吳崢), a déclaré que l'usurpation d'identité par le biais de la technologie pouvait constituer un délit de falsification de documents.

Les usurpations d'identité de personnalités publiques et politiques ont engendré des coûts sociaux importants ces dernières années, a-t-il affirmé, appelant la population à la vigilance face à la fraude et à la désinformation.

L'impact social est d'autant plus grave lorsque des représentants du gouvernement, le président ou le vice-président sont visés, ce qui exige une enquête judiciaire approfondie, a-t-il ajouté.

Interrogé par des journalistes sur le projet des partis d'opposition d'organiser un nouveau rassemblement samedi sur le boulevard Ketagalan pour lutter contre la conduite en état d'ivresse ou sous l'influence de stupéfiants et réclamer justice, M. Wu a indiqué que le DPP respectait le droit des partis politiques et des citoyens à se rassembler et à manifester.

Cependant, le Parti nationaliste chinois (KMT) étant le plus grand parti au sein du Yuan législatif, la clé de la coopération avec le gouvernement et le Parti démocrate progressiste (DPP) sur des questions telles que la conduite sous influence de stupéfiants et la sécurité alimentaire réside dans la nécessité de promouvoir des améliorations institutionnelles au Yuan législatif, a-t-il déclaré.

Le groupe parlementaire du KMT a tenu hier une conférence de presse distincte à Taipei pour condamner l'enquête visant Wei, affirmant que Taïwan était en train de devenir un « État policier ».

Le secrétaire général du groupe parlementaire du KMT, Lin Pei-hsiang (林沛祥), a opposé la lenteur de la réaction du gouvernement face au scandale de l'huile de cuisson à la rapidité avec laquelle il a déployé des forces de police pour enquêter sur un citoyen ayant critiqué le gouvernement.

« Aux yeux du gouvernement, l'ego du président est-il plus important que la santé publique ? » a déclaré Lin, exigeant que les autorités clarifient les raisons de l'enquête et les lois qui auraient été enfreintes.

Le secrétaire général adjoint du groupe parlementaire du Kuomintang, Hsu Yu-chen (許宇甄), a accusé le gouvernement d'appliquer la loi de manière sélective, affirmant que son empressement à étouffer la dissidence crée un climat de peur.

Le député du Kuomintang, Niu Hsu-ting (牛煦庭), s'est interrogé sur les raisons pour lesquelles le bureau – généralement chargé des crimes majeurs – est mobilisé pour enquêter sur la vidéo.

Le professeur de droit de l'Université nationale Yang Ming Chiao Tung, Chin Mong-hwa (金孟華), a déclaré que chaque fois que l'intelligence artificielle est utilisée pour simuler la voix ou l'image d'une personne afin de créer du contenu politique, une obligation de transparence claire s'impose, avec une mention explicite de génération par IA.

Des mécanismes de responsabilité et de sanction plus clairs devraient être mis en place pour empêcher que de tels contenus n'induisent le public en erreur, a-t-il ajouté.

Si le contenu généré par l'IA n'est pas divulgué ou crée intentionnellement une fausse impression d'authenticité, il pourrait être considéré comme un faux, une atteinte à la réputation et une violation de la loi sur la protection des données personnelles (個人資料保護法), ou porter atteinte aux droits personnels et à la liberté d'expression, a déclaré Chin.

Des pirates informatiques chinois présumés ont utilisé des modèles d'intelligence artificielle open source pour mener une cyberattaque contre le gouvernement taïwanais. Il s'agit du premier cas connu de piratage autonome par IA ciblant un organisme gouvernemental, selon une étude publiée mercredi.

Les pirates ont extrait plus de 2 500 dossiers de personnel, entre autres données, lors de cette « attaque quasi autonome », expliquent les chercheurs de la société israélienne de cybersécurité Dream dans un article de blog. Les attaquants ont configuré le système pour qu'il puisse « s'adapter en cours d'opération sans intervention humaine ».

Le système « met en œuvre des phases de recherche dédiées, appelées "cycles d'apprentissage" : des sessions autonomes au cours desquelles le système d'IA explore les bases de données de vulnérabilités, les dépôts GitHub et les publications de recherche en sécurité afin d'identifier des techniques spécifiquement applicables à l'infrastructure du gouvernement ciblé », précise l'article.

Et l'attaque a continué.

« L’attaquant ne s’est pas contenté de ses cibles principales », a déclaré Dream. « Il a étendu son opération aux fournisseurs de la chaîne d’approvisionnement informatique du gouvernement, à une agence de sûreté nucléaire, au système de messagerie gouvernemental et à plus de sept entreprises du secteur de l’énergie, les scannant toutes en parallèle à la recherche de mauvaises configurations, d’interfaces d’administration exposées et de vulnérabilités exploitables. »

L’attaquant a également tiré des leçons de ses erreurs au fur et à mesure, a ajouté Dream, soulignant ainsi les points marquants de cette campagne.

Les cyberattaques autonomes menées par l’IA ont déjà suscité l’inquiétude : Anthropic a rapporté l’automne dernier avoir déjoué la première campagne de cyberespionnage autonome, même si les chercheurs ont noté que cette campagne « autonome » nécessitait tout de même une intervention humaine importante.

Le Financial Times a été le premier à révéler les recherches de Dream et les détails concernant la cible.

Les pirates ont utilisé deux frameworks d'IA open source populaires, Hermes et OpenClaw, pour mener leur opération à Taïwan. Ils ont contourné les garde-fous en présentant leurs activités comme des tests d'intrusion autorisés, selon Dream.

La société a découvert l'opération grâce à une archive en ligne de 160 mégaoctets contenant près de 1 400 fichiers, révélant « un système d'IA multi-agents ayant réussi à compromettre concrètement des infrastructures étatiques ».

À l'instar de la campagne de cyberespionnage autonome découverte l'automne dernier, l'attaque analysée par Dream a également mis en évidence la nécessité d'une intervention humaine.

« Nous constatons de plus en plus que les acteurs malveillants exploitent l'IA pour des opérations offensives autonomes », a écrit l'entreprise. « Mais la mise en place d'un système réellement fonctionnel à ce niveau exige bien plus que la simple exécution d'un modèle. Elle requiert une adaptation minutieuse à la tâche spécifique, une optimisation de la coordination des agents et un ajustement précis de la logique de décision – le type de sophistication que l'on retrouve dans la priorisation bayésienne, les boucles d'autocorrection et les cycles de recherche adaptatifs de ce cadre. »

Les résultats de recherche de Google sont de plus en plus souvent générés par l'IA, que vous les ayez demandés ou non. Même DuckDuckGo, moteur de recherche axé sur la confidentialité, propose désormais son propre chatbot IA en plus des résultats de recherche traditionnels.

Futurism a été le premier à signaler que le moteur de recherche avait faussement affirmé que le président Donald Trump était décédé de la rage – un exemple frappant d'hallucination de l'IA. Mais l'erreur n'était pas entièrement imputable au chatbot. Elle a révélé un problème bien plus important concernant la manière dont les systèmes d'IA collectent et relaient les informations sur le web.

Voici comment cette erreur bizarre s'est produite – et pourquoi elle est importante.

Une campagne anti-IA a provoqué une hallucination massive.

Depuis qu'il est devenu évident que les chatbots d'IA s'appuient souvent sur les commentaires de Reddit pour générer les informations qu'ils présentent à leurs utilisateurs, un groupe anti-IA sur Reddit a créé une page dédiée au dénigrement des modèles d'IA plus sujets aux hallucinations.

Cette page, r/poisonai, qui se proclame fièrement « la source numéro 1 mondiale d'informations précises, vérifiées et fiables ! », est devenue une véritable blague entre initiés. Ses membres publient des messages parmi les plus absurdes et les plus incroyables. Voici quelques exemples de titres qui ne sont que pures (et hilarantes) désinformation : « GTAVI est en rupture de stock, vous ne pourrez pas l’acheter avant la seconde sortie en 2030 » et « La FDA juge que les lattes vanille-soja sont légalement considérés comme de la soupe aux trois haricots. »

En inondant sa page de fausses informations, la communauté de cette page Reddit a pour mission d’« empoisonner » les modèles d’IA en leur fournissant ces données afin de démontrer leur propension à présenter des informations erronées comme des faits avérés. Forte d’une communauté de 45 000 abonnés, la campagne anti-IA du groupe est très active depuis sa création en janvier dernier.

Ce plan a fonctionné dans une certaine mesure, puisque le chatbot IA de DuckDuckGo a faussement dit à ses utilisateurs que Donald Trump était mort de la rage à cause d'une infection liée au vice-président J.D. Vance. Il s'avère que cette affirmation absurde est liée au groupe Reddit r/poisonAI, qui a fait circuler un message humoristique affirmant que JD Vance est mort de la rage à la suite d'une morsure à l'urètre. Ce qui est encore plus inquiétant, c'est que la chaîne d'information officielle WKNA49 News ait relayé l'information concernant la mort de Trump comme si elle était avérée, lors de son annonce le 7 juin dernier. L'extrait suivant de cet article illustre parfaitement l'absurdité de la situation :

« Des sources proches du dossier indiquent que Kennedy aurait conseillé à l'ancien président qu'une morsure du virus Vance lui conférerait des avantages biologiques comparables à des "superpouvoirs". Cette recommandation se serait basée sur des écrits de jeunesse de Kennedy, affirmant que certaines infections pouvaient conférer l'immortalité. »

Comme le démontre Futurism, le chatbot IA de DuckDuckGo a puisé ses informations sur Reddit et a confirmé à ses utilisateurs que la mort de Trump, des suites de la rage, était bel et bien réelle. Heureusement, ce rapport aberrant a été relégué aux oubliettes des fausses informations, l'outil d'IA en question ne le présentant plus comme une information légitime. Cette histoire met en lumière le problème des hallucinations de l'IA, son manque de rigueur dans la vérification des sources et la nouvelle tendance qui voit des utilisateurs hostiles à l'IA s'adonner à la manipulation des données.

Leçon à retenir

La diffusion d'informations incorrectes, voire totalement fausses, est un comportement typique de l'IA qu'il est urgent de corriger, car les cas d'utilisation de l'IA pour propager de la désinformation sont déjà trop nombreux.

Les deepfakes ne sont qu'un exemple parmi tant d'autres d'outils d'IA utilisés pour inonder Internet de faux contenus. Le fait que ces mêmes chatbots abreuvent leurs utilisateurs non avertis d'informations non vérifiées est tout aussi dangereux. Heureusement, certains moteurs de recherche, comme Startpage, Kagi et DuckDuckGo, offrent la possibilité de désactiver complètement leurs fonctionnalités d'IA.

Espérons que les problèmes d'hallucinations du chatbot de DuckDuckGo soient résolus afin qu'il n'annonce pas à tout le monde que les moustiques sont plus attirés par les personnes marquées au fer rouge de la « rune de châtiment du dieu moustique », comme le rapporte The Onion.

Un habitant de Hong Kong s'est récemment fait escroquer de 10 millions de dollars hongkongais (1,27 million de dollars américains) par des fraudeurs qui ont utilisé l'intelligence artificielle (IA) sur WhatsApp pour se faire passer pour son père et exiger le paiement. Cette affaire met en lumière les dangers liés à la confiance accordée à des outils d'IA de plus en plus performants. Heureusement, des experts affirment qu'il existe une astuce simple pour éviter de subir le même sort.

Selon la plateforme Cyberdefender de la police de Hong Kong (via le South China Morning Post), les escrocs ont envoyé un message vocal WhatsApp à leur victime, lui demandant d'urgence un transfert d'un million de dollars hongkongais (127 000 dollars américains).

Convaincue par la voix et le ton du message, la victime a été piégée à plusieurs reprises jusqu'à ce qu'elle transfère la totalité de ses économies, rapporte le SCMP.

La police de Hong Kong met en garde contre les pièges de l'intelligence artificielle : « Ne vous fiez pas aveuglément aux messages vocaux. Même une voix similaire ne signifie pas nécessairement qu'elle est authentique. »

Si vous avez le moindre doute sur l'authenticité d'un message, raccrochez et rappelez votre ami ou votre proche pour vous assurer de l'identité de votre interlocuteur. La police recommande également d'activer l'authentification à deux facteurs sur vos appareils et de vérifier la liste des appareils connectés à vos comptes. Si vous repérez des appareils suspects, déconnectez-les immédiatement.

Les arnaques par deepfake, comme celle-ci, sont si efficaces car elles semblent provenir d'une source connue et digne de confiance, même si ce n'est absolument pas le cas. Heureusement, des experts viennent de publier une méthode éprouvée pour déjouer les escrocs et garantir la sécurité de tous.

Comme le rapporte la BBC, définir un mot de passe secret à utiliser en cas d'urgence peut vous aider à déterminer si la personne au téléphone est un proche ou une intelligence artificielle qui l'imite. La BBC explique : « Les arnaques par deepfake peuvent utiliser votre voix, mais elles ne savent pas ce qui se passe dans votre tête. »

Une tactique employée par les escrocs consiste à créer un sentiment d'urgence pour semer la panique et vous empêcher de réfléchir clairement. C'est pourquoi il est important de prendre un instant pour réfléchir et vous souvenir d'utiliser le mot de passe, tout en vérifiant l'identité de l'appelant.

Pour choisir un mot de passe, la BBC recommande : « Choisissez quelque chose de facile à retenir et de difficile à deviner. Les blagues privées sont une valeur sûre. »

Comme l'explique Gary Schildhorn, avocat à Philadelphie et militant anti-escroquerie, trois signaux d'alarme doivent vous alerter : la pression du temps, une demande de fonds difficiles à tracer (comme de l'argent liquide, des cryptomonnaies ou des cartes-cadeaux), et le contrôle sur vos interlocuteurs. Si vous constatez l'un de ces signes, vous pourriez être en contact avec un escroc.

Gardez ces informations à l'esprit et vous aurez bien plus de chances de vous protéger des fraudeurs. La prochaine fois que vous recevrez un message ou un appel inhabituel, apparemment d'un proche, prenez un instant pour respirer et rappelez-vous votre mot de passe.

5 août (Reuters) - Meta a annoncé mercredi qu'un de ses modèles d'IA avait piraté une autre entreprise lors de tests de cybersécurité, ravivant les inquiétudes quant à la capacité des développeurs à contenir des systèmes d'IA de plus en plus performants, après des incidents similaires chez ses concurrents Anthropic et OpenAI.

Les incidents chez Meta et Anthropic étaient dus à des erreurs de configuration qui ont permis par inadvertance aux modèles d'Anthropic d'accéder à Internet. Chez OpenAI, un agent d'IA a exploité de manière indépendante une vulnérabilité jusque-là inconnue pour se connecter à Internet lors de tests de cybersécurité.

Ces violations soulignent les inquiétudes croissantes quant aux risques de cybersécurité que pourraient engendrer les systèmes d'IA avancés et devraient intensifier les efforts du gouvernement américain pour renforcer la sécurité de l'IA, alors que les entreprises s'efforcent de développer des modèles toujours plus performants. Certains acteurs majeurs du secteur de l'IA estiment que le développement devrait être ralenti jusqu'à la mise en place de mesures de protection plus robustes.

Meta a indiqué enquêter sur un incident au cours duquel une erreur de configuration d'Irregular, une entreprise indépendante réalisant des évaluations de cybersécurité pour Meta, a permis par inadvertance à l'un de ses modèles d'accéder à Internet lors d'un test.

« Le modèle a exploité une faille de sécurité dans un service tiers, de manière similaire à des incidents précédemment signalés chez d'autres entreprises », a déclaré Meta dans un communiqué.

Selon The Information, citant des sources, le modèle en question serait Muse Spark 1.1 de Meta, que l'entreprise présente comme son modèle le plus performant pour le codage en conditions réelles et les tâches d'agents. Le rapport indique que le modèle a pénétré les systèmes d'une entreprise non identifiée et modifié son environnement interne.

Un porte-parole d'Irregular a déclaré à Reuters que l'incident correspondait exactement au « même problème d'environnement d'évaluation que celui déjà révélé par Anthropic la semaine dernière » et n'impliquait ni « une fuite de sandbox ni une cyberattaque sophistiquée ».

« Il n'y a actuellement aucun problème non résolu. Irregular rédige un livre blanc afin de partager les bonnes pratiques en matière de confinement et de réalisation sécurisée d'évaluations de cybersécurité », a précisé Irregular.

INQUIÉTUDES LIÉES AUX CYBER-RISQUES

Les récentes violations de données ont suscité des inquiétudes parmi les législateurs américains quant à la possibilité que des modèles d'IA de plus en plus performants soient utilisés pour mener ou faciliter des cyberattaques.

Un groupe de procureurs généraux d'États républicains a demandé à OpenAI de conserver tous les documents potentiellement pertinents relatifs à la violation de données de Hugging Face. OpenAI a déclaré qu'elle prendrait cette demande au sérieux et publierait un rapport technique sur l'incident.

Plus tôt cette semaine, la Maison Blanche a invité des entreprises leaders dans le domaine de l'IA, dont Meta, Anthropic, OpenAI et Google, à rencontrer des responsables afin de discuter d'un cadre de tests de cybersécurité volontaires récemment finalisé pour les modèles d'IA avancés.

L'administration Trump a discuté de règles de test non publiées avec des représentants de l'entreprise et a indiqué aux développeurs d'IA que les modèles d'IA à poids ouvert, tels que Llama de Meta et Nemotron de Nvidia, ne seraient pas soumis à son régime de tests de sécurité volontaires prévu, a rapporté Reuters.