Problème 3059

Lundi matin, un compte Twitter vérifié appelé Bloomberg Feed a partagé un tweet inquiétant. Sous les mots "Grande explosion près du complexe du Pentagone à Washington, D.C. - Rapport initial", il montrait l'image d'un énorme panache de fumée noire à côté d'un bâtiment vaguement semblable au Pentagone.

En y regardant de plus près, l'image était un faux, probablement généré par l'intelligence artificielle, et le rapport d'une explosion a été rapidement démystifié – mais pas avant d'avoir été repris par de grands comptes, y compris l'organe médiatique d'État russe Russia Today. Le tweet a peut-être également brièvement déplacé le marché boursier, car l'indice industriel Dow Jones a chuté de 85 points en quatre minutes, puis a rebondi tout aussi rapidement.

Premier exemple des dangers du système de paiement pour vérifier : ce compte, qui a tweeté une photo (très probablement générée par l'IA) d'une (fausse) histoire d'une explosion au Pentagone, ressemble à première vue à un Bloomberg légitime fil d'actualité. pic.twitter.com/SThErCln0p

— Andy Campbell (@AndyBCampbell) 22 mai 2023

Dans l'ensemble, le canular - le dernier d'une série d'images générées par l'IA pour tromper certains utilisateurs de médias sociaux - semble avoir fait peu de dégâts immédiats. Twitter a depuis suspendu le compte Bloomberg Feed, qui n'était pas lié à la véritable organisation médiatique Bloomberg, et en 20 minutes environ, les autorités locales avaient démystifié le rapport.

"Il suffit de regarder l'image elle-même, ce n'est pas le Pentagone", a déclaré Nate Hiner, capitaine des pompiers d'Arlington, en Virginie, où se trouve le Pentagone. « Je n'ai aucune idée de ce qu'est ce bâtiment. Il n'y a pas de bâtiment qui ressemble à ça à Arlington.

Pourtant, les mécanismes impliqués, de l'amplification de l'image par de grands comptes de propagande à la réponse presque instantanée du marché boursier, suggèrent le potentiel d'autres méfaits de ce type si les outils d'IA continuent de faire des percées dans des domaines tels que la modération des médias sociaux, la rédaction d'actualités et la négociation d'actions. .

Et Twitter ressemble à un vecteur de plus en plus probable, car le nouveau propriétaire Elon Musk a vidé sa main-d'œuvre humaine, licencié une équipe qui vérifiait les tendances virales et changé la vérification des comptes d'un processus d'authentification manuel à un processus largement automatisé et payant. -pour jouer. Les badges bleus de signature indiquaient autrefois l'autorité des personnalités publiques, des grandes organisations, des célébrités et d'autres personnes à risque d'usurpation d'identité. Désormais, Twitter les attribue à toute personne disposée à payer 8 $ par mois et à confirmer son numéro de téléphone.

Twitter n'a pas répondu à une demande de commentaire.

Les experts prédisant que l'IA aura un impact sur des millions d'emplois humains, la question n'est pas seulement de savoir si la désinformation générée par l'IA pourrait induire les gens en erreur, mais si elle pourrait induire en erreur ses collègues systèmes automatisés.

"Ce n'est pas un problème d'IA en soi", a déclaré Renée DiResta, responsable de la recherche à l'Observatoire Internet de Stanford et spécialiste de la circulation de la désinformation. "N'importe qui ayant une expérience de Photoshop aurait pu faire cette image - ironiquement, aurait probablement pu faire mieux. Mais c'est un aperçu de la façon dont les signaux qui aident les gens à décider si les informations sur les dernières nouvelles sont dignes de confiance sur Twitter ont été rendus inutiles, tout comme la capacité de créer une irréalité à haute résolution a été mise à la disposition de tous.

L'un des premiers comptes à publier sur le faux événement était un compte vérifié appelé OSINTdefender, qui a tweeté le rapport de l'explosion, ainsi que la fausse image, à ses 336 000 abonnés à 10 h 04. Le bâtiment sur la photo ressemble un peu au Pentagone, mais il porte certaines caractéristiques d'être généré par l'IA. Le tweet a été supprimé.

Joint via Twitter, le propriétaire du compte OSINTDefender a déclaré avoir entendu pour la première fois le rapport sur la plateforme sociale Discord quelques minutes plus tôt d'un utilisateur qui passe par le pseudo "Walter Bloomberg". Ils ont déclaré que l'image provenait de la page Facebook, supprimée depuis, d'une personne qui prétendait travailler à Arlington.

Dans les minutes qui ont suivi, d'autres grands comptes ont publié de faux rapports rédigés de manière similaire sur Twitter, notamment Walter Bloomberg, qui utilise le même pseudonyme sur les deux plateformes. Son tweet de 10h06 a recueilli au moins 730 000 vues**.**

De nombreux comptes qui l'ont repartagé se présentent comme des agrégateurs de nouvelles financières, y compris un compte de 386 000 abonnés avec le pseudo @financialjuice, nommé "Breaking Market News", et un autre compte appelé "Bloomberg Feed" qui n'a aucun lien avec le vrai Bloomberg.

Certains des comptes avaient des coches bleues "vérifiées", contrairement aux organisations légitimes qui partageaient la vérité. Le compte officiel de la Pentagon Force Protection Agency, qui contrôle le Pentagone, ne paie pas pour une coche bleue, et Twitter ne lui a pas donné de coche grise indiquant qu'il est une institution vérifiée. L'agence a retweeté un message des forces de l'ordre locales disant qu'il n'y avait "AUCUNE explosion" à 10h27 ; le tweet n'avait que 78 000 vues à 16 heures.

Hiner, le capitaine des pompiers d'Arlington qui gère les communications d'urgence du département de Virginie du Nord, a déclaré qu'il lui avait fallu environ cinq minutes pour réaliser que les rapports sur Twitter étaient faux.

À 10 h 10, Hiner était en réunion lorsqu'il a reçu le premier appel. Il est sorti de la réunion pour enquêter.

Le premier signe que quelque chose n'allait pas ? Il n'avait reçu aucune alerte du logiciel d'urgence du département, First Due, qui surveille la répartition et lui envoie une notification push lorsque les premiers intervenants sont envoyés pour des incidents majeurs comme des incendies.

Ensuite, il a vérifié son terminal de données mobile – essentiellement un ordinateur portable qui répertorie tous les incidents actifs du 911 à Arlington – et n'a trouvé aucun signe de quoi que ce soit à proximité du Pentagone.

"Il n'y a eu aucun appel médical, aucun appel d'incendie, aucun incident", a-t-il déclaré.

C'est à ce moment-là qu'il a finalement ouvert lui-même les réseaux sociaux, s'attendant à voir des témoignages sur Twitter. Mais encore une fois, il n'y avait rien. Tout ce qu'il a vu, c'est la photo trafiquée de l'explosion.

À ce moment-là, il a contacté des porte-parole du ministère de la Défense et de la Pentagone Force Protection Agency. À 10 h 27, il avait publié sur le compte Twitter d'Arlington Fire que les informations étaient fausses.

"Il n'y a AUCUNE explosion ou incident survenu dans ou à proximité de la réserve du Pentagone", a déclaré le tweet, "et il n'y a pas de danger immédiat ni de danger pour le public".

Hiner a déclaré qu'il recevait parfois des demandes étranges de la part d'habitants d'Arlington après avoir vu un camion de pompiers dans leur quartier ou qu'il recevait des appels erronés basés sur le trafic des scanners. Mais il ne se souvient pas d'une autre fois, a-t-il dit, "au cours de laquelle un incident d'urgence a été signalé sur les réseaux sociaux qui était à 100% inexact".

Des images photoshoppées d'un requin sur une autoroute pendant l'ouragan Sandy aux faux rapports de décès de célébrités, les mensonges viraux n'ont rien de nouveau sur Twitter. Les outils d'IA générative, des chatbots tels que ChatGPT qui peuvent rédiger de fausses nouvelles aux outils d'art de l'IA tels que Midjourney et Stable Diffusion, ne sont que les outils les plus récents du kit des canulars. Ils ont été utilisés ces derniers mois pour créer d'autres images virales, dont une qui semblait montrer l'arrestation de Donald Trump et une autre représentant le pape François faisant une déclaration de mode.

Pour la plupart, les médias grand public ont réussi à réfuter la désinformation et le monde a continué comme avant. Pourtant, certains canulars ont semé le chaos, à des degrés divers. En 2013, un faux tweet sur une [attaque contre la Maison Blanche](https://www.washingtonpost.com/business/economy/market-quavers-after-fake-ap-tweet-says-obama-was-hurt- in-white-house-explosions/2013/04/23/d96d2dc6-ac4d-11e2-a8b9-2a63d75b5459_story.html?itid=lk_inline_manual_45) a déclenché une chute rapide des marchés financiers.

Au fil du temps, les utilisateurs de médias sociaux et les médias d'information ont appris à porter un regard sceptique sur les rapports viraux, en particulier ceux provenant de sources non vérifiées. Mais le nouveau système de vérification de Twitter signifie que la coche bleue, autrefois un raccourci visuel qui transmettait un minimum d'autorité sur un compte, ne remplit plus cette fonction.

Sam Gregory, directeur exécutif de l'organisation de défense des droits de l'homme Witness, dont le groupe a étudié les fausses images et la désinformation, a déclaré que l'image de l'explosion du Pentagone tweetée lundi porte plusieurs caractéristiques d'un faux, y compris des problèmes visuels et une vue inexacte du Pentagone. Le défi avec de tels faux, a déclaré Gregory, est la vitesse à laquelle ils peuvent exploser sur Internet.

"Ceux-ci circulent rapidement, et la capacité de faire cette vérification des faits ou de démystifier ou de vérifier au niveau institutionnel se déplace plus lentement et n'atteint pas les mêmes personnes", a-t-il déclaré.

Bien que l'image puisse être manifestement fausse pour certains, le fait qu'elle soit associée à une affirmation faisant autorité la rend d'autant plus susceptible d'attirer l'attention, a ajouté Gregory.

"La façon dont les gens sont exposés à ces contrefaçons peu profondes, il n'est pas nécessaire que quelque chose ressemble exactement à quelque chose d'autre pour attirer l'attention", a-t-il déclaré. "Les gens prendront et partageront facilement des choses qui ne semblent pas tout à fait correctes mais qui se sentent bien."

Quant à savoir pourquoi les contrefaçons ont été partagées, on ne sait pas. Certains faux ont été partagés pour marquer des points politiques, tandis que d'autres ont été utilisés pour troller ou créer une audience que le compte peut espérer monétiser.

"Parfois, ils le font avec malveillance, ou parfois ils le font simplement pour obtenir beaucoup de vues", a-t-il déclaré. "Vous pouvez obtenir beaucoup d'audience très rapidement grâce à cela, et c'est une drogue puissante."

Le président du conseil d'administration du comté d'Arlington, Christian Dorsey (D), a déclaré que les gouvernements locaux comme celui d'Arlington sont confrontés à un défi de plus en plus difficile pour répondre à la désinformation, car l'IA facilite la génération rapide de faux plausibles. Il a déclaré que les responsables essayaient de guider les résidents pour qu'ils suivent les autorités locales sur Twitter et se tournent vers elles pour obtenir des informations fiables plutôt que "une poignée Twitter aléatoire". Le comté d'Arlington et ses services de police et d'incendie / EMS sont tous vérifiés avec un "chèque en argent" sur Twitter, indiquant qu'il s'agit de comptes gérés par le gouvernement.

Mais il reconnaît que cela ne suffira peut-être pas.

"Notre nombre d'abonnés est dérisoire par rapport à certains des comptes de médias sociaux les plus populaires. Vous courez toujours le risque qu'ils ne pénètrent pas aussi profondément », a déclaré Dorsey. Mais "en l'absence de solution miracle, où ces plateformes garantissent que seules les meilleures informations véridiques sont relayées, je pense que c'est le mieux que nous puissions faire".

Jeremy Merrill et Faiz Siddiqui ont contribué à ce rapport.