Incidents associés
Eliot Higgins, le fondateur du média d'investigation open-source Bellingcat, lisait cette semaine sur l'[acte d'accusation attendu de Donald Trump](https://www.washingtonpost.com/national-security/2023/03/22/trump- grand-jury-new-york/?itid=lk_inline_manual_2) quand il a décidé de le visualiser.
Il s'est tourné vers un générateur d'art IA, donnant à la technologie des invites simples, telles que "Donald Trump tombant pendant son arrestation". Il a partagé les résultats – des images de l'ancien président entouré d'officiers, leurs badges flous et indistincts – sur Twitter. "Faire des photos de Trump se faisant arrêter en attendant son arrestation", a-t-il écrit.
"Je ne faisais que déconner", a déclaré Higgins dans une interview. "Je pensais que peut-être cinq personnes allaient le retweeter."
Deux jours plus tard, ses messages décrivant un événement qui ne s'est jamais produit ont été visionnés près de 5 millions de fois, créant une étude de cas dans la [sophistification croissante](https://www.washingtonpost.com/technology/2023/02/21/ai -polls-skeptics/?itid=lk_inline_manual_6) d'images générées par l'IA, la facilité avec laquelle elles peuvent être déployées et leur potentiel à créer de la confusion dans des environnements d'information instables. L'épisode met également en évidence l'absence de normes d'entreprise ou de réglementation gouvernementale concernant l'utilisation de l'IA pour créer et répandre des mensonges.
"Les décideurs politiques mettent en garde depuis des années contre l'utilisation abusive potentielle des médias synthétiques pour répandre la désinformation et plus généralement pour semer la confusion et la discorde", a déclaré le sénateur Mark R. Warner (D-Va.), président de la commission sénatoriale du renseignement. "Bien qu'il ait fallu quelques années pour que les capacités rattrapent leur retard, nous sommes maintenant à un point où ces outils sont largement disponibles et incroyablement capables."
Warner a déclaré que les développeurs "devraient déjà être avertis : si votre produit permet directement des dommages raisonnablement prévisibles, vous pouvez être tenu potentiellement responsable". Mais il a déclaré que les décideurs politiques avaient également du travail à faire, appelant à de nouvelles obligations pour garantir que les entreprises traitent les dangers de l'intelligence artificielle.
Les principales plateformes en ligne où ces images sont diffusées ont des politiques incohérentes en la matière. Twitter n'a pas répondu par un commentaire à une enquête du Washington Post sur les images. Une porte-parole de Meta a cité des exemples d'images – qui ont rapidement bondi de Twitter vers d'autres plateformes – faisant l'objet d'une vérification des faits sur ses services, y compris sur l'application de partage de photos Instagram. YouTube et TikTok n'ont pas immédiatement répondu aux demandes de commentaires.
"Contexte manquant. Des vérificateurs de faits indépendants disent que les informations contenues dans ce message pourraient induire les gens en erreur", lit le texte rouge sous l'une des images d'un message partagé par un compte avec plus de 3 000 abonnés.
Sur Facebook, cependant, l'une des images est restée intacte lorsqu'elle a été partagée par un utilisateur avec trois fois plus de followers. "Dans une tournure des événements sans précédent, l'ancien président Donald Trump a été arrêté et escorté dans une prison fédérale", a écrit l'utilisateur, qui se décrit comme un blogueur et ancien fantassin américain. "L'image choquante de Trump, avec des officiers tenant ses deux mains, a rapidement circulé sur les réseaux sociaux."
Il y avait une pénalité pour Higgins, mais elle a été imposée par Midjourney, le générateur d'art qu'il avait utilisé pour créer les visuels. Et il est arrivé sans explication. Il a déclaré qu'il avait été exclu du serveur de Midjourney mercredi mais n'avait reçu aucune communication de la société sur les règles qu'il avait enfreintes.
Midjourney, qui se décrit comme un "laboratoire de recherche indépendant explorant de nouveaux médiums de pensée et développant les pouvoirs imaginatifs de l'espèce humaine", n'a pas répondu à une demande de commentaire.
"J'ai pensé, 'Oups, on dirait qu'il y a eu une conséquence pour mes actions'", a déclaré Higgins.
Au cours du week-end, Trump a écrit sur Truth Social, son site de réseau social, qu'il s'attendait à être arrêté mardi, préparant ses partisans à des images de son arrestation.
"C'est la première garantie visuelle de l'arrestation de Trump, même s'il ne l'est pas", a déclaré Angelo Carusone, président de Media Matters for America, le groupe de surveillance de gauche. "Ce sera l'image que beaucoup de gens auront en tête, même si Trump ne finit pas par être inculpé, et encore moins arrêté."
Lorsque Higgins a commencé à faire circuler les images de Trump, il a clairement indiqué qu'il s'agissait de faux. Mais la cascade de visuels qu'il a pu semer sur Internet montre "qu'il y a eu un pas de géant dans la capacité de créer des images fausses mais crédibles en volume", a déclaré Sam Gregory, directeur exécutif de l'organisation de défense des droits humains Witness. "Et il est facile de voir comment cela pourrait être fait de manière coordonnée avec une intention de tromper."
Les défauts de la technologie qui soulèvent des doutes sur l'authenticité des images - mains à six doigts ou peau métallique - ne réduisent pas son potentiel perturbateur, a déclaré Gregory, dont le groupe a réuni des experts l'automne dernier de l'industrie technologique, du droit, de l'art et du divertissement. pour identifier les moyens de "soutenir le pouvoir naissant des médias synthétiques pour le plaidoyer, la parodie et la satire, tout en affrontant les zones grises de la tromperie, de l'éclairage au gaz et de la désinformation". Parmi les actions potentielles ils ont identifié la divulgation et l'étiquetage de la façon dont les médias sont créés.
"Le but", a déclaré Gregory, "n'est peut-être pas de convaincre les gens qu'un certain événement s'est produit, mais de convaincre les gens qu'ils ne peuvent faire confiance à rien et de saper la confiance dans toutes les images."
La technologie progresse rapidement. Higgins a déclaré avoir utilisé la version 5 du générateur d'art de Midjourney pour créer les images de Trump. La dernière version, pour laquelle il paie 30 dollars par mois, est beaucoup plus sophistiquée que son prédécesseur immédiat, a-t-il déclaré, améliorant considérablement un ensemble de visuels qu'il a créés de présidents américains en tant que papes. "L'outil semble en apprendre davantage sur la cohérence des images", a-t-il déclaré.
La technologie semble s'appuyer de manière itérative sur sa connaissance de certains visuels, a déclaré Higgins. "Je suis presque sûr qu'il s'agit du nombre de personnes sur lesquelles il a été formé avec un nom donné", a-t-il expliqué. "Pour les célébrités, moins elles sont connues à l'international, moins les images sont précises."
Une fois que ses images de l'arrestation fictive de Trump ont commencé à décoller, il a décidé de terminer l'arc de l'histoire en ajoutant des images d'un procès et d'une ultime évasion de prison. Certains indices ont fait trébucher la technologie. "J'ai fait un Donald Trump en train de tailler une clé dans du savon, mais cela a généré un Donald Trump orange dans du savon, ce qui est intéressant mais pas ce que je recherchais", a déclaré Higgins.
Les thèmes complexes présentent également des problèmes pour la technologie, a-t-il déclaré. Étant donné les craintes que de tels outils puissent être utilisés par les théoriciens du complot, Higgins a cherché à simuler leurs efforts. Mais ses tentatives ont pour la plupart échoué. Ses instructions pour créer une image de deux épouvantails de la droite politique riant ensemble – Anthony S. Fauci, l'ancien principal médecin spécialiste des maladies infectieuses du pays, et George Soros, le financier libéral – ont conduit à une image des deux hommes fusionnés, Higgins a dit.
Les médias synthétiques ont été utilisés ces dernières semaines pour diffuser des mensonges en ligne, parfois avec une provenance peu claire et d'autres fois avec le créateur du matériel qui s'en réjouit.
Le mois dernier, une fausse vidéo diffusée sur Twitter semblant montrer la sénatrice Elizabeth Warren (D-Mass.) Affirmant que les républicains ne devraient pas être autorisés à voter. Twitter l'a étiqueté "altered audio", et l'un des principaux comptes diffusant le matériel falsifié a ensuite été suspendu.
Lorsque l'activiste d'extrême droite Jack Posobiec a tweeté une vidéo semblant montrer le président Biden annonçant un projet militaire pour répondre à l'offensive de la Russie en Ukraine, il l'a décrite comme "un avant-goût des choses à venir". Twitter a appliqué une étiquette au tweet indiquant: "La vidéo montrée est un" deepfake "créé à l'aide de l'intelligence artificielle (IA)."
Posobiec, lors d'une apparition ce mois-ci à la Conférence d'action politique conservatrice, a défendu la tactique. "Alors cette semaine, j'ai fait un deepfake de Joe Biden qui a attiré un peu l'attention", a-t-il déclaré. Cette décision a été repoussée non seulement par les vérificateurs des faits, a-t-il dit, mais aussi par certains à droite qui lui ont demandé, il a dit: "Comment pouvez-vous faire cela? Pourquoi feriez-vous quelque chose comme ça?"
"Visez-les tous", a-t-il dit à propos des vérificateurs de faits et des organes d'information grand public.
Les grandes entreprises technologiques [ont renforcé leurs politiques](https://www.washingtonpost.com/technology/2019/05/23/faked-pelosi-videos-slowed-make-her-appear-drunk-spread-across-social-media /?itid=lk_inline_manual_44) contre les deepfakes après la diffusion rapide sur les réseaux sociaux d'une vidéo déformée de la présidente de la Chambre Nancy Pelosi (D-Calif.) en 2019. L'année suivante, Meta a interdit aux utilisateurs de publier des vidéos hautement manipulées mais a laissé la porte ouverte pour les vidéos manipulées qui sont censées être parodiques ou satiriques. Twitter a également introduit une nouvelle règle interdisant aux utilisateurs de partager des médias trompeurs et manipulés susceptibles de causer du tort, tels que des tweets susceptibles de conduire à la violence, à des troubles civils généralisés ou à une menace pour la vie privée de quelqu'un.
"Depuis lors, la technologie est devenue plus sophistiquée mais beaucoup plus difficile à détecter", a déclaré Carusone. "Et aucun d'entre eux n'a fait d'investissements significatifs dans la manière dont ils vont non seulement détecter ces problèmes, mais aussi appliquer leurs politiques à leur encontre."
Il a ajouté: "Ce que je vois ici est en quelque sorte la salve d'ouverture d'un nouveau front dans la guerre contre la désinformation."
Jessica González, co-PDG du groupe de défense des médias Free Press, a déclaré que les géants de la technologie sont moins équipés pour lutter contre les deepfakes à la suite de licenciements généralisés dans l'industrie. Meta, Google et Twitter ont collectivement licencié des dizaines de milliers de travailleurs ces derniers mois.
Depuis qu'il a repris Twitter en octobre, Elon Musk a assoupli les politiques de la plateforme contre les discours de haine, réintégré les influenceurs extrémistes et [réduit](https://www.washingtonpost.com/technology/2022/11/22/elon-musk-twitter -content-moderations/?itid=lk_inline_manual_21&itid=lk_inline_manual_49) les pratiques de modération de contenu de l'entreprise par le biais de réductions drastiques de ses effectifs.
"Je ne sais pas si Twitter a le personnel ou le désir de s'assurer franchement que le contenu partagé sur son site est exact", a déclaré González. "Il existe d'autres deepfakes de meilleure qualité qui présentent un risque encore plus grand, surtout à l'approche de la saison électorale. Et il est important que les gens disposent d'informations précises sur les personnes qui se présentent aux élections."