Incidents associés
Dans une vidéo, un présentateur de nouvelles aux cheveux noirs parfaitement peignés et à la barbe courte a décrit ce qu'il considérait comme le manque d'action honteux des États-Unis contre la violence armée.
Dans une autre vidéo, une présentatrice de nouvelles a annoncé le rôle de la Chine dans les relations géopolitiques lors d'un sommet international.
Mais quelque chose n'allait pas. Leurs voix étaient guindées et ne se synchronisaient pas avec le mouvement de leur bouche. Leurs visages avaient une qualité pixelisée de jeu vidéo et leurs cheveux semblaient anormalement collés à la tête. Les légendes étaient remplies de fautes de grammaire.
Les deux diffuseurs, prétendument présentateurs d'un média appelé Wolf News, ne sont pas de vraies personnes. Ce sont des avatars générés par ordinateur créés par un logiciel d'intelligence artificielle. Et à la fin de l'année dernière, des vidéos d'eux ont été distribuées par des comptes de robots pro-Chine sur Facebook et Twitter, dans le premier cas connu d'utilisation de la technologie vidéo "deepfake" pour créer des personnes fictives dans le cadre d'un campagne d'information alignée sur l'État.
"C'est la première fois que nous voyons cela dans la nature", a déclaré Jack Stubbs, vice-président du renseignement chez Graphika, une société de recherche qui étudie la désinformation. Graphika a découvert la campagne pro-Chine, qui semblait destinée à promouvoir les intérêts du Parti communiste chinois et à saper les États-Unis pour les téléspectateurs anglophones.
La technologie "Deepfake", qui progresse régulièrement depuis près d'une décennie, a la capacité de créer marionnettes numériques parlantes. L'I.A. des logiciels sont parfois utilisés pour déformer des personnalités publiques, comme une vidéo qui a circulé sur les réseaux sociaux l'année dernière montrant à tort Volodymyr Zelensky, le président de l'Ukraine, [annonçant une reddition](https://www.nytimes.com/2022/04/05 /us/politics/ukraine-russia-hackers.html). Mais le logiciel peut également créer des personnages à partir de tissu entier, allant au-delà des logiciels de montage traditionnels et des outils d'effets spéciaux coûteux utilisés par Hollywood, brouillant à un degré extraordinaire la frontière entre réalité et fiction.
Avec peu de lois pour gérer la diffusion de la technologie, les experts en désinformation ont depuis longtemps averti que les vidéos deepfake pourraient encore plus empêcher les gens de [discerner la réalité des contrefaçons en ligne](https://www.nytimes.com/2021/03/10/technology /ancestor-deepfake-tom-cruise.html), pouvant être utilisé à mauvais escient pour déclencher des troubles ou déclencher un scandale politique. Ces prédictions sont maintenant devenues réalité.
Bien que l'utilisation de deepfakes dans la campagne de désinformation pro-chinoise récemment découverte ait été maladroite, elle ouvre un nouveau chapitre dans la guerre de l'information. Ces dernières semaines, une autre vidéo utilisant une A.I. similaire. La technologie a été découverte en ligne, montrant des personnes fictives qui se décrivent comme des Américains, promouvant le soutien au gouvernement du Burkina Faso, qui fait l'objet d'un examen minutieux pour ses liens avec la Russie.
I.A. Les logiciels, qui peuvent facilement être achetés en ligne, peuvent créer "des vidéos en quelques minutes et les abonnements commencent à seulement quelques dollars par mois", a déclaré M. Stubbs. "Cela facilite la production de contenu à grande échelle."
Graphika a lié les deux faux présentateurs de Wolf News à la technologie de Synthesia, une intelligence artificielle. société basée au-dessus d'une boutique de vêtements à Oxford Circus à Londres.
La start-up de cinq ans fabrique des logiciels pour créer des avatars deepfake. Un client doit simplement taper un script, qui est ensuite lu par l'un des acteurs numériques réalisés avec les outils de Synthesia.
I.A. Les avatars sont des «jumeaux numériques», a déclaré Synthesia, qui sont basés sur les apparences d'acteurs embauchés et peuvent être manipulés pour parler dans 120 langues et accents. Il propose plus de 85 personnages au choix avec différents genres, âges, ethnies, tonalités de voix et choix de mode.
Une I.A. Le personnage, nommé George, ressemble à un dirigeant d'entreprise vétéran aux cheveux gris et porte un blazer bleu et une chemise à col. Une autre, Helia, porte un hijab. Carlo, un autre avatar, a un casque. Samuel porte une blouse blanche comme celles portées par les médecins. (Les clients peuvent également utiliser Synthesia pour créer leurs propres avatars basés sur eux-mêmes ou sur d'autres qui leur ont accordé la permission.)
Le logiciel de l'entreprise est principalement utilisé par les clients pour les ressources humaines et les vidéos de formation, où une qualité de production non polie est suffisante. Le logiciel, qui ne coûte que 30 dollars par mois, produit des vidéos en quelques minutes qui pourraient autrement prendre plusieurs jours et nécessiteraient l'embauche d'une équipe de production vidéo et d'acteurs humains.
L'ensemble du processus est "aussi simple que d'écrire un e-mail", a déclaré Synthesia sur son site Web.
Comment un personnage apparaît généralement
Victor Riparbelli, co-fondateur et directeur général de Synthesia, a déclaré que ceux qui ont utilisé sa technologie pour créer les avatars découverts par Graphika avaient violé ses conditions de service. Ces termes stipulent que la technologie de l'entreprise ne doit pas être utilisée pour "un contenu politique, sexuel, personnel, criminel et discriminatoire". M. Riparbelli a refusé de partager des informations sur les personnes derrière les vidéos de Wolf News, mais il a déclaré que leurs comptes avaient été suspendus.
M. Riparbelli a ajouté que Synthesia dispose d'une équipe de quatre personnes dédiée à empêcher que sa technologie deepfake ne soit utilisée pour créer du contenu illicite, mais a déclaré que la désinformation et d'autres documents qui n'incluaient pas de discours de haine pure et simple, des insultes, des mots explicites et des images pourraient être difficiles à détecter.
"Il est très difficile de déterminer s'il s'agit de désinformation", a-t-il déclaré après avoir vu l'une des vidéos de Wolf News. Il a déclaré qu'il assumait "l'entière responsabilité de tout ce qui se passe sur notre plate-forme" et a appelé les décideurs à définir [des règles plus claires] (https://www.synthesia.io/post/on-regulation) sur la manière dont l'I.A. outils pourraient être utilisés.
Identifier la désinformation ne deviendra que plus difficile, a déclaré M. Riparbelli. Finalement, a-t-il ajouté, la technologie deepfake deviendra suffisamment sophistiquée pour "construire un film hollywoodien sur un ordinateur portable sans avoir besoin de quoi que ce soit d'autre".
Graphika a lié Synthesia à la campagne de désinformation pro-Chine en retraçant les deux avatars de Wolf News à d'autres vidéos de formation inoffensives en ligne mettant en vedette les mêmes personnages. Sur son site Web, Synthesia a appelé les deux avatars "Anna" et "Jason".
Comment le même avatar généré par l'IA est apparu dans les campagnes de marketing et de désinformation
Dans la vidéo soutenant le nouveau gouvernement du Burkina Faso, Anna a également fait une apparition. « Restons tous mobilisés derrière le peuple burkinabé dans cette lutte commune. dit-elle d'un ton monocorde robotique. "La patrie ou la mort, nous vaincrons."
Les vidéos deepfake prolifèrent depuis des années. Kendrick Lamar a utilisé la technologie dans un clip vidéo l'année dernière pour se transformer en Kanye West, Will Smith et Kobe Bryant. Les sites Web de pornographie ont été critiqués pour avoir présenté des vidéos dans lesquelles la technologie avait été utilisée pour copier illégalement les portraits d'actrices célèbres.
En Chine, A.I. les entreprises développent des outils de deepfake depuis plus de cinq ans. Lors d'un coup publicitaire lors d'une conférence en 2017, la société chinoise iFlytek a réalisé une vidéo deepfake du président américain de l'époque, [Donald J. Trump, s'exprimant en mandarin](https://www.nytimes.com/2017/12/03 /business/chine-intelligence-artificielle.html). IFlytek a depuis été ajouté à une liste noire américaine qui limite la vente de technologies fabriquées aux États-Unis pour des raisons de sécurité nationale.
Meta, le propriétaire de Facebook, Instagram et WhatsApp, a déclaré avoir supprimé au moins un compte affilié aux vidéos deepfake pro-Chine après avoir été contacté par le New York Times. La société, qui a refusé de commenter davantage, n'autorise pas les vidéos et autres médias manipulés dans le but d'induire en erreur. Twitter n'a pas répondu aux demandes de commentaires.
Graphika a déclaré avoir découvert les vidéos deepfake en suivant des comptes de médias sociaux liés à une campagne de désinformation pro-Chine connue sous le nom de "spamouflage". Dans ces campagnes, les comptes de spam politiques plantent du contenu en ligne, puis utilisent d'autres comptes faisant partie d'un réseau pour amplifier le matériel sur toutes les plateformes.
Les chercheurs ont déclaré que l'utilisation de la technologie deepfake était plus notable que l'impact réel des vidéos, qui n'ont pas été vues par beaucoup de gens. Les deux vidéos mettant en vedette les soi-disant ancres de Wolf News ont été publiées au moins cinq fois entre le 22 novembre et le 30 novembre par cinq comptes, selon Graphika. Les messages ont ensuite été repartagés par au moins deux autres comptes, qui semblaient faire partie d'un réseau pro-Chine.
M. Stubbs a déclaré que les colporteurs de désinformation continueront d'expérimenter l'IA. logiciel pour produire des médias de plus en plus convaincants, difficiles à détecter et à vérifier.
"Ce que nous voyons aujourd'hui est un autre signe des choses à venir", a-t-il déclaré.