Incidents associés
La technologie d'intelligence artificielle d'une entreprise britannique a été détournée pour créer une chaîne d'information pro-chinoise mettant en vedette une paire de présentateurs générés par ordinateur.
Wolf News avait créé un profil sur les réseaux sociaux, mais a été révélé ce mois-ci comme étant lié à une opération de spam politique utilisant des outils développés par un spécialiste de l'IA basé à Londres. Ses vidéos présentaient une paire très réaliste de "présentateurs de nouvelles", Jason et Anna, qui ont ensuite été démasqués comme étant générés par ordinateur.
Dans un clip, le gouvernement américain a été accusé de ne pas avoir réussi à lutter contre la violence armée tandis qu'un second a souligné l'importance de la coopération sino-américaine pour aider à la reprise de l'économie mondiale. Les deux présentaient la marque de Wolf News, apparemment fictive, avec un logo représentant une silhouette de loup et le slogan "se concentrer sur les points chauds et diffuser en temps réel".
Graphika, les experts des médias sociaux à l'origine de la découverte, ont affirmé que les vidéos étaient l'œuvre d'une opération d'influence pro-chinoise connue sous le nom de Spamouflage, qui opère sur Facebook, Twitter et YouTube.
Graphika a sonné l'alarme dans un rapport de neuf pages, Deepfake It Till You Make It. "C'était la première fois que nous observions une opération alignée sur l'État faisant la promotion d'images de personnes fictives générées par l'IA", a-t-il déclaré.
Bien que les vidéos de Wolf News n'aient pas été largement partagées, la crainte est que l'utilisation abusive de ces outils ne gonfle à mesure que la technologie devient plus largement disponible et de plus en plus convaincante.
Une deuxième série de vidéos a depuis été découverte ciblant les conversations en ligne au Burkina Faso. La découverte de Wolf News a fait craindre que la technologie de l'IA en évolution rapide ne facilite de plus en plus la tromperie du public.
William Bartlett, directeur créatif exécutif de Framestore, spécialisé dans les effets spéciaux virtuels, a créé des versions deepfake de la reine Elizabeth II, Boris Johnson et Donald Trump. Il a dit qu'il devenait "très inquiet" de l'utilisation abusive de la vidéo générée par l'IA.
« Entre de mauvaises mains, la technologie a le potentiel de corroder la confiance du public dans les institutions et les gouvernements et de saper le fonctionnement de la société », a-t-il déclaré. "Je suis surpris qu'il ait fallu autant de temps pour que ce genre de chose se produise. Cela devient de plus en plus facile à faire."
Bartlett a prédit que de telles vidéos gagneraient en popularité lorsqu'elles commenceraient à présenter des versions deepfake de personnes célèbres, indiscernables de la réalité. Les développements rapides de la technologie de l'IA permettront aux gestes, au langage corporel et à la voix d'une personne, ainsi qu'à son visage, d'être facilement clonés et manipulés à partir d'une seule image.
"Deepfakes deviendra 100% totalement réaliste", a-t-il ajouté. "Et nous croyons instinctivement aux fausses vidéos plus qu'aux images parce que les gens n'ont pas pris conscience à quel point elles sont faciles à réaliser. Elles conservent donc une grande crédibilité."
Les outils utilisés par Spamouflage ont été liés à , un spécialiste de l'IA fondé en 2017 par une équipe de chercheurs et d'entrepreneurs de l'UCL, de Stanford et de l'université de Cambridge.
Prétendant être le fournisseur de logiciels vidéo d'IA le mieux noté au monde, le service de est accessible à partir de 23 £ par mois et a attiré plus de 30 000 utilisateurs pour créer une multitude de vidéos.
Parmi les clients de premier plan figurent le NHS, Ocado et le géant de la publicité WPP, qui l'ont utilisé pour améliorer la formation du personnel. L'association Malaria No More a travaillé avec pour créer un [deepfake David Beckham](https://www .thetimes.co.uk/article/david-beckham-andy-murray-and-denise-lewis-back-malaria-no-more-uk-gqwjsnc2h8h). La star du football a fait prendre conscience de la maladie en prononçant les paroles d'acteurs dans neuf langues différentes.
Synthesia a banni l'utilisateur derrière la chaîne Wolf News pour avoir enfreint ses directives, qui interdisent l'utilisation de ses outils pour créer "des contenus politiques, sexuels, personnels, criminels et discriminatoires".
Victor Riparbelli, co-fondateur de Synthesia, s'est excusé et a condamné l'activité. "Nous avons investi très tôt dans la modération de contenu pour nous assurer que nos dizaines de milliers de clients bénéficient d'une plateforme sécurisée", a-t-il déclaré.
"Cela nous fait mal de voir des gens abuser du produit que nous avons construit pour aider la société - cela n'a jamais été notre intention. Cependant, nous ne laisserons pas la minorité ruiner la bonne IA a à offrir et les opportunités positives infinies qu'elle ouvre pour nous tous. "
Il a déclaré que "99,9% des mauvais acteurs" tentant d'utiliser le service ont été pris. Cependant, les vidéos de Wolf News ont échappé à son système de modération de contenu, en raison de la difficulté à détecter les contenus problématiques qui ne relèvent pas de sa « catégorie rouge » de discours de haine et d'insultes.
"Les zones grises sont beaucoup plus difficiles à détecter", a-t-il déclaré. "Si un utilisateur crée du contenu autour des crypto-monnaies, éduque-t-il les gens sur la technologie de la blockchain ou est-il derrière un programme pour devenir riche rapidement?"
Riparbelli a appelé à la mise à jour des lois existantes pour l'ère numérique et a exhorté tous les fournisseurs d'IA à aller plus loin dans la prévention des abus. "La bonne réglementation aidera à réduire les abus et incitera les entreprises à protéger une technologie puissante", a-t-il déclaré. "Mais cela garantira également que de puissants outils d'IA sont accessibles au public pour qu'ils puissent les utiliser et interagir avec."