Incidents associés
Une nouvelle technique utilisant l'intelligence artificielle pour manipuler le contenu vidéo donne un nouveau sens à l'expression « tête parlante ».
Une équipe internationale de chercheurs a présenté les dernières avancées en matière de synthèse des expressions faciales, y compris la bouche, les yeux, les sourcils et même la position de la tête, en vidéo lors du SIGGRAPH 2018 de ce mois-ci, une conférence sur les innovations en infographie, animation, réalité virtuelle et autres formes de la magie numérique.
Le projet s'appelle Deep Video Portraits. Il s'appuie sur un type d'IA appelé réseaux antagonistes génératifs (GAN) pour modifier un acteur "cible" en fonction du mouvement du visage et de la tête d'un acteur "source". Comme leur nom l'indique, les GAN opposent deux réseaux de neurones opposés pour créer une tête parlante réaliste, jusqu'au ricanement ou au sourcil levé.
Dans ce cas, les adversaires travaillent en fait ensemble : un réseau de neurones génère du contenu, tandis que l'autre rejette ou approuve chaque effort. L'interaction de va-et-vient entre les deux produit finalement un résultat réaliste qui peut facilement tromper l'œil humain, notamment en reproduisant une scène statique derrière la tête alors qu'elle oscille d'avant en arrière.
Les chercheurs affirment que la technique peut être utilisée par l'industrie cinématographique à diverses fins, de l'édition des expressions faciales des acteurs pour faire correspondre les voix doublées au repositionnement de la tête d'un acteur en post-production. L'IA peut non seulement produire des résultats très réalistes, mais aussi beaucoup plus rapides par rapport aux processus manuels utilisés aujourd'hui, selon les chercheurs. Vous pouvez lire l'article complet de leur travail ici.
"Deep Video Portraits montre comment un tel effet visuel pourrait être créé avec moins d'effort à l'avenir", a déclaré Christian Richardt, du centre de recherche sur la capture de mouvement de l'Université de Bath, CAMERA, dans un communiqué de presse. "Avec notre approche, même le positionnement de la tête d'un acteur et son expression faciale pourraient être facilement modifiés pour changer les angles de caméra ou modifier subtilement le cadrage d'une scène pour mieux raconter l'histoire."
Une technologie d'IA différente des soi-disant "Deepfakes"
Le travail est loin d'être le premier à utiliser l'IA pour manipuler la vidéo et l'audio. Lors de la conférence SIGGRAPH de l'année dernière, des chercheurs de l'Université de Washington ont présenté leur travail en utilisant des algorithmes qui inséraient des enregistrements audio d'une personne dans une instance dans une vidéo distincte de la même personne dans un contexte différent.
Dans ce cas, ils ont "truqué" une vidéo en utilisant un discours de l'ancien président Barack Obama traitant d'un incident de tir de masse pendant sa présidence. La vidéo trafiquée par l'IA injecte l'audio dans une vidéo indépendante du président tout en mélangeant les mouvements du visage et de la bouche, créant un travail assez crédible de synchronisation labiale.
Un article précédent de plusieurs des mêmes scientifiques sur le projet Deep Video Portraits a détaillé comment ils ont d'abord pu manipuler une vidéo en temps réel d'une tête parlante (dans ce cas, l'acteur et ancien gouverneur de Californie Arnold Schwarzenegger). Le système Face2Face a réussi cette supercherie numérique à l'aide d'une caméra à détection de profondeur qui a suivi les expressions faciales d'une actrice source asiatique.
Une méthode moins sophistiquée d'échange de visages à l'aide d'un logiciel d'apprentissage automatique appelé FakeApp est apparue plus tôt cette année. Comme on pouvait s'y attendre, la technologie - nécessitant de nombreuses photos de l'acteur source afin de former le réseau de neurones - a été utilisée pour des activités plus juvéniles, telles que l'injection du visage d'une personne sur une star du porno.
L'application a donné naissance au terme "deepfakes", qui est maintenant utilisé de manière quelque peu omniprésente pour décrire tous ces cas de vidéo manipulée par l'IA, au grand dam de certains des chercheurs impliqués dans des utilisations plus légitimes.
Lutte contre les contrefaçons vidéo créées par l'IA
Cependant, les chercheurs sont parfaitement conscients que leur travail - destiné à des utilisations bénignes comme dans l'industrie cinématographique ou même pour corriger les positions du regard et de la tête pour des interactions plus naturelles grâce à la vidéoconférence - pourrait être utilisé à des fins néfastes. Les fausses nouvelles sont la préoccupation la plus évidente.
"Avec une technologie de montage vidéo en constante amélioration, nous devons également commencer à être plus critiques à l'égard du contenu vidéo que nous consommons chaque jour, surtout s'il n'y a pas de preuve d'origine", a déclaré Michael Zollhöfer, professeur adjoint invité à l'Université de Stanford et membre du L'équipe Deep Video Portraits, dans le communiqué de presse.
À cette fin, l'équipe de recherche forme les mêmes réseaux de neurones adversaires pour repérer les contrefaçons vidéo. Ils recommandent également fortement aux développeurs de filigraner clairement les vidéos qui sont éditées via l'IA ou autrement, et d'indiquer clairement quelle partie et quel élément de la scène a été modifié.
Pour attraper les utilisateurs moins éthiques, le département américain de la Défense, par le biais de la Defense Advanced Research Projects Agency (DARPA), soutient un programme appelé Media Forensics. Ce dernier défi DARPA fait appel à des chercheurs pour développer des technologies permettant d'évaluer automatiquement l'intégrité d'une image ou d'une vidéo, dans le cadre d'une plate-forme d'investigation médiatique de bout en bout.
Le responsable de la DARPA en charge du programme, Matthew Turek, a déclaré à MIT Technology Revie