Incidents associés
Ce ne serait pas complètement hors de propos pour Joe Rogan, le comédien devenu podcasteur, d'approuver une marque de café "stimulant la libido" pour hommes.
Mais lorsqu'une vidéo circulant sur TikTok a récemment montré M. Rogan et son invité, Andrew Huberman, colportant le café, certains téléspectateurs aux yeux d'aigle ont été choqués, dont le Dr Huberman.
"Oui, c'est faux", a écrit le Dr Huberman sur Twitter après avoir vu l'annonce, dans laquelle il semble louer le potentiel de testostérone du café, même s'il jamais fait.
Une publicité sur TikTok a combiné une vraie vidéo d'Andrew Huberman avec une version modifiée de la voix de Joe Rogan qui, selon les experts, a probablement été générée avec l'intelligence artificielle.
L'annonce faisait partie d'un nombre croissant de fausses vidéos sur les réseaux sociaux réalisées avec une technologie alimentée par l'intelligence artificielle. Les experts ont déclaré que la voix de M. Rogan semblait avoir été synthétisée à l'aide de l'IA. des outils qui imitent les voix des célébrités. Les commentaires du Dr Huberman ont été extraits d'une interview sans rapport.
Faire de fausses vidéos réalistes, souvent appelées deepfakes, nécessitait autrefois un logiciel élaboré pour mettre le visage d'une personne sur celui d'une autre. Mais maintenant, de nombreux outils pour les créer sont disponibles pour les consommateurs de tous les jours, même sur les applications pour smartphones, et souvent pour peu ou pas d'argent.
Les nouvelles vidéos modifiées – principalement, jusqu'à présent, le travail de créateurs de mèmes et de spécialistes du marketing – sont devenues virales sur des sites de médias sociaux comme TikTok et Twitter. Le contenu qu'ils produisent, parfois appelé cheapfakes par les chercheurs, fonctionne en clonant les voix des célébrités, en modifiant les mouvements de la bouche pour correspondre à un son alternatif et en écrivant un dialogue persuasif .
Les vidéos et la technologie accessible derrière elles ont une certaine intelligence artificielle. chercheurs s'inquiétant de leurs dangers, et ont soulevé de nouvelles inquiétudes quant à savoir si les entreprises de médias sociaux sont prêtes à modérer la fraude numérique croissante.
Les organismes de surveillance de la désinformation se préparent également à une vague de contrefaçons numériques qui pourraient tromper les téléspectateurs ou rendre plus difficile de savoir ce qui est vrai ou faux en ligne.
"Ce qui est différent, c'est que tout le monde peut le faire maintenant", a déclaré Britt Paris, professeur adjoint de bibliothéconomie et de sciences de l'information à l'Université Rutgers, qui a aidé à inventer le terme "cheapfakes". « Il ne s'agit pas seulement de personnes disposant d'une technologie informatique sophistiquée et d'un savoir-faire informatique assez sophistiqué. Au lieu de cela, c'est une application gratuite.
Des quantités de contenu manipulé circulent sur TikTok et ailleurs depuis des années, utilisant généralement des astuces plus artisanales comme une édition soignée ou l'échange d'un clip audio pour un autre. Dans une vidéo sur TikTok, le vice-président Kamala Harris a semblé dire que toutes les personnes hospitalisées pour Covid-19 avaient été vaccinées . En fait, elle a dit que les patients n'étaient pas vaccinés.
Graphika, une société de recherche qui étudie la désinformation, a repéré des deepfakes de présentateurs de nouvelles fictifs qui pro-Chine comptes de robots distribués à la fin de l'année dernière, dans le premier exemple connu d'utilisation de la technologie pour des campagnes d'influence alignées sur l'État.
Mais plusieurs nouveaux outils offrent une technologie similaire aux internautes de tous les jours, donnant aux comédiens et aux partisans la possibilité de créer leurs propres parodies convaincantes.
Le mois dernier, une fausse vidéo a circulé montrant le président Biden déclarant un projet national pour la guerre entre la Russie et l'Ukraine. La vidéo a été produite par l'équipe derrière "Human Events Daily", un podcast et une diffusion en direct dirigés par Jack Posobiec, un influenceur de droite connu pour diffuser des théories du complot.
Dans un segment expliquant la vidéo, M. Posobiec a déclaré que son équipe l'avait créée à l'aide de l'IA. technologie. Un tweet sur la vidéo de The Patriot Oasis, un compte conservateur, a utilisé une étiquette de nouvelles de dernière minute sans indiquer que la vidéo était fausse. Le tweet a été vu plus de huit millions de fois.
De nombreux clips vidéo présentant des voix synthétisées semblaient utiliser la technologie d'ElevenLabs, une start-up américaine cofondée par un ancien ingénieur de Google. En novembre, la société a lancé un outil de clonage de la parole qui peut être formé pour reproduire les voix en quelques secondes.
ElevenLabs a attiré l'attention le mois dernier après que 4chan, un babillard connu pour son contenu raciste et complotiste, a utilisé l'outil pour partager des messages haineux. Dans un exemple, les utilisateurs de 4chan ont créé un enregistrement audio d'un texte antisémite en utilisant une voix générée par ordinateur qui imitait l'acteur Emma Watson. Carte mère rapporté plus tôt sur l'utilisation de la technologie audio par 4chan.
ElevenLabs a déclaré sur Twitter qu'il allait introduire de nouvelles garanties, comme limiter le clonage vocal aux comptes payants et fournir une nouvelle IA. outil de détection. Mais les utilisateurs de 4chan ont déclaré qu'ils créeraient leur propre version de la technologie de clonage de la voix en utilisant un code source ouvert, en publiant des démos qui ressemblent à l'audio produit par ElevenLabs.
"Nous voulons avoir notre propre IA personnalisée avec le pouvoir de créer", a écrit un utilisateur anonyme de 4chan dans un article sur le projet.
Dans un e-mail, une porte-parole d'ElevenLabs a déclaré que la société cherchait à collaborer avec d'autres A.I. développeurs pour créer un système de détection universel qui pourrait être adopté dans l'ensemble de l'industrie.
Les vidéos utilisant des voix clonées, créées avec l'outil d'ElevenLabs ou une technologie similaire, sont devenues virales ces dernières semaines. L'une, publiée sur Twitter par Elon Musk, le propriétaire du site, montrait une fausse conversation profane entre M. Rogan, M. Musk et Jordan Peterson, un militant canadien des droits des hommes. Dans un autre, publié sur YouTube, M. Rogan a semblé interviewer une fausse version du premier ministre canadien, Justin Trudeau, au sujet de ses scandales politiques.
"La production de telles contrefaçons devrait être un crime passible d'une peine obligatoire de dix ans", a déclaré M. Peterson dans un tweet sur les fausses vidéos mettant en vedette sa voix. "Cette technologie est dangereuse au-delà de toute croyance."
Dans un communiqué, une porte-parole de YouTube a déclaré que la vidéo de M. Rogan et de M. Trudeau n'enfreignait pas les politiques de la plateforme car elle "[fournit un contexte suffisant](https://support.google.com/youtube/answer/6345162? hl=fr). (Le créateur l'avait décrite comme une "fausse vidéo".) façon trompeuse.
Les experts qui étudient la technologie deepfake ont suggéré que la fausse publicité mettant en vedette M. Rogan et Dr Huberman avait très probablement été créée avec un [programme de clonage de la voix](https://www.nytimes.com/2022/11/04/technology/ tiktok-deepfakes-disinformation.html), même si l'outil exact utilisé n'était pas clair. L'audio de M. Rogan a été intégré dans une véritable interview avec Dr Huberman discutant de la testostérone.
Les résultats ne sont pas parfaits. Le clip de M. Rogan a été tiré d'une interview sans rapport publiée en décembre avec Fedor Gorst, un joueur de billard professionnel. Les mouvements de la bouche de M. Rogan ne correspondent pas à l'audio et sa voix semble parfois peu naturelle. Si la vidéo a convaincu les utilisateurs de TikTok, c'était difficile à dire : elle a attiré beaucoup plus d'attention après avoir été signalée pour son impressionnante contrefaçon.
Les politiques de TikTok interdisent les contrefaçons numériques "qui induisent les utilisateurs en erreur en déformant la vérité des événements et causent un préjudice important au sujet de la vidéo, à d'autres personnes ou à la société". Plusieurs des vidéos ont été supprimées après que le New York Times les a signalées à la société. Twitter a également supprimé certaines des vidéos.
Un porte-parole de TikTok a déclaré que la société utilisait "une combinaison de technologie et de modération humaine pour détecter et supprimer" les vidéos manipulées, mais a refusé de donner des détails sur ses méthodes.
M. Rogan et la société présentée dans la fausse publicité n'ont pas répondu aux demandes de commentaires.
De nombreuses sociétés de médias sociaux, dont Meta et Twitch, ont interdit les deepfakes et manipulé des vidéos qui trompent les utilisateurs. Meta, qui possède Facebook et Instagram, a organisé un concours en 2021 pour développer des programmes capables d'identifier les deepfakes, résultant en [un outil](https://ai.facebook.com/blog/deepfake-detection-challenge-results-an- open-initiative-to-advance-ai/) qui pourrait les repérer 83 % du temps.
Les régulateurs fédéraux ont été lents à réagir. Une loi fédérale de 2019 a demandé un rapport sur la militarisation des deepfakes par des étrangers, obligeant les agences gouvernementales à informer le Congrès si les deepfakes ont ciblé les élections aux États-Unis et ont créé un prix pour encourager la recherche d'outils capables de détecter les deepfakes.
"Nous ne pouvons pas attendre deux ans jusqu'à ce que les lois soient adoptées", a déclaré Ravit Dotan, un chercheur postdoctoral qui dirige le Collaborative A.I. Laboratoire de responsabilité à l'Université de Pittsburgh. « D'ici là, les dégâts pourraient être trop importants. Nous avons des élections à venir ici aux États-Unis. Ça va être un problème.