Un réseau de 17 comptes TikTok semble tirer parti de la technologie vocale d’IA audio hyperréaliste pour obtenir des centaines de millions de vues sur des contenus conspirationnistes qui semblent authentiquement humains, a découvert NewsGuard. Les comptes semblent utiliser un logiciel de synthèse vocale IA pour générer instantanément une narration et d'autres voix dans les vidéos, démontrant une nouvelle façon dont les mauvais acteurs peuvent exploiter le logiciel IA pour produire rapidement et à moindre coût de faux contenus qui atteignent un vaste public.
En septembre 2023, NewsGuard a découvert que depuis le début de la publication du premier de ces comptes en juin 2023, le réseau avait produit environ 5 000 vidéos, dont beaucoup présentaient des voix off apparemment générées par l'IA. Au total, les vidéos publiées sur ces comptes ont reçu 336 millions de vues et 14,5 millions de likes au 25 septembre 2023.
Les récits sans fondement poussés par les narrateurs d'IA dans ces vidéos incluent l'affirmation selon laquelle l'ancien président américain Barack Obama était lié à la mort de son chef personnel Tafari Campbell ; cette animatrice d'émission télévisée Oprah Winfrey est une "marchande du sexe" ; cet acteur Jamie Foxx a été laissé paralysé et aveugle par le vaccin COVID-19 ; et ce comédien Joan Rivers a été assassinée pour avoir affirmé qu'Obama était gay.
Par exemple, une vidéo de juillet 2023 publiée par un compte appelé @e.news.tv mettait en vedette une narratrice au ton poli délivrant un discours de trois minutes. un reportage "d'actualité" qui liait sans fondement Obama à la mort de son chef personnel. La vidéo commençait par un narrateur d'IA déclarant : "Obama a réagi au fait que Sherise Campbell lui a reproché la mort de son mari Tafari Campbell. Voici ce qu'il avait à dire à ce sujet."
Cette introduction, apparemment lue par un narrateur IA, a été suivie par l'audio d'un « Obama » robotique, clairement généré par l'IA, lisant une déclaration sur la mort de Campbell. "Même si je ne comprends pas le fondement des allégations portées contre moi, j'exhorte tout le monde à se rappeler l'importance de l'unité, de la compréhension et de ne pas se précipiter pour porter des jugements", a déclaré la voix d'Obama. Au 27 septembre 2023, la vidéo avait recueilli plus de 50 700 vues sur TikTok.
En fait, une revue Politifact n'a trouvé aucun Il n'y a aucune preuve que l'épouse de Campbell ait jamais blâmé Obama pour la mort de son mari, et il n'y a aucune preuve de l'authenticité de la déclaration lue par la voix d'Obama AI.
Une vidéo de juillet 2023, publiée sur un compte du réseau appelé « e.news.tv », a été racontée par une voix d'IA que NewsGuard a pu recréer à l'aide de la plateforme de synthèse vocale d'IA ElevenLabs. En plus d'avoir un narrateur IA, la vidéo diffusait l'audio d'une voix de Barack Obama générée par l'IA lisant une déclaration fabriquée sur la mort de Tafari Campbell. (Capture d'écran via NewsGuard)
NewsGuard a pu recréer l'introduction audio de la vidéo à l'aide d'un logiciel de synthèse vocale IA appelé ElevenLabs, identifiant la voix probable répertoriée sous le nom "Natasha -- Valley Girl" sur le site d'ElevenLabs.
En réponse à un e-mail de septembre 2023 de NewsGuard demandant si cette vidéo avait effectivement été produite à l'aide du logiciel d'ElevenLabs, un porte-parole de la société a pointé NewsGuard vers un classificateur vocal IA proposé par ElevenLabs sur son site. Lorsqu'un analyste de NewsGuard a saisi l'audio de la vidéo mentionnée précédemment dans le classificateur, l'outil ElevenLabs a renvoyé un message indiquant : "98 %. Il est très probable que ce fichier audio ait été généré avec ElevenLabs."
Dans une autre vidéo, celle-ci publiée par un compte du réseau appelé @d.news.tv, une voix raffinée d'IA a lu le 15 août 2023 : post sur X (anciennement connu sous le nom de Twitter) affirmant que les incendies de Maui d'août 2023 n'étaient « pas des incendies climatiques, ce sont des armes à énergie directe » et que Winfrey était d'une manière ou d'une autre impliquée dans le déclenchement des incendies. Il n'y a aucune preuve à l'appui soit de ces revendications.
Dans une vidéo d'août 2023, publiée par un compte appelé @d.news.tv, un narrateur raffiné de l'IA a lu un tweet affirmant que les incendies d'août 2023 à Maui avaient été causés par des « armes à énergie directe ». (Capture d'écran via NewsGuard)
Plus tôt dans la vidéo, un problème audio a révélé l'identité apparente de l'IA du narrateur : en faisant référence à la valeur de 6,6 millions de dollars d'une propriété de 870 acres à Maui que Winfrey a récemment achetée, le narrateur a déclaré robotiquement que la valeur du terrain était "un énorme dollar de six points". six million." Sans ce problème robotique, un utilisateur n'aurait probablement aucun moyen de savoir que la vidéo était l'une des nombreuses vidéos apparemment générées en masse à l'aide de la synthèse texte-narration de l'IA. Au 27 septembre 2023, la vidéo avait reçu plus de 562 000 vues.
De plus, dans une tentative apparente de tromper les téléspectateurs en leur faisant croire que ces comptes sont des sources crédibles, NewsGuard a découvert que 13 des 17 comptes identifiés comme promouvant ces récits étaient faussement étiquetés pour ressembler à des médias grand public, des émissions de télévision et des comptes TikTok de grande envergure. Par exemple, un compte utilise le pseudo @drphilshowtv, invoquant le nom du talk-show populaire " Dr Phil." Un autre compte, @ynewstv2023, utilise un nom et un logo imitant fidèlement Yahoo News. Le compte @e.news.tv utilise un nom et un logo qui ressemblent à ceux de E! News, un site Web d'actualités sur le divertissement populaire.
Les pages de profil de trois des comptes découverts par NewsGuard semblent avoir utilisé l'IA pour produire en masse des vidéos conspirationnistes générées par l'IA. (Captures d'écran via NewsGuard)
Sur la base des commentaires générés par les vidéos, le contenu généré par l'IA a un impact. Par exemple, dans les commentaires de la vidéo sur le chef d'Obama, l'utilisateur Shay Lashay a commenté : « Obama s'est fait tuer le cul ». Dans une autre vidéo présentant une voix apparemment générée par l'IA faisant la même affirmation, l'utilisateur ricka189 a écrit : "TAFARI A ÉTÉ BATTU À MORT, PUIS MIS DANS L'ÉTANG Pour mettre en scène une mort par noyade, Obama l'a tué et a eu de l'aide pour le faire."
En fait, le 22 août 2023, le médecin légiste en chef du Massachusetts a statué que la mort de Campbell était accidentelle, selon le Washington Post.
Le 19 septembre 2023, TikTok a dévoilé une nouvelle fonctionnalité permettant aux utilisateurs de placer des étiquettes de divulgation sur le contenu qu ’ils ont produit avec l’aide de l’IA. Cependant, au 26 septembre 2023, aucune des vidéos conspirationnistes identifiées par NewsGuard comme racontées par l’IA ne portait une telle étiquette.
Invité à commenter les conclusions de NewsGuard, un porte-parole de TikTok a dirigé NewsGuard vers les politiques de la plateforme en matière de désinformation et médias manipulés. Dans un e-mail de suivi envoyé à NewsGuard, le porte-parole a déclaré que TikTok avait supprimé trois des comptes mentionnés dans ce rapport pour violation de la politique d'usurpation d'identité de la plateforme qui interdit, entre autres, aux comptes de se faire passer pour des organismes de presse. Le porte-parole a également déclaré que TikTok avait supprimé une vidéo identifiée par NewsGuard comme violant la politique de la plateforme en matière de médias manipulés et avait interdit l'amélioration algorithmique de quatre vidéos pour violation des directives de désinformation de la plateforme. Le porte-parole a demandé à NewsGuard de ne pas être nommé et de paraphraser les réponses de l'entreprise.
Hafiz Malik, professeur d'informatique à l'Université du Michigan-Dearborn, a déclaré à NewsGuard lors d'un entretien téléphonique en septembre 2023 que l'avènement des technologies de synthèse vocale de l'IA avait considérablement réduit les obstacles à la diffusion de contenus audio fabriqués sur des plateformes telles que TikTok. "Avec l'évolution d'outils tels que ElevenLabs ou autres, je pense qu'ils ont mis le tout à une échelle différente en termes de rapidité avec laquelle vous pouvez générer des deepfakes (audio)", a déclaré Malik. "Auparavant, il y avait un certain retard dans la création. Auparavant, il fallait peut-être enregistrer puis peut-être rejouer l'audio de quelqu'un. Mais maintenant, dans ce cas, il s'agit d'un clic de souris."
Note de l'éditeur : ce rapport a été mis à jour le 29 septembre 2023 pour inclure la réponse de TikTok à l'enquête de NewsGuard.