Dans une vidéo TikTok savamment réalisée, on peut entendre l'ancien président Barack Obama – ou une voix étrangement semblable à la sienne – se défendre contre une nouvelle théorie du complot explosive sur la [mort subite](https://www.nytimes.com/2023/07 /24/us/obama-chef-drowned-paddleboard.html) de son ancien chef.
"Bien que je ne comprenne pas le fondement des allégations portées contre moi", dit la voix, "j'exhorte tout le monde à se rappeler l'importance de l'unité, de la compréhension et de ne pas se précipiter pour porter des jugements".
En fait, la voix n’appartenait pas à l’ancien président. Il s’agissait d’un faux convaincant, généré par l’intelligence artificielle à l’aide de nouveaux outils sophistiqués capables de cloner de vraies voix pour créer une IA. marionnettes en quelques clics de souris.
La technologie utilisée pour créer l'A.I. voices a gagn é du terrain et a été largement salué depuis que des sociétés comme ElevenLabs ont publié une série de nouveaux outils à la fin de l'année dernière. Depuis lors, les contrefaçons audio sont rapidement devenues une nouvelle arme sur le champ de bataille de la désinformation en ligne, menaçant de dynamiser la désinformation politique avant les élections de 2024 en donnant aux créateurs un moyen de mettre leurs théories du complot dans la bouche des célébrités, des présentateurs de nouvelles et des politiciens.
Le faux audio s’ajoute aux menaces générées par l’IA provenant de vidéos « deepfake », d’écritures humaines de ChatGPT et d’images de services comme Midjourney.
Les organismes de surveillance de la désinformation ont remarqué le nombre de vidéos contenant des informations sur l'IA. les voix se sont multipliées à mesure que les producteurs de contenu et les colporteurs de désinformation adoptent les nouveaux outils. Les plateformes sociales comme TikTok s’efforcent de signaler et d’étiqueter ce type de contenu.
La vidéo qui ressemblait à M. Obama a été découverte par NewsGuard, une société qui surveille la désinformation en ligne. La vidéo a été publiée par l'un des 17 comptes TikTok poussant des allégations sans fondement avec de faux audios identifiés par NewsGuard, selon [un rapport publié par le groupe](https://www.newsguardtech.com/special-reports/ai-voice-technology- crée-des-vidéos-conspiratoires-sur-tiktok/) en septembre. Les comptes publiaient principalement des vidéos sur des rumeurs de célébrités utilisant la narration d'une IA. voix, mais a également promu l'affirmation sans fondement selon laquelle M. Obama est gay et la théorie du complot selon laquelle Oprah Winfrey est impliquée dans la traite des esclaves. Les chaînes avaient collectivement reçu des centaines de millions de vues et de commentaires suggérant que certains téléspectateurs croyaient à ces affirmations.
Même si les chaînes n’avaient pas d’agenda politique évident, a déclaré NewsGuard, l’utilisation de l’IA les voix pour partager des potins et des rumeurs salaces ont offert une feuille de route aux mauvais acteurs souhaitant manipuler l’opinion publique et partager des mensonges avec un public de masse en ligne.
"C'est un moyen pour ces comptes de prendre pied, de gagner un public qui peut susciter l'engagement d'un large public", a déclaré Jack Brewster, rédacteur en chef des entreprises chez NewsGuard. "Une fois qu'ils ont la crédibilité d'avoir un large public, ils peuvent se lancer dans un contenu plus conspirateur."
TikTok exige des étiquettes divulguant le contenu réaliste généré par l'IA comme faux, mais ils n'apparaissent pas sur les vidéos signalées par NewsGuard. TikTok a déclaré avoir supprimé ou cessé de recommander plusieurs comptes et vidéos pour avoir enfreint les politiques visant à se faire passer pour des organismes de presse et à diffuser des informations erronées préjudiciables. Il a également supprimé la vidéo en utilisant la voix générée par l’IA qui imitait celle de M. Obama pour avoir violé la politique de TikTok en matière de médias synthétiques, car elle contenait un contenu très réaliste non étiqueté altéré ou faux.
"TikTok est la première plateforme à fournir un outil permettant aux créateurs d'étiqueter le contenu généré par l'IA et un membre inaugural d'un nouveau code de bonnes pratiques de l'industrie promouvant l'utilisation responsable des médias synthétiques", a déclaré Jamie Favazza, porte-parole de TikTok, faisant référence à un cadre récemment introduit par l'organisation à but non lucratif Partnership on A.I.
Bien que le rapport de NewsGuard se soit concentré sur TikTok, qui [devient de plus en plus](https://www.reuters.com/business/media-telecom/fewer-people-trust-traditional-media-more-turn-tiktok-news-report-says -2023-06-13/) est devenu une source d'information, un contenu similaire a été découvert sur YouTube, Instagram et Facebook.
Des plateformes comme TikTok autorisent le contenu généré par l’IA sur des personnalités publiques, y compris des présentateurs de nouvelles, à condition qu’elles ne diffusent pas de fausses informations. Des vidéos parodiques montrant des conversations générées par l'IA entre des politiciens, des célébrités ou des chefs d'entreprise – certains morts – ont largement répandu depuis que ces outils sont devenus populaires. L'audio manipulé ajoute une nouvelle couche aux vidéos trompeuses sur les plateformes qui ont déjà présenté de fausses versions de [Tom Cruise](https://www.nytimes.com/2021/03/10/technology/ancestor-deepfake-tom-cruise. html), Elon Musk et des présentateurs comme Gayle King et Norah O'Donnell. TikTok et d’autres plateformes ont récemment été aux prises avec une vague de publicités trompeuses mettant en vedette des deepfakes de célébrités comme M. Cruise et la star de YouTube Mr. Bête.
La puissance de ces technologies pourrait profondément influencer les téléspectateurs. "Nous savons que l'audio et la vidéo sont peut-être plus collants dans nos mémoires que le texte", a déclaré Claire Leibowicz, responsable de l'IA. et l'intégrité des médias au sein du Partenariat sur l'IA, qui a travaillé avec des entreprises de technologie et de médias sur un ensemble de recommandations pour la création, le partage et la distribution de contenu généré par l'IA.
TikTok a annoncé le mois dernier qu'il introduisait une étiquette que les utilisateurs pourraient sélectionner pour indiquer si leurs vidéos utilisaient l'IA. En avril, l'application a démarré obligeant les utilisateurs à divulguer les médias manipulés montrant des scènes réalistes et interdisant les deepfakes de jeunes et de personnalités privées. David G. Rand, professeur de sciences de gestion au Massachusetts Institute of Technology que TikTok a consulté pour obtenir des conseils sur la manière de formuler les nouvelles étiquettes, a déclaré que celles-ci étaient d'une utilité limitée en matière de désinformation, car « les gens qui essaient d'être les trompeurs ne mettront pas d’étiquette sur leurs affaires.
TikTok a également déclaré le mois dernier qu'il testait des outils automatisés pour détecter et étiqueter les médias générés par l'IA, ce qui, selon M. Rand, serait plus utile, du moins à court terme.
YouTube interdit aux publicités politiques d'utiliser l'IA. et oblige les autres annonceurs à étiqueter leurs annonces lorsque l'IA. est utilisé. Meta, propriétaire de Facebook, a ajouté une étiquette à sa boîte à outils de vérification des faits en 2020 qui décrit si une vidéo est « [altérée](https://www.facebook.com/journalismproject/programs/third-party-fact-checking /nouvelles notes). Et X, anciennement connu sous le nom de Twitter, exige que le contenu trompeur soit « modifié, manipulé ou fabriqué de manière significative et trompeuse » pour violer ses politiques. La société n'a pas répondu aux demandes de commentaires.
L’IA de M. Obama voice a été créée à l'aide des outils de ElevenLabs, une entreprise qui a fait irruption sur la scène internationale à la fin de l'année dernière avec son application gratuite d'IA. outil de synthèse vocale capable de produire un son réaliste en quelques secondes. L’outil permettait également aux utilisateurs de télécharger des enregistrements de la voix d’une personne et d’en produire une copie numérique.
Après la sortie de l'outil, les utilisateurs de 4chan, le forum de discussion de droite, [organisé](https://www.vice.com/en/article/dy7mww/ai-voice-firm-4chan-celebrity-voices-emma -watson-joe-rogan-elevenlabs?utm_source=reddit.com) pour créer une fausse version de l'acteur Emma Watson lisant un discours antisémite.
ElevenLabs, une entreprise de 27 employés dont le siège est à New York, a réagi à cette utilisation abusive en limitant la fonction de clonage vocal aux utilisateurs payants. La société a également publié un A.I. outil de détection capable d'identifier l'IA. contenus produits par ses services.
"Plus de 99 pour cent des utilisateurs de notre plateforme créent du contenu intéressant, innovant et utile", a déclaré un représentant d'ElevenLabs dans un communiqué envoyé par courrier électronique, "mais nous reconnaissons qu'il existe des cas d'utilisation abusive, et nous avons continuellement développé et publié des mesures de protection. pour les freiner.
Lors de tests effectués par le New York Times, le détecteur d’ElevenLabs a réussi à identifier l’audio des comptes TikTok comme étant généré par l’IA. Mais l’outil échouait lorsque de la musique était ajoutée au clip ou lorsque l’audio était déformé, ce qui suggère que les colporteurs de fausses informations pourraient facilement échapper à la détection.
I.A. les entreprises et les universitaires ont exploré d’autres méthodes pour identifier les faux sons, avec des résultats mitigés. Certaines entreprises ont envisagé d'ajouter un filigrane invisible à l'IA. audio en intégrant des signaux indiquant qu’il a été généré par l’IA. D’autres ont poussé l’IA. entreprises à limiter les voix qui peuvent être clonées, interdisant potentiellement les répliques de politiciens comme M. Obama – une pratique déjà en place avec certains outils de génération d'images comme Dall-E, qui [refuse de générer](https://labs.openai .com/policies/content-policy) quelques images politiques.
Mme Leibowicz au Partenariat sur l'IA. a déclaré que l’audio synthétique était particulièrement difficile à signaler pour les auditeurs par rapport aux altérations visuelles.
« Si nous étions un podcast, auriez-vous besoin d'une étiquette toutes les cinq secondes ? » » a déclaré Mme Leibowicz. « Comment obtenir un signal cohérent dans un long morceau audio ? »
Même si les plateformes adoptent l’A.I. détecteurs, la technologie doit constamment s’améliorer pour suivre les progrès de l’IA. génération.
TikTok a déclaré qu'il développait de nouvelles méthodes de détection en interne et explorait des options de partenariats externes.
« Les grandes entreprises technologiques, celles qui pèsent plusieurs milliards ou même des milliards de dollars, sont-elles incapables de le faire ? Cela me surprend un peu », a déclaré Hafiz Malik, professeur à l’Université du Michigan-Dearborn qui développe l’IA. détecteurs audio. « S’ils ne veulent pas le faire intentionnellement ? C'est compréhensible. Mais ils ne peuvent pas le faire ? Je ne l’accepte pas.
Audio produit par Adrienne Hurst.