Problème 3196

Une controverse politique a secoué l'État du Tamil Nadu, dans le sud de l'Inde, en avril, lorsque K. Annamalai, chef d'État du Bharatiya Janata Party (BJP) - le parti au pouvoir en Inde - a publié un enregistrement audio controversé de Palanivel Thiagarajan, un législateur de la Dravida Munnetra Kazhagam ( DMK) qui est actuellement au pouvoir dans l'État.

Dans la [cassette audio] de 26 secondes de faible qualité (https://twitter.com/annamalai_k/status/1648929109257637889?s=20), Thiagarajan, qui était alors ministre des Finances du Tamil Nadu, aurait pu être entendu accusant les membres de son propre parti d'avoir amassé illégalement 3,6 milliards de dollars. Thiagarajan a nié avec véhémence la véracité de l'enregistrement, le qualifiant de "fabriqué" et de "généré par la machine".

"Ne JAMAIS faire confiance à un clip audio sans source attribuable", Thiagarajan a tweeté le 22 avril. Il a fait valoir que [c'est maintenant facile à fabriquer](https:// twitter.com/ptrmadurai/status/1649792158902173697?s=20) voix, citant un extrait d'actualité sur les tristement célèbres [chansons générées par l'IA](https://restofworld.org/2023/sidhu-moosewala-ai-songs-after- mort/) de Drake et The Weeknd.

Le 25 avril, Annamalai a publié un deuxième clip - 56 secondes de long et avec un son beaucoup plus clair - où Thiagarajan aurait parlé de manière désobligeante de son propre parti et fait l'éloge du BJP. Cette fois, Thiagarajan a qualifié cela de tentative désespérée d'un "gang de chantage" pour créer une rupture politique au sein de son propre parti, et a déclaré que personne n'avait revendiqué la propriété de la source des clips. Les politiques nationalistes hindoues du BJP ont été peu reçues dans les États du sud de l'Inde, et le parti a été essayant de faire des incursions dans le Tamil Nadu par des campagnes agressives. Les prétendues fuites audio font partie d'une liste plus longue de ce qui est maintenant connu sous le nom de [DMKFiles](https://theprint.in/opinion/mk-stalin-is-in-troubled-waters-dmk-files-factories-act -vp-singh-statue/1537913/) — une série de scandales de corruption présumés dont Annamalai a accusé le parti au pouvoir. Il [récemment promis](https://timesofindia.indiatimes.com/city/chennai/dmk-files-part-2-will-be-out-soon-tamil-nadu-bjp-president-k-annamalai/articleshow/ 100926923.cms) pour publier d'autres fichiers de ce type.

Alors que les experts ont raconté plusieurs scénarios alarmants sur la façon dont l'IA peut jouer en politique, en Inde , cela pourrait être le premier cas très médiatisé du « dividende du menteur » - la capacité des puissants à revendiquer un déni plausible de séquences peu flatteuses. Des experts de Deepfake ont déclaré à Rest of World que la montée de l'IA est utilisée comme une ruse pour semer l'incertitude de l'information dans une nouvelle ère politique. D'une part, ont-ils déclaré, l'IA générative a le potentiel de ternir les réputations et de manipuler l'opinion publique, mais d'autre part, la technologie pourrait être un moyen d'échapper à la responsabilité en rejetant toute preuve incriminante comme fausse.

"Nous constatons un contenu médiatique plus génératif d'IA/deepfake/synthétique, ainsi que plus d'allégations de faux quand ce n'est pas le cas", a déclaré Sam Gregory, directeur exécutif de l'association à but non lucratif Witness, qui étudie l'utilisation des deepfakes pour défendre les droits de l'homme, à Rest of World par e-mail. Gregory a noté des cas au Myanmar où l'armée avait contesté des preuves réelles de violations des droits humains comme fausses . Plus récemment, en mai, un compte Twitter appartenant au chef des Forces de soutien rapide du Soudan [Mohamed Hamdan Dagalo](https://www.economist.com/middle-east-and-africa/2023/05/31/what-next- for-sudans-most-notorious-rebel-leader-known-as-hemedti) a publié un enregistrement audio prétendument du général. Des rumeurs avaient circulé en ligne selon lesquelles Dagalo était mort, et les utilisateurs des médias sociaux ont spéculé si l'audio était généré par l'IA. Une analyse médico-légale facilitée par Witness a cependant déterminé que l'enregistrement en arabe était très probablement authentique.

Rest of World a partagé les deux clips audio publiés par Annamalai avec la Deepfakes Rapid Response Force pour une analyse médico-légale. Une initiative de Witness, la Deepfakes Rapid Response Force relie les réseaux locaux de journalistes et de vérificateurs des faits aux principaux experts en criminalistique des médias et en deepfake. Le programme a facilité trois tests indépendants des clips. Les analystes étaient divisés sur le premier clip, le trouvant soit de qualité trop médiocre pour en arriver à une conclusion, soit jugeant que le clip était "très probablement faux". Cependant, ils se sont tous mis d'accord sur le deuxième clip, le jugeant authentique.

"Il serait extrêmement difficile pour tout système actuel de synthèse vocale de générer un son anglophone avec cet accent du sud de l'Inde à ce niveau de fidélité", a déclaré Rijul Gupta, PDG de DeepMedia, une société de génération et de détection d'IA, à Rest of World à propos du deuxième clip. "La voix ne contient pas d'artefacts associés aux algorithmes d'échange de voix (par exemple, parole à parole au lieu de texte à parole). Pour ces raisons, nos experts en intelligence artificielle concluent que Clip 2 est une voix authentique », a noté l'équipe DeepMedia par e-mail. Les détecteurs de deepfake de DeepMedia sont actuellement utilisés par le département américain de la Défense pour vérifier si les médias Internet sortant de Russie et de Chine sont authentiques.

Après une évaluation humaine, DeepMedia a exécuté les clips via son outil de détection interne propriétaire de deepfake, qui a également montré avec 87 % de confiance que le deuxième clip est authentique. Cependant, l'évaluation par DeepMedia du premier clip est revenue comme peu concluante. "Le niveau de bruit dans ce clip rend difficile la détermination de son authenticité. Bien que la voix sonne comme si elle pouvait être générée par l'IA, nous ne pouvons pas confirmer ou nier de manière concluante son authenticité pour le moment », a déclaré l'équipe.

Selon une équipe de six chercheurs en deepfake de l'Université de Naples Federico II dirigée par Luisa Verdoliva, "Le deuxième clip est considéré comme authentique [sous le seuil] pendant toute la durée du clip." Ils ont recueilli 50 minutes d'audio vierge de Thiagarajan - de trois [discours](https://www.youtube.com/watch?v =am_Hq7LmJYc&ab_channel=BrutIndia) mis en ligne sur YouTube, y compris son discours à l'Oxford Union. Ils ont ensuite comparé l'audio aux deux clips. « Le premier clip s'avère authentique pour le premier segment puis la distance augmente. Cependant, cela pourrait être dû au fait que le clip est assez bruyant », a déclaré l'équipe par e-mail.

Une troisième évaluation par la société de détection deepfake Reality Defender, dirigée par Ali Shahriyari, a utilisé des modèles de détection audio internes ainsi que des experts humains. Il a qualifié le premier clip de "très probablement faux". Selon l'équipe, "plusieurs mots prononcés sont perdus, comme si le convertisseur de voix n'avait pas saisi les bonnes prononciations (ou l'avait fait délibérément pour donner l'impression qu'il est authentique/réel)." Reality Defender a également conclu que le deuxième clip est probablement authentique. "Forte naturalité dans le contenu du discours (par exemple, des phrases interrompues avec des mots de remplissage qui auraient du sens dans une conversation mais pas tout à fait lorsqu'ils sont écrits), des changements d'émotion difficiles à modéliser avec de faux générateurs de discours et une bonne qualité globale du discours contenu (par exemple, la prononciation native) », a noté l'équipe par e-mail.

Reste du monde a contacté les bureaux de Thiagarajan et Annamalai mais n'a pas reçu de réponse au moment de la publication.

Thiagarajan a publié sa propre analyse audio du premier clip, citant les distorsions audio comme preuve qu'il s'agit d'un deepfake. Il a également mentionné une histoire de 2020 de Vice — où un [politicien indien a cloné sa voix](https://www.vice. com/en/article/jgedjb/the-first-use-of-deepfakes-in-indian-election-by-bjp) et a créé une vidéo de campagne électorale en anglais et en haryanvi - comme preuve de la façon dont une vidéo et un son trompeurs peuvent être créés . Dans une deuxième déclaration, Thiagarajan a déclaré que le BJP "utilisait des technologies avancées et des tactiques bon marché telles que la diffusion de ces audios fabriqués pour perturber notre bon travail. ”

L'explosion actuelle de l'IA générative a amené le public à remettre en question toute preuve et à se demander si elle est réelle ou fausse. "La plus grande menace maintenant est que tout le monde a un déni plausible, n'est-ce pas?" Gupta de DeepMedia a déclaré. "N'importe qui peut dire que c'est faux, ça ne s'est jamais produit. Et même si c'est vrai, leurs partisans pourraient le croire. C'est incroyablement problématique. Cette idée du «dividende du menteur» a exercé une pression énorme sur les journalistes et les vérificateurs des faits, qui doivent désormais être sélectifs quant à l'histoire qu'ils veulent traquer et vérifier, a déclaré Gregory.

En mai, une image manipulée par l'IA de deux lutteurs indiens - qui souriaient lors de leur arrestation pour avoir protesté contre un politicien du BJP pour des faits sexuels harcèlement – est devenu viral. Les utilisateurs des médias sociaux ont affirmé que les lutteurs n'étaient pas sérieux au sujet de la manifestation, selon des informations.

"Il existe un déficit d'équité en matière de détection dans le monde", a déclaré Gregory. « Les outils pour détecter la manipulation des médias synthétiques ne sont pas disponibles pour les personnes qui en ont le plus besoin. Ils n'ont pas évolué vers un large éventail mondial de journalistes et de vérificateurs de faits, parallèlement aux compétences nécessaires pour les utiliser. Cependant, Gupta s'attend à ce que davantage d'entreprises indépendantes développent des outils de détection à mesure que l'IA générative évolue. "Ce sera un jeu du chat et de la souris."