Problema 3196
Una controversia política sacudió el estado de Tamil Nadu, en el sur de la India, en abril, cuando K. Annamalai, jefe de estado del Partido Bharatiya Janata (BJP), el partido gobernante de la India, publicó una controvertida grabación de audio de Palanivel Thiagarajan, un legislador de Dravida Munnetra Kazhagam ( DMK) que actualmente está en el poder en el estado.
En la [cinta de audio] de baja calidad de 26 segundos (https://twitter.com/annamalai_k/status/1648929109257637889?s=20), se puede escuchar a Thiagarajan, quien era el ministro de finanzas de Tamil Nadu en ese momento. acusando a los miembros de su propio partido de acumular ilegalmente $ 3.6 mil millones. Thiagarajan negó con vehemencia la veracidad de la grabación, calificándola de "fabricada" y "generada por una máquina".
“NUNCA confíes en un clip de audio sin una fuente atribuible”, tuiteó Thiagarajan el 22 de abril. Argumentó que [ahora es fácil de fabricar](https:// twitter.com/ptrmadurai/status/1649792158902173697?s=20), citando un clip de noticias sobre las infames [canciones generadas por IA] (https://restofworld.org/2023/sidhu-moosewala-ai-songs-after- muerte/) de Drake y The Weeknd.
El 25 de abril, Annamalai lanzó un segundo clip, de 56 segundos de duración y con un audio mucho más claro, en el que supuestamente Thiagarajan hablaba de forma despectiva de su propio partido. y elogió al BJP. Esta vez, Thiagarajan lo llamó un intento desesperado de una “pandilla de chantaje” de crear una grieta política dentro de su propio partido, y dijo que nadie había reclamado la propiedad de la fuente de los clips. Las políticas nacionalistas hindúes del BJP han encontrado poca recepción en los estados del sur de la India, y el partido ha sido tratando de incursionar en Tamil Nadu a través de campañas agresivas. Las supuestas filtraciones de audio son parte de una lista más larga de lo que ahora se conoce como [DMKFiles](https://theprint.in/opinion/mk-stalin-is-in-troubled-waters-dmk-files-factories-act -vp-singh-statue/1537913/) — un conjunto de presuntos escándalos de corrupción de los que Annamalai ha acusado al partido gobernante. Él [prometió recientemente](https://timesofindia.indiatimes.com/city/chennai/dmk-files-part-2-will-be-out-soon-tamil-nadu-bjp-president-k-annamalai/articleshow/ 100926923.cms) para publicar más archivos de este tipo.
Si bien los expertos han recitado múltiples escenarios alarmantes sobre cómo la IA puede desempeñarse en la política, en India , este podría ser el primer caso de alto perfil del "dividendo del mentiroso": la capacidad de los poderosos para reclamar la negación plausible de imágenes poco halagadoras. Los expertos de Deepfake le dijeron a Rest of World que el auge de la IA se está utilizando como una artimaña para sembrar la incertidumbre de la información en una nueva era política. Por un lado, dijeron, la IA generativa tiene el potencial de empañar la reputación y manipular la opinión pública, pero por otro lado, la tecnología podría ser una forma de evadir la responsabilidad al descartar cualquier evidencia incriminatoria como falsa.
“Estamos viendo más contenido generativo de IA/deepfake/medios sintéticos, así como más reclamos de falsificación cuando no lo es”, dijo a Rest of World Sam Gregory, director ejecutivo de la organización sin fines de lucro Witness, que estudia el uso de deepfakes para defender los derechos humanos. por correo electrónico Gregory señaló instancias en Myanmar donde el ejército había cuestionado pruebas reales de violaciones de derechos humanos como falsas. . Más recientemente, en mayo, una cuenta de Twitter perteneciente al líder de las Fuerzas de Apoyo Rápido de Sudán [Mohamed Hamdan Dagalo] (https://www.economist.com/middle-east-and-africa/2023/05/31/what-next- for-sudans-most-notorious-rebel-leader-known-as-hemedti) publicó una grabación de audio supuestamente del general. Habían circulado rumores en línea de que Dagalo estaba muerto, y los usuarios de las redes sociales especularon si el audio fue generado por IA. Sin embargo, un análisis forense facilitado por Witness determinó que la grabación en árabe era [muy probablemente auténtica] (https://twitter.com/MuhammedKambal/status/1661355761836908544).
Rest of World compartió los dos clips de audio publicados por Annamalai con Deepfakes Rapid Response Force para el análisis forense. Una iniciativa de Witness, Deepfakes Rapid Response Force conecta las redes locales de periodistas y verificadores de hechos con los principales forenses de los medios y expertos en falsificación profunda. El programa facilitó tres pruebas independientes de los clips. Los analistas estaban divididos sobre el primer clip, ya sea encontrándolo de muy mala calidad para llegar a una conclusión, o juzgando que el clip era "muy probablemente falso". Sin embargo, todos estuvieron de acuerdo con el segundo clip, considerándolo auténtico.
“Sería extremadamente difícil para cualquier sistema de texto a voz actual generar audio en inglés con este acento del sur de la India con este nivel de fidelidad”, dijo Rijul Gupta, director ejecutivo de DeepMedia, una empresa de detección y generación de IA, a Rest of World sobre el segundo clip. “La voz no contiene artefactos asociados con algoritmos de intercambio de voz (por ejemplo, voz a voz en lugar de texto a voz). Por estas razones, nuestros expertos en inteligencia artificial concluyen que Clip 2 es una voz auténtica”, señaló el equipo de DeepMedia por correo electrónico. Los detectores de falsificación profunda de DeepMedia son utilizados actualmente por el Departamento de Defensa de EE. UU. para determinar si los medios de Internet que surgen de Rusia y China son auténticos.
Después de una evaluación humana, DeepMedia pasó los clips a través de su herramienta interna de detección de falsificaciones profundas, que también mostró con un 87 % de confianza que el segundo clip es auténtico. Sin embargo, la evaluación de DeepMedia del primer clip no resultó concluyente. “El nivel de ruido en este clip dificulta determinar su autenticidad. Aunque la voz suena como si pudiera haber sido generada por IA, no podemos confirmar o negar de manera concluyente su autenticidad en este momento”, dijo el equipo.
Según un equipo de seis miembros de investigadores de deepfake de la Universidad de Nápoles Federico II dirigido por Luisa Verdoliva, "el segundo clip se considera auténtico [bajo el umbral] durante toda la duración del clip". Recopilaron 50 minutos de audio prístino de Thiagarajan, de tres [discursos](https://www.youtube.com/watch?v =am_Hq7LmJYc&ab_channel=BrutIndia) subido a YouTube, incluida su charla en Oxford Union. Luego compararon el audio con los dos clips. “El primer clip resulta ser auténtico para el primer segmento, luego la distancia aumenta. Sin embargo, esto podría deberse al hecho de que el clip es bastante ruidoso”, dijo el equipo por correo electrónico.
Una tercera evaluación realizada por la empresa de detección de deepfakes Reality Defender, dirigida por Ali Shahriyari, utilizó modelos internos de detección de audio, así como expertos humanos. Llamó al primer clip "muy probablemente falso". Según el equipo, "se pierden varias palabras habladas, como si el convertidor de voz no pudiera captar las pronunciaciones correctas (o lo hiciera deliberadamente para dar la impresión de que es auténtico/real)". Reality Defender también concluyó que el segundo clip probablemente sea auténtico. “Fuerte naturalidad en el contenido del discurso (por ejemplo, oraciones entrecortadas con palabras de relleno que tendrían sentido en una conversación pero no del todo cuando se escriben), cambios en la emoción que son difíciles de modelar con generadores de discurso falso y, en general, buena calidad del discurso. contenido (por ejemplo, pronunciación nativa)”, señaló el equipo por correo electrónico.
Resto del mundo se comunicó con las oficinas de Thiagarajan y Annamalai, pero no recibió una respuesta al momento de la publicación.
Thiagarajan publicó su propio análisis de audio del primer clip, citando las distorsiones del audio como evidencia de que se trata de una falsificación profunda. También mencionó una historia de 2020 de Vice — donde un [político indio clonó su voz](https://www.vice. com/en/article/jgedjb/the-first-use-of-deepfakes-in-indian-election-by-bjp) y creó un video de campaña electoral en inglés y Haryanvi, como evidencia de cómo se pueden crear videos y audios engañosos. . En una segunda declaración, Thiagarajan dijo que el BJP estaba “usando tecnologías avanzadas y tácticas baratas como publicar estos audios fabricados para interrumpir nuestro buen trabajo. ”
La explosión actual de la IA generativa ha hecho que el público cuestione cualquier evidencia y se pregunte si es real o falsa. “La mayor amenaza ahora es que todos tienen una negación plausible, ¿verdad?” dijo Gupta de DeepMedia. “Cualquiera puede decir que esto es falso, nunca sucedió. E incluso si es cierto, sus seguidores podrían creerlo. Eso es increíblemente problemático”. Esta idea del "dividendo del mentiroso" ha ejercido una enorme presión sobre los periodistas y los verificadores de hechos, que ahora tienen que ser selectivos sobre qué historia quieren perseguir y verificar, dijo Gregory.
En mayo, una imagen manipulada por IA de dos [luchadores indios, que sonreían mientras los arrestaban] (https://www.bbc.com/news/world-asia-india-65757400) por protestar contra un político del BJP por acoso sexual. acoso — se volvió viral. Los usuarios de las redes sociales afirmaron que los luchadores no hablaban en serio sobre la protesta, según los informes.
“Hay una brecha de equidad de detección que existe en el mundo”, dijo Gregory. “Las herramientas para detectar la manipulación de medios sintéticos no están disponibles para las personas que más las necesitan. No han evolucionado a una amplia gama global de periodistas y verificadores de hechos, junto con las habilidades para usarlos”. Sin embargo, Gupta espera que más empresas independientes desarrollen herramientas de detección a medida que evoluciona la IA generativa. “Va a ser un juego del gato y el ratón”.