Incidentes Asociados
En abril de 2024, la imagen de un edificio envuelto en llamas se viralizó en Facebook en Sudán. La imagen fue ampliamente compartida con subtítulos que afirmaban que el edificio formaba parte de la Universidad Al-Jazeera en la ciudad de Wad Madani y que el ejército sudanés lo había bombardeado. Muchos líderes políticos y figuras públicas se encontraban entre quienes cayeron en la trampa y la compartieron.
Sin embargo, este no fue un caso aislado. A medida que continúa el conflicto entre el ejército del país y las Fuerzas de Apoyo Rápido, el grupo paramilitar rebelde, las plataformas de redes sociales se han convertido en un campo de batalla alternativo donde se utilizan abundantemente deepfakes generados por IA para difundir noticias falsas sobre el otro y ganar más simpatizantes. Esta tendencia representa una grave amenaza en este país del noreste de África, que necesita urgentemente un ecosistema de información sano. Se utilizó IA para generar vídeos falsos durante los primeros días de la guerra en curso. En agosto de 2023, el Daily Mail identificó un vídeo del embajador estadounidense en Sudán en el que afirmaba que Estados Unidos tenía un plan para reducir la influencia del islam en el país.
En octubre de 2023, una investigación de la BBC reveló una campaña que utilizaba IA para suplantar la identidad del exlíder de Sudán, Omar al-Bashir, y que había recibido cientos de miles de visualizaciones en TikTok.
En marzo de 2024, la cuenta X de un presentador de radio y televisión compartió una grabación atribuida al jefe de las Fuerzas Armadas Sudanesas, en la que se ordenaba la matanza de civiles, el despliegue de francotiradores y la ocupación de edificios. Esta grabación, creada por IA, fue vista por 230.000 personas y compartida por cientos, incluyendo políticos sudaneses conocidos políticos.
Además, en septiembre de 2023, algunos sudaneses expertos en tecnología, sin afiliaciones políticas evidentes, comenzaron a usar tecnologías deepfake para crear contenido satírico. Por ejemplo, una canción publicada originalmente para apoyar a las Fuerzas Armadas Sudanesas fue reproducida como un deepfake en el que se ve al líder de las Fuerzas Armadas Sudanesas, Mohamed Hamdan Dagalo (alias Hemedti), cantándola junto con uno de sus oficiales de alto rango. Fue vista miles de veces. Si bien los espectadores no pasaron por alto el objetivo humorístico de la canción modificada, en otros casos, este contenido se transformó en desinformación. En marzo de 2024, una grabación creada por IA mostró una reunión secreta entre los líderes de la milicia RSF y un par de líderes de la coalición Libertad y Cambio discutiendo un plan para un golpe militar, aunque la grabación no era auténtica, fue compartida en el mismo mes por periodistas conocidos e incluso por la televisión nacional antes de ser eliminadamás tarde. Obai Alsadig, el creador de la grabación, me dijo que esta era "sarcástica, con diálogos débiles y falsa" y que "quería demostrar al público que crear grabaciones tan falsas no es difícil".
Los partidarios de las Fuerzas Armadas Sudanesas, como parte de la guerra psicológica, lanzaron una campaña para cuestionar las grabaciones autenticadas de Hemedti, afirmando falsamente que todas fueron creadas por IA y que estaba muerto, a pesar de que un análisis independiente reveló, con gran certeza, que estas grabaciones son precisas.
Se han realizado varios esfuerzos para combatir el contenido de desinformación ultrafalsa con sede en Beam Reports, con sede en Jartum, la única organización sudanesa de verificación de datos verificada por parte de la organización International Fact-checking, que ha estado verificando contenido en Sudán desde 2023. La organización ha estado rastreando las ultrafalsas en Sudán y ha publicado un análisis al respecto. Si bien se utiliza tecnología deepfake en las redes sociales con fines engañosos, no podemos decir que su uso haya aumentado significativamente en los últimos seis meses, específicamente en el contexto de Sudán. Sin embargo, es notable que también se haya generado contenido de audio engañoso mediante IA y se haya atribuido a personas activas en asuntos sudaneses. Marsad Beam, una división dentro de Beam Report encargada de monitorear y verificar los hechos de las noticias falsas virales, ha trabajado en Beam Reports me explicó por correo electrónico que un informe verificó la autenticidad de este contenido.
En un seminario en línea organizado por la UNESCO en mayo, Beam Reports destacó los desafíos que el uso de la IA ha planteado en los últimos meses.
"Tras un año combatiendo la desinformación en línea, Beam Reports enfatizó que la ausencia de información sobre el terreno está provocando un aumento de la desinformación", declaró la UNESCO en un comunicado posterior al evento. "Esto se ve agravado y complicado por el creciente uso de la inteligencia artificial generativa en la producción y Difusión de desinformación e incitación al odio.
Personas con habilidades técnicas avanzadas también participaron para ayudar a verificar el contenido viral, según me explicó Mohanad Elbalal, un activista sudanés residente en el Reino Unido que verifica voluntariamente contenido en redes sociales. "Si creo que un clip es un deepfake, hago una búsqueda inversa de fotogramas de la imagen para intentar encontrar una coincidencia, ya que estos deepfakes de IA suelen reproducirse a partir de una plantilla, por lo que es probable que aparezcan imágenes similares. Buscaré cualquier cosa identificable en el clip, como el logo falso del canal de noticias usado en el deepfake.
"La mayor limitación en la detección de deepfakes es la falta de acceso a herramientas confiables", me comentó por correo electrónico Shirin Anlen, tecnóloga de medios de Witness. "Si bien se están llevando a cabo investigaciones inspiradoras en este campo, a menudo están fuera del alcance del público general y requieren un alto nivel de experiencia técnica. Las herramientas de detección disponibles públicamente pueden ser difíciles de entender debido a la falta de transparencia y claridad en los resultados, lo que deja a los usuarios a oscuras, especialmente cuando estas herramientas producen falsos positivos, algo que ocurre con bastante frecuencia", explicó.
"Desde un punto de vista técnico, estas herramientas aún dependen en gran medida de la calidad y diversidad de los datos de entrenamiento. Esta dependencia genera desafíos, particularmente en torno a sesgos hacia tipos específicos de manipulación, personajes o calidad de los archivos. En nuestro trabajo, hemos observado que la compresión y la resolución de archivos desempeñan un papel importante en la precisión de la detección", añadió.
El problema de las noticias falsas generadas por IA en Sudán podría intensificarse aún más a medida que la tecnología avance.
"Hasta ahora, gran parte de las noticias falsas generadas por IA que circulan en el país podrían identificarse fácilmente como falsas debido a su baja calidad, lo que podría atribuirse a la falta de datos entrenados con dialectos sudaneses", compartió conmigo Mohamed Sabry, investigador sudanés de IA en la Universidad de la Ciudad de Dublín*. *Pero esto cambiará en el futuro si los actores maliciosos deciden invertir más tiempo y dinero en utilizar tecnología de IA avanzada para producir su contenido, añadió.
"En idiomas con recursos limitados, como los dialectos sudaneses, los modelos de clonación de voz son menos efectivos y fácilmente identificables. El tono robótico es bastante evidente incluso para oyentes inexpertos", afirmó Mohamed. Sin embargo, "se están realizando muchos esfuerzos para abordar los desafíos de los conjuntos de datos de idiomas con recursos limitados". Además, es notable la impresionante generalización de las redes neuronales profundas al ser entrenadas en dialectos y dominios cercanos al árabe.
Si bien el contenido falso que podría incitar a la violencia en el volátil clima político de Sudán es una gran amenaza, también existe el riesgo del dividendo del mentiroso entre los políticos locales.
En junio de 2023, Mubarak Ardol, un político sudanés, tuiteó que la grabación de voz de su conversación telefónica con otro político, en la que se burlaba del líder del ejército y de su disposición a aceptar cualquier oferta de la milicia RSF, no era precisa y se realizó mediante software de inteligencia artificial. Afirmó que el creador de la grabación se basó en muestras de su voz disponibles en Internet.
Este fenómeno tiene un grave impacto negativo, ya que crea un ambiente de escepticismo que lleva a los ciudadanos a cuestionar incluso la información válida generada por IA.
Las plataformas de redes sociales han comenzado a tomar medidas enérgicas contra el contenido deepfake, pero todo este contenido sigue siendo accesible, lo que demuestra que estas políticas no se aplican en países como Sudán, posiblemente debido a la falta de moderadores de contenido que comprendan el contexto local.
YouTube compartió conmigo su política sobre deepfakes, que prohíbe este tipo de desinformación. Esta política enfatiza que "el contenido técnicamente manipulado que confunda a los usuarios y pueda suponer un grave riesgo de daño grave no está permitido en YouTube".
Además, la política exige que "los creadores revelen cuándo han creado o alterado contenido sintético que sea realista" y que "aplicaremos una etiqueta de transparencia a este contenido para que los espectadores tengan un contexto importante".