Incidentes Asociados
Un incidente reciente ha vuelto a poner de relieve los peligros de la tecnología deepfake. La semana pasada apareció en Twitter un clip de audio que supuestamente capturaba al líder de la oposición británica, Sir Keir Starmer, insultando a sus empleados. Pero la evidencia sugiere que la grabación fue un deepfake generado por IA, no una filtración auténtica. Este evento destaca la creciente amenaza que representan los deepfakes para el mundo político y la sociedad en general.
¿Qué son los deepfakes?
Los deepfakes aprovechan técnicas de inteligencia artificial como el aprendizaje automático y las redes neuronales para fabricar audio o video que representan falsamente a personas diciendo o haciendo cosas que en realidad nunca hicieron. Durante el proceso de aprendizaje automático (ML), el modelo de IA se entrena con horas de datos de audio auténticos de la persona objetivo para aprender su animación facial, patrones de habla y matices vocales. Luego utiliza estos datos para generar nuevos medios sintéticos que imitan de manera realista a la persona objetivo.
Cómo se crean los audio deepfakes utilizando texto a voz
Ahora que tenemos una comprensión general de cómo el aprendizaje automático es la base de la creación de deepfakes, nos centraremos en cómo probablemente se crearon los deepfakes de audio de Keir Starmer. La accesibilidad a los generadores de voz de IA y a los cambiadores de voz de IA ha brindado a las personas acceso a la clonación de voz. Los usuarios pueden extraer los datos de audio del líder del Partido Laborista de Internet y cargarlos en un generador de inteligencia artificial de voz donde pueden clonar su voz. Una vez que se completa la clonación de voz, el usuario puede generar contenido de voz de IA a través de la conversión de texto a voz (TTS) o de voz a voz (STS). A continuación se muestra un diagrama de síntesis de texto a voz.
Generador de IA de voz y accesibilidad de código abierto
Aunque originalmente se necesitaba experiencia en aprendizaje profundo, la generación de deepfake se ha vuelto muy accesible. Aplicaciones fáciles de usar como FakeApp y DeepFaceLab permiten a cualquiera crear un intercambio de rostros de celebridades generado por IA. Las bibliotecas de código abierto como Keras de Python o TensorFlow reducen la barrera para programar modelos deepfake personalizados. Y sin mencionar que hay sitios web que generarán contenido deepfake para clientes que pagan.
La proliferación de deepfakes de audio se ha visto acelerada por los motores de conversión de texto a voz. Estos permiten a los usuarios crear un modelo de voz de IA personalizado de una figura pública destacada como Starmer cargando unos minutos de sus muestras de audio. Luego, las aplicaciones TTS sintetizan la voz clonada que dice cualquier cosa a través de la entrada de texto. Esta simplicidad significa que ya no se requieren conocimientos especializados de IA para falsificar el discurso de una persona de manera convincente.
Los peligros asociados a los deepfakes políticos
Un excelente ejemplo de esta accesibilidad a la tecnología de IA surgió recientemente en la política británica. El clip de audio que se publicó en Twitter supuestamente capturaba al líder de la oposición, Sir Keir Starmer, insultando y reprendiendo a un miembro del personal. Sin embargo, la evidencia pronto indicó que la grabación era un deepfake generado por IA y producido sin el conocimiento o consentimiento de Starmer. El clip exhibía sutiles colas técnicas de fabricación. Los patrones del habla sonaban un poco antinaturales, con pausas y énfasis extraños.
Además, la cuenta de Twitter que publicó el clip también tenía un historial de difusión de afirmaciones sin fundamento sobre Keir Starmer. A pesar de estos antecedentes, el deepfake incriminatorio aún ganó terreno. Millones de escuchas probablemente dejaron a muchos espectadores con una nueva impresión negativa de Starmer.
Análisis deepfake del clip realizado por Reemble Detect
En consecuencia, el acceso público al clip de audio deepfake nos brindó la oportunidad de analizar el clip con nuestro detector de deepfake, Resemble Detect. A continuación se muestra una demostración en vivo del audio de Keir Starmer analizado por Detect.
El modelo de detección de deepfake de Resemble Detect en funcionamiento analiza el audio de Keir Starmer.
En cuestión de segundos, el detector de voz de IA en tiempo real dio una predicción rotundo positiva del 100 % por parte del detector de deepfake. A continuación se representa el análisis de la red neuronal profunda del archivo de audio deepfake de Starmer. El modelo de IA analiza los datos de audio en incrementos de 2 segundos representados en el eje x. El eje y determina su probabilidad con la línea roja en negrita en 1,00 o 100%.
Resemble AI adopta una postura a favor del proceso democrático
Mientras el espectro político se prepara para más contenido deepfake, este evento resume la tormenta perfecta que los deepfake políticos pueden crear. La ambigüedad sobre el origen del contenido, junto con su naturaleza incendiaria, se convierte en un polvorín de desinformación. Si se implementa estratégicamente antes de una elección, esto podría influir injustamente en el resultado. Incluso si se refuta más adelante, el daño no se puede reparar, lo que socava los principios democráticos. Sin embargo, en Resemble nuestro equipo de ML continúa priorizando la investigación de técnicas efectivas de detección de deepfakes para mantenerse a la vanguardia de la tecnología de audio deepfake.