Incidentes Asociados
NUEVA YORK – En un video de un informe de noticias del 25 de enero, el presidente Joe Biden habla sobre tanques. Pero una versión manipulada del video ha acumulado cientos de miles de visitas esta semana en las redes sociales, lo que hace que parezca que pronunció un discurso que ataca a las personas transgénero.
Los expertos en análisis forense digital dicen que el video se creó utilizando una nueva generación de herramientas de inteligencia artificial, que permiten a cualquiera generar rápidamente audio simulando la voz de una persona con unos pocos clics de un botón. Y aunque el clip de Biden en las redes sociales puede no haber logrado engañar a la mayoría de los usuarios esta vez, el clip muestra lo fácil que ahora es para las personas generar videos "deepfake" llenos de odio y desinformación que podrían causar daños en el mundo real.
“Herramientas como esta básicamente agregarán más combustible al fuego”, dijo Hafiz Malik, profesor de ingeniería eléctrica e informática en la Universidad de Michigan que se enfoca en análisis forense multimedia. "El monstruo ya anda suelto".
Llegó el mes pasado con la fase beta de la plataforma de síntesis de voz de ElevenLabs, que permitía a los usuarios generar audio realista de la voz de cualquier persona subiendo unos minutos de muestras de audio y escribiendo cualquier texto para que lo dijera.
La startup dice que la tecnología fue desarrollada para doblar audio en diferentes idiomas para películas, audiolibros y juegos para preservar la voz y las emociones del hablante.
Los usuarios de las redes sociales rápidamente comenzaron a compartir una muestra de audio generada por IA de Hillary Clinton leyendo el mismo texto transfóbico que aparece en el clip de Biden, junto con clips de audio falsos de Bill Gates supuestamente diciendo que la vacuna COVID-19 causa el SIDA y la actriz Emma Watson supuestamente leyendo El manifiesto de Hitler “Mein Kampf”.
Poco después, ElevenLabs tuiteó que estaba viendo “un número creciente de casos de uso indebido de clonación de voz” y anunció que ahora estaba explorando medidas de seguridad para reprimir el abuso. Uno de los primeros pasos fue hacer que la función estuviera disponible solo para aquellos que brindan información de pago. Inicialmente, los usuarios anónimos podían acceder a la herramienta de clonación de voz de forma gratuita. La compañía también afirma que si hay problemas, puede rastrear cualquier audio generado hasta el creador.
Pero incluso la capacidad de rastrear a los creadores no mitigará el daño de la herramienta, dijo Hany Farid, profesor de la Universidad de California, Berkeley, que se enfoca en análisis forense digital y desinformación.
“El daño está hecho”, dijo.
Como ejemplo, Farid dijo que los malos actores podrían mover el mercado de valores con un audio falso de un alto director general diciendo que las ganancias han bajado. Y ya hay un clip en YouTube que usó la herramienta para alterar un video para que pareciera que Biden dijo que Estados Unidos estaba lanzando un ataque nuclear contra Rusia.
El software gratuito y de código abierto con las mismas capacidades también ha surgido en línea, lo que significa que los muros de pago en las herramientas comerciales no son un impedimento. Usando un modelo gratuito en línea, AP generó muestras de audio para sonar como los actores Daniel Craig y Jennifer Lawrence en solo unos minutos.
“La pregunta es dónde señalar con el dedo y cómo volver a poner al genio en la botella”. Dijo Malik. “No podemos hacerlo”.
Cuando los deepfakes aparecieron por primera vez en los titulares hace unos cinco años, eran bastante fáciles de detectar ya que el sujeto no parpadeaba y el audio sonaba robótico. Ese ya no es el caso a medida que las herramientas se vuelven más sofisticadas.
El video alterado de Biden haciendo comentarios despectivos sobre las personas transgénero, por ejemplo, combinó el audio generado por IA con un clip real del presidente, tomado de una transmisión en vivo de CNN del 25 de enero que anunciaba el envío de tanques estadounidenses a Ucrania. La boca de Biden fue manipulada en el video para que coincida con el audio. Si bien la mayoría de los usuarios de Twitter reconocieron que el contenido no era algo que Biden probablemente diría, sin embargo, se sorprendieron por lo realista que parecía. Otros parecían creer que era real, o al menos no sabían qué creer.
Los estudios de Hollywood han sido capaces durante mucho tiempo de distorsionar la realidad, pero el acceso a esa tecnología se ha democratizado sin considerar las implicaciones, dijo Farid.
“Es una combinación de la muy, muy poderosa tecnología basada en IA, la facilidad de uso y luego el hecho de que el modelo parece ser: pongámoslo en Internet y veamos qué sucede después”, dijo Farid.
El audio es solo un área donde la información errónea generada por IA representa una amenaza.
Los generadores de imágenes de IA en línea gratuitos como Midjourney y DALL-E pueden producir imágenes fotorrealistas de guerras y desastres naturales al estilo de los medios de comunicación heredados con un simple mensaje de texto. El mes pasado, algunos distritos escolares en los EE. UU. comenzaron a bloquear ChatGPT, que puede producir texto legible, como los trabajos finales de los estudiantes, a pedido.
ElevenLabs no respondió a una solicitud de comentarios.