Incidentes Asociados
En un video, un presentador de noticias con el cabello oscuro perfectamente peinado y una barba sin afeitar describió lo que vio como una vergonzosa falta de acción de los Estados Unidos contra la violencia armada.
En otro video, una presentadora de noticias anunció el papel de China en las relaciones geopolíticas en una cumbre internacional.
Pero algo estaba mal. Sus voces eran forzadas y no sincronizaban con el movimiento de sus bocas. Sus rostros tenían una calidad de videojuego pixelada y su cabello parecía pegado de forma antinatural a la cabeza. Los subtítulos estaban llenos de errores gramaticales.
Los dos locutores, supuestamente presentadores de un medio de comunicación llamado Wolf News, no son personas reales. Son avatares generados por computadora creados por un software de inteligencia artificial. Y a fines del año pasado, las cuentas de bots pro-China distribuyeron videos de ellos en [Facebook y Twitter] (https://www.nytimes.com/2019/11/24/technology/tech-companies-deepfakes.html), en el primer caso conocido de [tecnología de video "deepfake"] (https://www.nytimes.com/2018/03/04/technology/fake-videos-deepfakes.html) que se usa para crear personas ficticias como parte de un campaña de información alineada con el estado.
“Esta es la primera vez que vemos esto en la naturaleza”, dijo Jack Stubbs, vicepresidente de inteligencia de Graphika, una firma de investigación que estudia la desinformación. Graphika descubrió la campaña a favor de China, que parecía tener la intención de promover los intereses del Partido Comunista Chino y socavar a los Estados Unidos para los espectadores de habla inglesa.
Tecnología "Deepfake", que ha progresado constantemente durante casi una década, tiene la capacidad de crear marionetas digitales parlantes. la IA El software a veces se usa para distorsionar a las figuras públicas, como un video que circuló en las redes sociales el año pasado que mostraba falsamente a Volodymyr Zelensky, el presidente de Ucrania, [anunciando una rendición] (https://www.nytimes.com/2022/04/05 /us/politics/ukraine-russia-hackers.html). Pero el software también puede crear personajes de la nada, yendo más allá del software de edición tradicional y las costosas herramientas de efectos especiales utilizadas por Hollywood, borrando la línea entre la realidad y la ficción en un grado extraordinario.
Con pocas leyes para gestionar la difusión de la tecnología, los expertos en desinformación han advertido durante mucho tiempo que los videos falsos profundos podrían reducir aún más la capacidad de las personas para [discernir la realidad de las falsificaciones en línea] (https://www.nytimes.com/2021/03/10/technology /ancestor-deepfake-tom-cruise.html), potencialmente siendo mal utilizado para desencadenar disturbios o iniciar un escándalo político. Esas predicciones ahora se han hecho realidad.
Aunque el uso de deepfakes en la campaña de desinformación a favor de China descubierta recientemente fue torpe, abre un nuevo capítulo en la guerra de la información. En las últimas semanas, otro video que usa A.I. La tecnología se descubrió en línea, mostrando a personas ficticias que se describían a sí mismas como estadounidenses, promoviendo el apoyo al gobierno de Burkina Faso, que enfrenta escrutinio por vínculos con Rusia.
AI. El software, que se puede comprar fácilmente en línea, puede crear “videos en cuestión de minutos y las suscripciones comienzan desde unos pocos dólares al mes”, dijo Stubbs. “Eso hace que sea más fácil producir contenido a escala”.
Graphika vinculó a los dos presentadores falsos de Wolf News con la tecnología fabricada por Synthesia, un A.I. empresa con sede en una tienda de ropa en Oxford Circus de Londres.
La empresa emergente de cinco años crea software para crear avatares falsos. Un cliente simplemente necesita escribir un guión, que luego lee uno de los actores digitales creados con las herramientas de Synthesia.
AI. los avatares son "gemelos digitales", dijo Synthesia, que se basan en las apariencias de los actores contratados y pueden manipularse para hablar en 120 idiomas y acentos. Ofrece más de 85 personajes para elegir con diferentes géneros, edades, etnias, tonos de voz y opciones de moda.
Una IA El personaje, llamado George, parece un ejecutivo de negocios veterano con canas y viste un blazer azul y una camisa con cuello. Otra, Helia, usa un hiyab. Carlo, otro avatar, tiene un casco. Samuel usa una bata de laboratorio blanca como las que usan los médicos. (Los clientes también pueden usar Synthesia para crear sus propios avatares basados en ellos mismos o en otros que les hayan otorgado permiso).
Los clientes utilizan principalmente el software de la empresa para recursos humanos y videos de capacitación, donde una calidad de producción sin pulir es suficiente. El software, que cuesta tan solo $30 al mes, produce videos en minutos que, de lo contrario, podrían demorar varios días y requeriría la contratación de un equipo de producción de video y actores humanos.
Todo el proceso es “tan fácil como escribir un correo electrónico”, dijo Synthesia en su sitio web.
Cómo aparece típicamente un personaje
Victor Riparbelli, cofundador y director ejecutivo de Synthesia, dijo que aquellos que usaron su tecnología para crear los avatares descubiertos por Graphika habían violado sus términos de servicio. Esos términos establecen que la tecnología de la compañía no debe usarse para "contenido político, sexual, personal, criminal y discriminatorio". Riparbelli se negó a compartir información sobre las personas detrás de los videos de Wolf News, pero dijo que sus cuentas habían sido suspendidas.
El Sr. Riparbelli agregó que Synthesia tiene un equipo de cuatro personas dedicadas a evitar que su tecnología deepfake se use para crear contenido ilícito, pero dijo que la información errónea y otro material que no incluyera discursos de odio, calumnias, palabras explícitas e imágenes podría ser difícil de detectar. detectar.
“Es muy difícil determinar que se trata de información errónea”, dijo después de que le mostraran uno de los videos de Wolf News. Dijo que asumía “totalmente la responsabilidad por cualquier cosa que suceda en nuestra plataforma” y pidió a los legisladores que establecieran [reglas más claras] (https://www.synthesia.io/post/on-regulation) sobre cómo la A.I. se pueden usar herramientas.
Identificar la desinformación será cada vez más difícil, dijo Riparbelli. Eventualmente, agregó, la tecnología deepfake se volverá lo suficientemente sofisticada como para “crear una película de Hollywood en una computadora portátil sin necesidad de nada más”.
Graphika vinculó a Synthesia con la campaña de desinformación a favor de China al rastrear los dos avatares de Wolf News hasta otros videos de entrenamiento inofensivos en línea con los mismos personajes. En su sitio web, Synthesia llamó a los dos avatares "Anna" y "Jason".
Cómo apareció el mismo avatar generado por IA en campañas de marketing y desinformación
En el video de apoyo al nuevo gobierno de Burkina Faso, también apareció Anna. “Permanezcamos todos movilizados detrás del pueblo burkinés en esta lucha común”. dijo en un tono robótico monótono. “Patria o muerte, venceremos”.
Los videos deepfake han proliferado durante años. Kendrick Lamar usó la tecnología en un video musical el año pasado para transformarse en Kanye West, Will Smith y Kobe Bryant. Los sitios web de pornografía se han enfrentado a críticas por mostrar videos en los que se había utilizado la tecnología para copiar ilícitamente la imagen de actrices famosas.
En China, I.A. las empresas han estado desarrollando herramientas deepfake durante más de cinco años. En un truco publicitario de 2017 en una conferencia, la firma china iFlytek hizo un video falso del presidente de EE. UU. en ese momento, [Donald J. Trump, hablando en mandarín] (https://www.nytimes.com/2017/12/03 /negocios/china-artificial-intelligence.html). Desde entonces, IFlytek se ha agregado a una lista negra de EE. UU. que limita la venta de tecnología fabricada en Estados Unidos por razones de seguridad nacional.
Meta, el propietario de Facebook, Instagram y WhatsApp, dijo que había eliminado al menos una cuenta afiliada a los videos falsos pro-China después de que The New York Times se puso en contacto con ellos. La compañía, que declinó hacer más comentarios, no permite videos y otros medios manipulados con la intención de engañar. Twitter no respondió a las solicitudes de comentarios.
Graphika dijo que descubrió los videos falsos mientras seguía las cuentas de las redes sociales vinculadas a una campaña de desinformación a favor de China conocida como "spamouflage". En estas campañas, las cuentas de spam político plantan contenido en línea y luego usan otras cuentas que son parte de una red para amplificar el material a través de las plataformas.
Los investigadores dijeron que el uso de la tecnología deepfake fue más notable que el impacto real de los videos, que no fueron vistos por muchas personas. Los dos videos que presentan a los llamados presentadores de Wolf News fueron publicados al menos cinco veces entre el 22 y el 30 de noviembre por cinco cuentas, según Graphika. Luego, las publicaciones fueron compartidas nuevamente por al menos dos cuentas más, que parecían ser parte de una red pro-China.
Stubbs dijo que los vendedores ambulantes de desinformación seguirán experimentando con la IA. software para producir medios cada vez más convincentes que son difíciles de detectar y verificar.
“Lo que estamos viendo hoy es otra señal de lo que vendrá”, dijo.