Incidentes Asociados
Las noticias recientes sobre el uso de avatares generados por computadora por una [campaña de influencia a favor de China] (https://www.nytimes.com/2023/02/07/technology/artificial-intelligence-training-deepfake.html) una vez nuevamente apuntó el foco de atención al uso de deepfakes. La campaña de influencia fue observada por primera vez por la compañía de inteligencia Graphika a fines de 2022. Videos de [avatares de IA realistas] (https://public-assets.graphika.com/reports/graphika-report-deepfake-it-till-you-make -it.pdf) que retrata a los presentadores de noticias en el medio ficticio Wolf News, promovió los intereses del [Partido Comunista Chino] (https://www.nytimes.com/2023/02/07/technology/artificial-intelligence-training- deepfake.html). Los videos comentaron sobre temas como la violencia armada en los Estados Unidos y la importancia de China-EE.UU. cooperación para la recuperación de la economía global del COVID-19.
Investigaciones previas realizadas por Graphika y otros investigadores encontraron el uso de rostros falsos generados por IA y videos editados fuera de contexto destinados a engañar mediante la fabricación de un individuo. palabras o acciones. Lo que distinguió esto de otras imágenes o medios anteriores generados por IA fue la participación de una campaña de información alineada con el estado para generar personas falsas utilizando tecnologías deepfake.
Este caso trae preocupaciones sobre las falsificaciones profundas al frente de las discusiones públicas y plantea preguntas serias: ¿Cuál es el impacto de las falsificaciones profundas y la desinformación, y cuál es la importancia de profundizar la comercialización de la tecnología de las falsificaciones profundas?
Los deepfakes se generan utilizando una forma específica de inteligencia artificial conocida como aprendizaje profundo. Los algoritmos de aprendizaje profundo pueden intercambiar caras de la semejanza en un video o una imagen con otros. La creación de deepfakes saltó a la fama pública a través de fotos de celebridades que intercambian rostros en línea, con videos deepfake de Tom Cruise en TikTok en 2021 que cautivaron al público a través de la personalidad hiperrealista del actor.
Deepfakes ahora son omnipresentes en las redes sociales, con funciones y aplicaciones de inteligencia artificial que permiten a los usuarios generar avatares de sí mismos o crear una personalidad completamente nueva. La adición de Generative Adversarial Networks (GAN) a la mezcla permite la creación de caras únicas novedosas que no se encuentran en los datos de aprendizaje del algoritmo y que no se basan en personas existentes. La popularidad de tales tecnologías ha llevado a un auge en el desarrollo de aplicaciones y funciones que ofrecen avatares de IA. Los avances en la tecnología de inteligencia artificial han hecho que sea más difícil distinguir entre imágenes reales y falsas, lo que difumina aún más la línea gris entre la realidad y la ficción.
Esta prevalencia ha generado preocupaciones sobre la erosión de la privacidad y el potencial de abuso y explotación. La tecnología de IA generativa se ha utilizado para la creación de pornografía ultrafalsa, que representó un enorme 96 % de todos los videos falsos profundos en línea en 2019 Las personas comunes también han sido objeto de campañas de pornografía falsa. También han aumentado los servicios que ofrecen transformar imágenes de mujeres en fotos de desnudos. Uno de esos casos involucró a la aplicación de IA generativa Lensa, que fue [criticada](https://www.washingtonpost.com/ technology/2023/02/13/ai-porn-deepfakes-women-consent/) por permitir que su sistema cree imágenes totalmente desnudas a partir de fotos de perfil de los usuarios. Cualquier mujer puede ser víctima de este [desnudo sintético] (https://www.cnet.com/news/deepfake-bot-ontelegram-) y compartir sus imágenes "desnudas" en múltiples plataformas en línea.
El uso de la tecnología deepfake en operaciones de influencia y campañas de desinformación no es nuevo. Se han identificado múltiples instancias de comportamiento inauténtico coordinado que involucran el uso de deepfakes. En 2019, Facebook eliminó una red no auténtica coordinada de 900 páginas, con las cuentas administradas principalmente desde Vietnam. La red estaba vinculada a Epoch Media Group, una agrupación de medios de extrema derecha con sede en EE. UU. conocida por participar en [tácticas de desinformación] (https://www.technologyreview.com/2021/03/31/1021487/deepfake-amazon- trabajadores-están-sembrando-confusión-en-twitter-ese-no-es-el-problema/). La mayoría de las cuentas identificadas utilizaron fotos de perfil falsas generadas por IA para crear cuentas no auténticas en Facebook, haciéndose pasar como estadounidenses en grupos de Facebook. Se utilizaron fotos de perfil falsas de periodistas y consultores, generadas por tecnología de IA. Estos deepfakes hiperrealistas se combinaron con [identidades de periodistas falsas] (http://www.thedailybeast.com/right-wing-media-outlets-duped-by-a-middle-east-propaganda-campaign) para escribir artículos para conservadores. publicaciones en línea.
Los impactos potenciales de las falsificaciones profundas han hecho sonar las alarmas. La Oficina Federal de Investigaciones (FBI) advirtió en su [informe de evaluación de amenazas de marzo de 2021] (https://www.ic3.gov/Media/News/2021/210310-2.pdf) que el uso de contenido sintético para ciber y las operaciones de influencia extranjera podrían ser aprovechadas por actores malintencionados. El informe de evaluación indicó además que las operaciones de influencia que utilizan imágenes de perfil sintéticas generadas por IA eran una preocupación específica, lo que podría permitir a los operadores enmascarar sus identidades detrás de personas generadas por deepfakes para difundir desinformación en línea.
Deepfakes en Asia ya se han utilizado con fines políticos. Un ejemplo notable de un deepfake para una campaña política fue durante las elecciones de la Asamblea Legislativa de 2020 en India. [Videos manipulados] (http://www.vice.com/en/article/jgedjb/the-first-use-of-deepfakes-in-indian-election-by-bjp) del presidente del Partido Bharatiya Janata (BJP), Manoj Los tiwari se distribuyeron en 5700 grupos de WhatsApp en Delhi y las áreas circundantes, llegando a alrededor de 15 millones de personas en India. Los rostros generados por IA se han utilizado en campañas de influencia coordinadas que supuestamente se originaron en Asia. Un caso involucró el despliegue de un grupo de 14 cuentas de Twitter no auténticas que utilizaban caras generadas por IA como imágenes de perfil que promocionaban las capacidades 5G chinas en [Bélgica] (https://public-assets.graphika.com/reports/graphika_). El uso de rostros generados por IA elimina la necesidad de usar imágenes de perfil robadas para disfrazar cuentas falsas, evitando el riesgo de detección por las técnicas de investigación tradicionales.
En el pasado, las campañas de influencia a favor de China tuvieron éxito limitado. En el ejemplo de Wolf News, los avatares generados por IA eran de baja calidad, con la narración proporcionada por los presentadores de manera entrecortada. Los guiones en inglés también estaban llenos de errores gramaticales. El alcance de la campaña también fue mínimo, ya que utilizó cuentas personales falsas para ampliar su alcance en línea. Aunque el impacto de la campaña fue limitado, tales campañas plantean el problema de la creciente comercialización de servicios falsos.
El auge de los deepfakes ha visto un aumento en la cantidad de empresas que generan deepfakes avanzados de nivel de calidad. Los servicios de dichas empresas se utilizan predominantemente con fines de entretenimiento y formación, por ejemplo, la creación de vídeos de clientes y recursos humanos. Pero el auge de los servicios comerciales para generar videos deepfake proporciona recursos fácilmente disponibles para los actores de operaciones de influencia, ya sean estatales o no respaldados por el estado. Esto genera preocupaciones sobre la moderación de los servicios de tecnología deepfake.
La aplicación comercial de medios sintéticos seguirá siendo una tendencia creciente debido a la popularidad de dichas aplicaciones en las redes sociales e Internet. La generación de falsificaciones profundas de alta calidad hechas para desinformar o con fines políticos podría ocurrir con más frecuencia en el futuro. Estos deepfakes comercializados podrían convertirse en herramientas clave en la caja de herramientas de desinformación para los propagandistas de todo el mundo, ya que los países con capacidades avanzadas de inteligencia artificial y acceso a grandes cantidades de datos pueden obtener ventajas en la guerra de la información.
También podría haber un aumento en las empresas que se especializan en la generación de deepfakes por contrato, lo que podría proporcionar a los clientes (con respaldo estatal o no) que deseen montar campañas de desinformación con un conjunto completo de herramientas. Deepfakes podría incorporarse a campañas de propaganda para mejorar la efectividad. Esto podría resultar potencialmente en una industria artesanal de generación de deepfake como servicio.
La fusión de GPT, un modelo de lenguaje de red neuronal de aprendizaje profundo entrenado en grandes cantidades de texto, con deepfakes aumenta aún más preocupaciones a medida que los avances tecnológicos van más allá de la regulación. Al combinar múltiples técnicas, tales herramientas pueden amplificar el trabajo de los actores maliciosos para producir artefactos mediáticos aún más convincentes para intenciones hostiles, desestabilizando aún más la confianza y la credibilidad de la sociedad.
Cuando se le preguntó sobre los videos pro-China creados por los servicios que ofrece su empresa, el [CEO de Synthesia](https://www.nytimes.com/2023/02/07/technology/artificial-intelligence-training-deepfake. html) enfatizó la necesidad de que los reguladores establezcan [reglas] más definitivas (https://www.synthesia.io/post/on-regulation) sobre cómo se podrían usar las herramientas de IA. El aumento de la comercialización de aplicaciones y servicios de medios sintéticos y la falta de claridad de los reguladores sobre el uso de herramientas de inteligencia artificial permiten que la desinformación prolifere en línea. Los reguladores han intentado establecer parámetros y reglas bajo los cuales se deben regular las falsificaciones profundas. La Ley de Inteligencia Artificial de la UE, denominada como la primera ley de IA del mundo, que probablemente se aprobará en 2023, requiere que los creadores divulguen contenido falso.
En Asia, China prohíbe el uso de deepfakes, que se consideran perjudiciales para la seguridad nacional y la sociedad. Nuevas regulaciones chinas requieren que los deepfakes estén claramente etiquetados como generados o editados sintéticamente, y la identidad de las personas en el deepfake debe ser conocida por la empresa. También se están realizando intentos similares de regulación en lugares de los Estados Unidos, el Reino Unido, Corea del Sur y Taiwán.
Un fuerte enfoque en la educación pública también podría ayudar. La gente tiende a [sobreestimar](http://www.vice.com/en/article/pkdj8g/think-you-can-tellthe-difference- between-human-and-ai-take-this-test?mc_cid=10cbf789d9&mc_eid =3041e908df) su capacidad para distinguir entre contenido visual auténtico y no auténtico y, por lo general, son débiles para protegerse contra el engaño visual. Las iniciativas existentes de alfabetización mediática y verificación de hechos pueden seguir desempeñando un papel en la sensibilización del público contra las falsificaciones superficiales y profundas, al tiempo que aumentan la importancia de la alfabetización visual.
El público debe recibir capacitación no solo en habilidades de alfabetización mediática, sino también en un conjunto integral de habilidades de alfabetización informacional, que incluye y enfatiza la alfabetización visual. Eso puede crear y mejorar la conciencia pública y la comprensión de las falsificaciones profundas. La participación pública puede ayudar a inocular a las personas sobre los daños potenciales de los avances emergentes de la tecnología de inteligencia artificial profunda.