Problema 2347

Era 2018 y el mundo tal como lo conocíamos, o mejor dicho, cómo lo conocíamos, se tambaleaba al borde del precipicio. Contra un zumbido creciente de desinformación, The New York Times, la [BBC](https:// www.youtube.com/watch?v=AmUC4m6w1wo&t=59s ), Good Morning America, y casi todos los demás hicieron sonar la alarma sobre una nueva variedad de videos falsos pero muy realistas. Usando inteligencia artificial, los malos actores podrían manipular la voz y el rostro de alguien en imágenes grabadas casi como un títere virtual y hacer pasar el producto como real. En un famoso ejemplo diseñado por BuzzFeed, Barack Obama parecía decir, "El presidente Trump es un idiota total y completo". Fotos, audio y videos sintéticos, denominados colectivamente "deepfakes", amenazaron con desestabilizar a la sociedad y empujarnos a una "[infocalypse]" (https://bookshop.org/p/books/deepfakes-the-coming-infocalypse) en toda regla -nina-schick/14596050?ean=9781538754306 ).” Más de cuatro años después, a pesar de un goteo creciente de videos sintéticos, el fin del mundo falso no se ha materializado del todo. Los daños de Deepfakes ciertamente se han visto en el ámbito de la pornografía, donde las personas han tenido su imagen [utilizada sin su consentimiento] (https://www.vice.com/en/article/594qx5/there-is-no-tech- solución a las falsificaciones), pero no ha habido "nada parecido a lo que la gente realmente temía, que es la falsificación hiperrealista e incriminatoria de un candidato presidencial que dice algo que cambia los principales centros de votación", dice Henry Ajder, un experto en medios sintéticos y AI. En comparación con los escenarios de desastre de 2018, que predijeron resultados como el líder norcoreano Kim Jong-un declarando la guerra nuclear, "el estado en el que nos encontramos no se acerca a eso", dice Sam Gregory, que estudia las falsificaciones profundas y dirige la organización sin fines de lucro de derechos humanos Witness. Pero esas predicciones aterradoras pueden haber sido tempranas. El campo de la inteligencia artificial ha avanzado rápidamente desde el pánico de las falsificaciones profundas de 2018, y los medios sintéticos vuelven a ser el centro de atención. La palabra de moda tecnológica de 2022 es [IA generativa](https://www.theatlantic.com/newsletters/archive/2022/12/why-the-rise-of-ai-is-the-most-important-story-of -the-year/672308/): modelos que parecen mostrar una creatividad humana, convirtiendo indicaciones de texto en imágenes asombrosas o dominando el inglés al nivel de un [estudiante universitario mediocre] (https://www.theatlantic.com/technology/archive/ 2022/12/chatgpt-ai-writing-college-student-essays/672371/). Estos y otros avances tienen a los expertos preocupados de que un apocalipsis deepfake todavía esté en el horizonte. El video y el audio falsos podrían volver a estar a punto de corromper las formas más básicas en que las personas procesan la realidad, o lo que queda de ella. Hasta ahora, los deepfakes se han visto limitados por dos factores integrados en su nombre: deep learning y fake news. La tecnología es lo suficientemente compleja, y las formas más simples de desinformación se difunden con tanta facilidad, que los medios sintéticos no han tenido un uso generalizado. El aprendizaje profundo es un enfoque de la IA que simula el cerebro a través de un algoritmo formado por muchas capas (por lo tanto, "profundas") de neuronas artificiales. Muchos de los deepfakes que generaron miedo en 2018 fueron productos de “redes antagónicas generativas”, que consisten en dos algoritmos de aprendizaje profundo: un generador y un discriminador. Entrenado con enormes cantidades de datos, tal vez decenas de miles de rostros humanos, el generador sintetiza una imagen y el discriminador intenta saber si es real o falsa. Según los comentarios del discriminador, el generador se "enseña" a sí mismo a producir rostros más realistas y los dos continúan mejorando en un ciclo de confrontación. Desarrolladas por primera vez en 2014, las GAN pronto podrían producir imágenes, audio y videos asombrosamente realistas. Sin embargo, para las [elecciones] de 2018 y 2020 (https://www.wired.com/story/what-happened-deepfake-threat-election/), e incluso para las elecciones intermedias más recientes, la tecnología deepfake aún no era realista ni accesible. lo suficiente como para ser armado para la desinformación política. Fabricar un video sintético decente no es un proceso de "conectar y usar" como ordenar Lensa para generar selfies artísticos o jugando con Photoshop, explica Hany Farid, profesor de informática en UC Berkeley. Más bien, requiere al menos algún conocimiento de aprendizaje automático. Las imágenes generadas por GAN también tienen indicaciones consistentes, como distorsión alrededor de mechones de cabello o aretes, pupilas deformadas y fondos extraños. Un producto de alta calidad que "engañará a mucha más gente durante más tiempo... requiere un procesamiento manual", dice Siewi Lyu, un experto en falsificaciones profundas de la Universidad de Buffalo. “El operador humano tiene que involucrarse en todos los aspectos”, me dijo: seleccionar datos, ajustar el modelo, limpiar los errores de la computadora a mano. Esas barreras significan que el aprendizaje profundo ciertamente no es la forma más rentable de difundir noticias falsas. Tucker Carlson y Marjorie Taylor Greene pueden salir al aire y mentir con gran efecto; El estado de Nueva York eligió recientemente a un representante republicano cuya biografía de libro de cuentos puede ser [en gran parte ficción] (https://www.nytimes.com/2022/12/19/nyregion/george-santos-ny-republicans.html); El texto esporádico y críptico fue suficiente para que las conspiraciones de QAnon consuman el nación; Las publicaciones de Facebook fueron más que suficientes para [las granjas de trolls rusos] (https://www.theatlantic.com/international/archive/2018/02/russia-troll-farm/553616/). En términos de medios visuales, la ralentización de metraje de Nancy Pelosi o [etiquetado incorrecto](https ://www.nytimes.com/2022/03/03/opinion/ukraine-livestream-videos.html) Los viejos videos de guerra que se filmaron en Ucrania ya generan mucha confusión. “Es mucho más efectivo usar una forma más cruda de manipulación de los medios, que puede ser hecha rápidamente y por actores menos sofisticados”, me dijo Ajder, “que lanzar un deepfake costoso y difícil de crear, que en realidad no va a funcionar”. para ser tan buena calidad como habías esperado. Incluso si alguien tiene las habilidades y los recursos para fabricar un video persuasivo, los objetivos con el mayor potencial para sembrar discordia, como los líderes mundiales y los activistas de alto perfil, también tienen las mejores defensas. Los ingenieros de software, los gobiernos y los periodistas trabajan para verificar las imágenes de esas personas, dice Renée DiResta, experta en desinformación y directora de investigación del Observatorio de Internet de Stanford. Eso ha resultado cierto para [videos fabricados] (https://www.bbc.com/news/technology-60780142) del presidente ucraniano Volodymyr Zelensky y el presidente ruso Vladimir Putin durante la invasión en curso; en un video, Zelensky pareció rendirse, pero su cabeza de gran tamaño y su acento peculiar rápidamente hicieron que el clip [se eliminara] (https://www.npr.org/2022/03/16/1087062648/deepfake-video-zelenskyy-experts- manipulación de guerra-ucrania-rusia) de Facebook y YouTube. “¿Es necesario hacer el trabajo de crear un video deepfake plausible y convincente, o hay mecanismos más fáciles y menos detectables a su disposición?” DiResta posó para mí. La pandemia es otro foco de desinformación que ilustra estas limitaciones: un estudio de 2020 sobre desinformación sobre el COVID-19 encontró algunas pruebas de fotos y videos alterados con técnicas simples, como una imagen editada para mostrar un tren que transporta tanques llenos de virus etiquetados como COVID-19, pero sin manipulaciones basadas en IA. Eso no es para disminuir las preocupaciones sobre los medios sintéticos y la desinformación. De hecho, es probable que la ansiedad generalizada haya frenado el aumento de las falsificaciones profundas. “Antes de que se diera la alarma sobre estos temas, las empresas de redes sociales no tenían políticas para abordar esto”, dice Aviv Ovadya, un experto en plataformas de Internet e inteligencia artificial que es una voz destacada sobre los peligros de los medios sintéticos. “Ahora tiene políticas y una variedad de acciones que toman para limitar el impacto de los deepfakes maliciosos”: moderación de contenido, métodos de detección humana y de software, un público cauteloso. Pero la toma de conciencia también ha creado un entorno en el que los políticos pueden descartar de forma más creíble la evidencia legítima como falsificada. [Donald Trump](https://www.washingtonpost.com/news/the-fix/wp/2017/11/27/trump-is-reportedly-saying-the-access-hollywood-tape-was-fake-news -él-debería-hablar-con-2016-trump/) habría afirmado que la infame cinta Access Hollywood era falsa; un candidato republicano una vez promovió una teoría de la conspiración que el video de la policía asesinando a George Floyd era un deepfake. Los profesores de derecho Danielle Citron y Robert Chesney llaman a esto el “dividendo del mentiroso”: La conciencia de los medios sintéticos genera escepticismo de todos los medios, que beneficia a los mentirosos que pueden ignorar las acusaciones o menospreciar a los oponentes con gritos de "noticias falsas". Esas mentiras luego se convierten en parte del ruido a veces ensordecedor de los medios descontextualizados, la desinformación científica y política, y las negaciones de figuras poderosas, así como un [desmoronamiento más amplio de la confianza en más o menos todo] (https://www.theatlantic.com) /ideas/archive/2020/10/colapsing-levels-trust-are-devastating-america/616581/). Todo esto podría cambiar en los próximos años a medida que los medios generados por IA se vuelvan [más avanzados] (https://www.fbi.gov/news/testimony/oversight-of-the-fbi-cyber-division-032922). Todos los expertos con los que hablé dijeron que es una cuestión de cuándo, no si, alcanzamos un punto de inflexión deepfake, después del cual los videos y audios falsificados que difunden información falsa inundarán Internet. La línea de tiempo es "años, no décadas", me dijo Farid. Según Ovadya, "probablemente pasen menos de cinco años" hasta que podamos escribir un aviso en un programa y, al darle retroalimentación a la computadora (hacer que el cabello se mueva de esta manera, agregar algo de audio, modificar el fondo) crear "contenido profundamente convincente". ” Lyu también pone cinco años como límite superior para la aparición de software ampliamente accesible para crear falsificaciones profundas altamente creíbles. Deepfakes de celebridades ya están apareciendo en anuncios; se [utilizan] cada vez más videos y audios sintéticos (https://www.vice.com/en/article/v7vj9a/sam-bankman-fried-deepfake-offers-refund-to-victims-in-verified-twitter -cuenta-estafa) por [fraude] financiero (https://www.forbes.com/sites/thomasbrewster/2021/10/14/huge-bank-fraud-uses-deep-fake-voice-tech-to-steal -millones/?sh=383e31975591); Se han utilizado campañas de propaganda deepfake para [atacar](https://www.reuters.com/article/us-cyber-deepfake-activist/deepfake-used-to-attack-activist-couple-shows-new-disinformation-frontier -idUSKCN24G15E) Activistas por los derechos de los palestinos. Este verano, un deepfake del alcalde de Kyiv [engañado] brevemente (https://www.theguardian.com/world/2022/jun/25/european-leaders-deepfake-video-calls-mayor-of-kyiv-vitali -klitschko) los alcaldes de varias capitales europeas durante una videollamada. Leer: En la era de las falsificaciones profundas, el contraterrorismo es más difícil Y varias formas de falsificación profunda- La tecnología lite existe en todo Internet, incluidas TikTok y Snapchat [características] (https://www.forbes.com/sites/mnunez/2020/01/08/snapchat-and-tiktok-embrace-deepfake-video-technology- even-as-facebook-shuns-it/?sh=fbbb2fa42c05 ) que realizan intercambios de rostros, reemplazando el rostro de una persona con el de otra en un video, similar al infame BuzzFeed de 2018 que superpuso el rostro de Obama al del cineasta Jordan Peele. También hay programas fáciles de usar como Reface y DeepFaceLab cuyo propósito explícito es producir deepfakes de calidad decente. La pornografía de venganza no ha disminuido. Y algunos temen que TikTok, que está diseñado para crear videos virales y que es una [fuente de noticias] creciente (https://www.pewresearch.org/fact-tank/2022/10/21/more-americans-are -getting-news-on-tiktok-bucking-the-trend-on-other-social-media-sites/) para adolescentes y adultos estadounidenses—es [especialmente susceptible](https://www.nytimes.com/2022/ 11/04/technology/tiktok-deepfakes-disinformation.html) a videos manipulados. Una de las mayores preocupaciones es una nueva generación de un potente software de texto a imagen que reduce en gran medida la barrera para fabricar videos y otros medios. Los modelos de IA generativa del tipo que alimentan DALL-E utilizan una arquitectura de "difusión" , en lugar de GAN, para crear imágenes complejas con una fracción del esfuerzo. Alimentado con cientos de millones de imágenes con subtítulos, un modelo basado en difusión entrena cambiando píxeles aleatorios hasta que la imagen parece estática y luego revierte esa corrupción, en el proceso "aprendiendo" a asociar palabras y conceptos visuales. Cuando las GAN deben entrenarse para un tipo específico de imagen (digamos, una cara de perfil), los modelos de texto a imagen pueden generar una amplia gama de imágenes con interacciones complejas (dos líderes políticos conversando, por ejemplo). “Ahora puede generar rostros que son mucho más dinámicos, realistas y personalizables”, dijo Ajder. Y muchos métodos de detección orientados a deepfakes existentes no funcionarán en modelos de difusión. Las posibilidades de la propaganda deepfake son tan distópicas ahora como lo eran hace unos años. En la escala más grande, uno puede imaginar videos falsos de horribles interrupciones de embarazo, como las imágenes de aborto salino que ya utilizan los activistas contra el aborto; discursos políticos convincentes y manipulados para alimentar teorías conspirativas globales; falsificaciones despectivas utilizadas contra naciones enemigas durante la guerra, o incluso medios sintéticos que desencadenan conflictos. Los países con menos recursos informáticos y talento o una prensa menos robusta tendrán aún más dificultades, me dijo Gregory: “Todos estos problemas son mucho peores cuando miras a Pakistán, Myanmar, Nigeria, un medio local de noticias en los EE. UU., en lugar de, digamos, The Washington Post”. Y a medida que la tecnología deepfake mejora para trabajar con menos datos de capacitación, las fabricaciones de periodistas, ejecutivos, funcionarios gubernamentales y otros de bajo perfil podrían causar estragos de tal manera que las personas piensen que “no hay evidencia nueva ingresando; no hay una nueva forma de razonar sobre el mundo”, dijo Farid. Sin embargo, cuando el engaño y la propaganda se sienten como el aire que respiramos, las falsificaciones profundas son a la vez potencialmente revolucionarias y solo más de lo mismo. En octubre, Gallup informó que solo el 34 % de los estadounidenses confía en los periódicos, la televisión y radio para informar noticias de manera justa y precisa, y el 38 por ciento no tiene absolutamente ninguna confianza en los medios de comunicación. A principios de este año, una encuesta del Pew Research Center en 19 países [encontró](https://www.pewresearch.org/global/2022/08/31/climate-change-remains-top-global-threat-across-19- country-survey/?utm_source=AdaptiveMailer&utm_medium=email&utm_campaign=22-08-31%20GLOBAL%20International%20Threats%20and%20Coop%20GEN%20DISTR&org=982&lvl=100&ite=10400&lea=2186992&ctr=0&par=1&trk0=a00D1j0 de personas que U7E7E=a00D1j0) piensan que “la difusión de información falsa en línea” es una gran amenaza para su país, ocupando el segundo lugar detrás del cambio climático. “Los deepfakes son realmente una evolución de los problemas existentes”, dijo Gregory. Le preocupa que centrarse demasiado en medios sintéticos sofisticados pueda distraer la atención de los esfuerzos para mitigar la propagación de "falsificaciones superficiales", como fotografías reetiquetadas y material de archivo ligeramente manipulado; DiResta está más preocupado por la desinformación basada en texto, que ha causado estragos en años, se genera fácilmente usando programas como ChatGPT y, a diferencia del video o el audio, no tiene fallas técnicas obvias. La [investigación] empírica limitada (https://journals.sagepub.com/doi/full/10.1177/2056305120903408) sobre la capacidad de persuasión del video y el audio sintéticos es [mixta] (https://www.tsjournal.org/index. php/jots/article/view/56). Aunque algunos pocos estudios sugerir que el video y el audio son un poco más convincentes que el texto, otros han encontrado [ninguna diferencia apreciable](https://osf .io/cdfh3/); algunos incluso han descubierto que las personas son mejores para detectar discursos políticos inventados cuando se les presentan videos o audios que solo con una transcripción. Aún así, Ajder advirtió que “los deepfakes que he visto que se usan en estos ensayos no están del todo allí; todavía están en la cúspide de la extrañeza”, y que es difícil replicar las condiciones de las redes sociales, como la amplificación y las cámaras de eco, en un laboratorio. Por supuesto, esas son las mismas condiciones que han permitido una corrosión epistémica que continuará avanzando con o sin medios sintéticos. Independientemente de cómo la proliferación de falsificaciones profundas pueda empeorar nuestro ecosistema de información, ya sea aumentando la incertidumbre existente o cambiándola fundamentalmente, los expertos, los periodistas y las empresas de Internet están tratando de prepararse para ello. La Unión Europea y China han aprobado regulaciones destinadas a atacar los deepfakes al exigir que las empresas de tecnología tomen medidas contra ellos. Las empresas podrían implementar barandillas para evitar que su tecnología sea mal utilizada; Adobe ha ido tan lejos como para nunca lanzar públicamente su software de audio falso, Voco. Todavía hay tiempo para prevenir o limitar los escenarios de deepfake más catastróficos. Muchas personas favorecen la construcción de una infraestructura de autenticación sólida: un registro adjunto a cada elemento multimedia que el público puede usar para verificar de dónde proviene una foto o un video y cómo se ha editado. Esto protegería contra la propaganda falsa y profunda, así como el dividendo del mentiroso. La Coalición para la Procedencia y Autenticidad del Contenido, dirigida por Adobe, Microsoft, Intel, la BBC y varias otras partes interesadas, ha diseñado un [estándar] (https://c2pa.org/) de este tipo, aunque hasta que ese protocolo logre una adopción generalizada, es más útil para los actores honestos que buscan probar su integridad. Una vez que un deepfake está en circulación, la detección es solo el primero de muchos obstáculos para su desacreditación. Las computadoras son mucho mejores que los humanos para distinguir videos reales y falsos, me dijo Lyu, pero no siempre son precisos. La moderación de contenido automatizado es [infamemente difícil] (https://www.theatlantic.com/technology/archive/2022/11/tiktok-instagram-video-feeds-ai-algorithm/672002/), especialmente para video, e incluso un la tasa de éxito optimista del 90 por ciento aún podría dejar decenas o cientos de miles de los clips más perniciosos en línea. Ese software debe estar ampliamente disponible para los periodistas, quienes también deben estar capacitados para interpretar los resultados, dijo Gregory. Pero incluso con un algoritmo de detección de alta calidad que sea accesible y utilizable, convencer al público de que confíe en el algoritmo, los expertos y los periodistas que expongan medios fabricados podría resultar casi imposible. En un mundo saturado de propaganda e incertidumbre que hace mucho tiempo nos empujó Al borde de lo que Ovadya llama "apatía por la realidad", cualquier solución primero deberá restaurar la voluntad de las personas para salir.