Problema 2883

El mes pasado, durante la exitosa serie documental de ESPN The Last Dance, State Farm estrenó un comercial de televisión que se ha convertido en uno de los [más discutidos](https: //www.adweek.com/brand-marketing/state-farm-and-kenny-mayne-brilliantly-faked-us-all-out-durante-the-last-dance/) anuncios en la memoria reciente. Parecía mostrar imágenes de 1998 de un analista de ESPN haciendo predicciones sorprendentemente precisas sobre el año 2020. Resultó que el clip no era genuino: se generó utilizando inteligencia artificial de vanguardia. El comercial sorprendió, divirtió y deleitó a los espectadores. Sin embargo, lo que los espectadores deberían haber sentido era una profunda preocupación. El anuncio de State Farm fue un ejemplo benigno de un nuevo fenómeno importante y peligroso en la IA: las falsificaciones profundas. La tecnología Deepfake permite a cualquier persona con una computadora y una conexión a Internet crear fotos y videos de aspecto realista de personas que dicen y hacen cosas que en realidad no dijeron ni hicieron. Una combinación de las frases "aprendizaje profundo" y "falso", deepfakes [emergió por primera vez] (https://knowyourmeme.com/memes/cultures/deepfakes) en Internet a fines de 2017, impulsado por un nuevo e innovador método de aprendizaje profundo conocido como redes generativas antagónicas (GAN). Varios videos falsos se han vuelto virales recientemente, dando a millones de personas en todo el mundo su primera prueba de esta nueva tecnología: el presidente Obama usando un insulto a describe al presidente Trump, Mark Zuckerberg admitiendo que el verdadero objetivo de Facebook es manipular y explotar a sus usuarios, Bill Hader transformándose Al Pacino en un programa de entrevistas nocturno. La cantidad de contenido deepfake en línea está creciendo a un ritmo acelerado. A principios de 2019, había 7964 videos falsos profundos en línea, según [un informe] (https://deeptracelabs.com/mapping-the-deepfake-landscape/) de la empresa emergente Deeptrace; solo nueve meses después, esa cifra había saltado a 14.678. Sin duda, ha seguido aumentando desde entonces. Si bien es impresionante, la tecnología deepfake de hoy en día todavía no está a la altura de las secuencias de video auténticas; al mirar de cerca, generalmente es posible saber que un video es un deepfake. Pero la tecnología está mejorando a un ritmo vertiginoso. Los expertos predicen que los deepfakes serán indistinguibles de las imágenes reales en poco tiempo. “En enero de 2019, las falsificaciones profundas presentaban errores y parpadeos”, dijo Hany Farid, profesor de UC Berkeley y experto en falsificaciones profundas. “Nueve meses después, nunca había visto nada parecido a lo rápido que iban. Esta es la punta del iceberg." Hoy nos encontramos en un punto de inflexión. En los próximos meses y años, los deepfakes amenazan con pasar de ser una rareza de Internet a una fuerza política y social ampliamente destructiva. La sociedad necesita actuar ahora para prepararse. Cuando ver no es creer ---------------------------- El primer caso de uso al que se ha aplicado ampliamente la tecnología deepfake, como suele el caso con nuevas tecnologías—es la pornografía. A partir de septiembre de 2019, el 96 % de los videos deepfake en línea eran pornográficos, según el informe de Deeptrace. Han surgido un puñado de sitios web dedicados específicamente a la pornografía falsa, que en conjunto han obtenido cientos de millones de visitas en los últimos dos años. La pornografía deepfake casi siempre no es consensuada e involucra la síntesis artificial de videos explícitos que presentan celebridades famosas o contactos personales. Desde estos rincones oscuros de la web, el uso de deepfakes ha comenzado a extenderse a la esfera política, donde el potencial de caos es aún mayor. No hace falta mucha imaginación para comprender el daño que se podría causar si a poblaciones enteras se les pudieran mostrar videos inventados que creen que son reales. Imagine imágenes falsas de un político involucrado en sobornos o agresiones sexuales justo antes de una elección; o de soldados estadounidenses que cometen atrocidades contra civiles en el extranjero; o del presidente Trump declarando el lanzamiento de armas nucleares contra Corea del Norte. En un mundo donde incluso existe cierta incertidumbre sobre la autenticidad de estos clips, las consecuencias podrían ser catastróficas. Debido a la amplia accesibilidad de la tecnología, cualquier persona puede crear este tipo de imágenes: actores patrocinados por el estado, grupos políticos, personas solas. En un informe reciente, The Brookings Institution [resumido sombríamente] (https://www.brookings.edu/research/is-seeing-still-believing-the-deepfake-challenge-to-truth-in-politics/#cancel ) la gama de peligros políticos y sociales que plantean los deepfakes: “distorsión del discurso democrático; manipular elecciones; erosión de la confianza en las instituciones; debilitamiento del periodismo; exacerbando las divisiones sociales; socavar la seguridad pública; e infligir daños difíciles de reparar a la reputación de personas destacadas, incluidos funcionarios electos y candidatos a cargos públicos”. Dado lo que está en juego, los legisladores estadounidenses han comenzado a prestar atención. “En los viejos tiempos, si querías amenazar a Estados Unidos, necesitabas 10 portaaviones, armas nucleares y misiles de largo alcance”, [dijo] el senador estadounidense Marco Rubio (https://www.csoonline.com/ article/3293002/deepfake-videos-how-and-why-they-work.html) recientemente. “Hoy... todo lo que necesitas es la capacidad de producir un video falso muy realista que podría socavar nuestras elecciones, que podría llevar a nuestro país a una tremenda crisis interna y debilitarnos profundamente”. Los tecnólogos están de acuerdo. En palabras de Hani Farid, uno de los principales expertos mundiales en deepfakes: “Si podemos No creas los videos, los audios, la imagen, la información que se obtiene de todo el mundo, eso es un grave riesgo para la seguridad nacional”. Este riesgo ya no es solo hipotético: hay ejemplos tempranos de falsificaciones profundas que influyen en la política en el mundo real. Los expertos advierten que estos incidentes son canarios en una mina de carbón. El mes pasado, un grupo político en Bélgica publicó un video falso del primer ministro belga. dando un discurso que vinculó el brote de COVID-19 con el daño ambiental y pidió una acción drástica sobre el cambio climático. Al menos algunos espectadores creyeron que el discurso era real. Aún más insidiosamente, la mera posibilidad de que un video pudiera ser un deepfake puede generar confusión y facilitar el engaño político, independientemente de si la tecnología deepfake realmente se ha utilizado. El ejemplo más dramático de esto proviene de Gabón, un pequeño país en África central. A fines de 2018, el presidente de Gabón, Ali Bongo, no había sido visto en público durante meses. Corrían rumores de que ya no estaba lo suficientemente saludable para el cargo o incluso de que había muerto. En un intento por disipar estas preocupaciones y reafirmar el liderazgo de Bongo en el país, su administración anunció que daría un discurso televisado a nivel nacional el día de Año Nuevo. En la dirección del video (que vale la pena [examinar de primera mano] (https://www.facebook.com/watch/?v=324528215059254) usted mismo), Bongo aparece rígido y forzado, con un habla poco natural y gestos faciales. El video inflamó de inmediato las sospechas de que el gobierno estaba ocultando algo al público. Los opositores políticos de Bongo declararon que el las imágenes eran falsas y que el presidente estaba incapacitado o muerto. Los rumores de una conspiración deepfake [se difundieron rápidamente] (https://twitter.com/Archyppe/status/1080483842383904768) en las redes sociales. La situación política en Gabón se desestabilizó rápidamente. En una semana, los militares lanzaron un golpe de estado, el primero en el país desde 1964, citando el video de Año Nuevo como prueba de que algo andaba mal con el presidente. Hasta el día de hoy, los expertos no pueden decir definitivamente si el video de Año Nuevo fue auténtico, aunque la mayoría cree que lo fue. (El golpe no tuvo éxito; desde entonces, Bongo ha aparecido en público y permanece en el cargo hoy). Pero si el video era real es casi irrelevante. La lección más importante es que la aparición de deepfakes hará que sea cada vez más difícil para el público distinguir entre lo que es real y lo que es falso, una situación que los actores políticos inevitablemente explotarán, con consecuencias potencialmente devastadoras. “La gente ya está usando el hecho de que existen deepfakes para desacreditar la evidencia genuina en video”, dijo el profesor de la USC Hao Li. “Aunque hay imágenes de ti haciendo o diciendo algo, puedes decir que fue un deepfake y es muy difícil demostrar lo contrario”. En dos incidentes recientes, políticos [en Malasia](https://www.malaymail.com/news/malaysia/2019/06/12/is-the-political-aide-viral-sex-video-confession-real-or -a-deepfake/1761422) y en Brasil han tratado de evadir las consecuencias de comprometer las secuencias de video afirmando que los videos eran falsificaciones profundas. En ambos casos, nadie ha podido establecer definitivamente lo contrario y la opinión pública ha permanecido dividida. El investigador Aviv Ovadya advierte sobre lo que [ella llama] (https://www.washingtonpost.com/technology/2019/06/12/top-ai-researchers-race-detect-deepfake-videos-we-are-outgunned/) "apatía por la realidad": "Es demasiado esfuerzo descubrir qué es real y qué no, por lo que estás más dispuesto a aceptar cualquiera que sea tu afiliación anterior". En un mundo en el que ver ya no es creer, la capacidad de una gran comunidad para ponerse de acuerdo sobre lo que es verdad, y mucho menos para entablar un diálogo constructivo al respecto, de repente parece precaria. Un juego tecnológico del gato y el ratón ------------------------------------- La tecnología central que hace posible las falsificaciones profundas es una rama del aprendizaje profundo conocida como redes antagónicas generativas (GAN). Las GAN fueron inventadas por Ian Goodfellow en 2014 durante sus estudios de doctorado en la Universidad de Montreal, uno de los principales institutos de investigación de IA del mundo. En 2016, el gran Yann LeCun de la IA llamó a las GAN "la idea más interesante en los últimos diez años en aprendizaje automático”. Antes del desarrollo de las GAN, las redes neuronales eran expertas en clasificar contenido existente (por ejemplo, comprender el habla o reconocer rostros), pero no en crear contenido nuevo. Las GAN dieron a las redes neuronales el poder no solo de percibir, sino también de crear. El avance conceptual de Goodfellow fue diseñar GAN utilizando dos redes neuronales separadas, una conocida como "generador", la otra conocida como "discriminador", y enfrentarlas entre sí. A partir de un conjunto de datos dado (digamos, una colección de fotos de rostros humanos), el generador comienza a generar nuevas imágenes que, en términos de píxeles, son matemáticamente similares a las imágenes existentes. Mientras tanto, el discriminador recibe fotos sin saber si son del conjunto de datos original o de la salida del generador; su tarea es identificar qué fotos han sido generadas sintéticamente. A medida que las dos redes trabajan iterativamente una contra la otra, el generador que intenta engañar al discriminador, el discriminador que intenta descubrir las creaciones del generador, perfeccionan las capacidades del otro. Eventualmente, la tasa de éxito de la clasificación del discriminador cae al 50%, nada mejor que adivinar al azar, lo que significa que las fotos generadas sintéticamente se vuelven indistinguibles de las originales. Una razón por la que han proliferado los deepfakes es el espíritu de código abierto de la comunidad de aprendizaje automático: comenzando con el artículo original de Goodfellow, cada vez que se produce un avance de investigación en el modelado generativo, la tecnología generalmente está disponible de forma gratuita para que cualquier persona en el mundo la descargue y la utilice. Dado que los deepfakes se basan en IA en primer lugar, algunos ven a la IA como una solución para las aplicaciones dañinas de deepfakes. Por ejemplo, los investigadores han construido sofisticados sistemas de detección de falsificación profunda que evalúan la iluminación, las sombras, los movimientos faciales y otras características para marcar las imágenes fabricadas. Otro enfoque defensivo innovador es agregar un filtro a un archivo de imagen que hace que sea imposible usar esa imagen para generar una falsificación profunda. Han surgido un puñado de nuevas empresas que ofrecen software para defenderse de las falsificaciones profundas, incluidas Truepic y Deeptrace. Sin embargo, no es probable que tales soluciones tecnológicas detengan la propagación de deepfakes a largo plazo. En el mejor de los casos, conducirán a una dinámica interminable del gato y el ratón, similar a la que existe hoy en día en la ciberseguridad, en la que los avances en el lado de la detección de falsificación profunda estimulan una mayor innovación en la generación de falsificación profunda. La naturaleza de código abierto de la investigación de IA hace que esto sea aún más probable. Para dar [un ejemplo] (https://www.brookings.edu/research/fighting-deepfakes-when-detection-fails/), en 2018 investigadores de la Universidad de Albany publicaron un análisis que muestra que las irregularidades intermitentes a menudo eran un signo revelador que un video era falso. Fue un avance útil en la lucha contra las falsificaciones profundas, hasta que, en cuestión de meses, comenzaron a surgir nuevos videos falsos profundos que corrigieron esta imperfección parpadeante. “Estamos superados”, dijo Farid. “La cantidad de personas que trabajan en el lado de la síntesis de video, a diferencia del lado del detector, es de 100 a 1”. El camino a seguir ---------------- Mirando más allá de los remedios puramente tecnológicos, ¿qué medidas legislativas, políticas y sociales podemos tomar para defendernos de los peligros de las falsificaciones profundas? Una solución simple y tentadora es aprobar leyes que hagan que sea ilegal crear o difundir falsificaciones profundas. El estado de California ha experimentado con este enfoque, [promulgando una ley el año pasado](https://www.theguardian.com/us-news/2019/oct/07/california-makes-deepfake-videos-illegal-but- la ley puede ser difícil de hacer cumplir) que hace que sea ilegal crear o distribuir falsificaciones profundas de políticos dentro de los 60 días de una elección. Pero una prohibición general de las falsificaciones profundas tiene desafíos tanto constitucionales como prácticos. La Primera Enmienda de la Constitución de los Estados Unidos consagra la libertad de expresión. Cualquier ley que proscriba contenido en línea, particularmente contenido político, corre el riesgo de entrar en conflicto con estas protecciones constitucionales. “El discurso político disfruta del más alto nivel de protección bajo la ley de los Estados Unidos”, dijo la profesora de derecho Jane Kirtley. “El deseo de proteger a las personas del contenido engañoso en el período previo a una elección es muy fuerte y muy comprensible, pero soy escéptico acerca de si podrán hacer cumplir la ley de [California]”. Más allá de las preocupaciones constitucionales, es probable que las prohibiciones de deepfake resulten impracticables debido al anonimato y la falta de fronteras de Internet. Otros marcos legales existentes que podrían implementarse para combatir las falsificaciones profundas incluyen los derechos de autor, la difamación y [el derecho de publicidad] (https://corporate.findlaw.com/litigation-disputes/right-of-publicity.html). Pero dada la amplia aplicabilidad de la [doctrina del uso justo] (https://www.copyright.gov/fair-use/more-info.html), la utilidad de estas vías legales puede ser limitada. A corto plazo, la solución más efectiva puede provenir de las principales plataformas tecnológicas como Facebook, Google y Twitter, que toman voluntariamente medidas más rigurosas para limitar la propagación de falsificaciones profundas dañinas. Es comprensible que depender de empresas privadas para resolver amplios problemas políticos y sociales hace que muchos se sientan profundamente incómodos. Sin embargo, como los juristas Bobby Chesney y Danielle Citron lo expresan, los acuerdos de términos de servicio de estas plataformas tecnológicas son "los documentos más importantes que rigen el habla digital en el mundo actual". Como resultado, las políticas de contenido de estas empresas pueden ser "el mecanismo de respuesta más destacado de todos" a las falsificaciones profundas. Una opción legislativa relacionada es enmendar la controvertida [Sección 230 de la Ley de Decencia en las Comunicaciones] (https://www.law.cornell.edu/uscode/text/47/230). Escrito en los primeros días de la Internet comercial, la Sección 230 otorga a las empresas de Internet una inmunidad civil casi completa para cualquier contenido publicado en sus plataformas por terceros. Hacer retroceder estas protecciones haría que las empresas como Facebook fueran legalmente responsables de limitar la difusión de contenido dañino en sus sitios. Pero tal enfoque plantea preocupaciones complejas sobre la libertad de expresión y la censura. Al final, ninguna solución única será suficiente. Un primer paso esencial es simplemente aumentar la conciencia pública sobre las posibilidades y los peligros de las falsificaciones profundas. Una ciudadanía informada es una defensa crucial contra la desinformación generalizada. El reciente aumento de las noticias falsas ha generado temores de que estemos entrando en un mundo de “post-verdad”. Los deepfakes amenazan con intensificar y acelerar esta trayectoria. Es probable que el próximo capítulo importante de este drama esté a la vuelta de la esquina: las elecciones de 2020. Lo que está en juego difícilmente podría ser mayor. “El hombre frente al tanque en la plaza de Tiananmen conmovió al mundo”, [dijo](https://www.washingtonpost.com/technology/2019/06/12/top-ai-researchers-race-detect-deepfake- videos-we-are-outgunned/) Profesor de NYU Nasir Memon. “Nixon por teléfono le costó la presidencia. Las imágenes de horror de los campos de concentración finalmente nos pusieron en acción. Si la noción de no creer lo que ves está bajo ataque, eso es un gran problema. Uno tiene que restaurar la verdad al volver a ver”.