Incidentes Asociados
El martes 6 de febrero de 2024, personas preocupadas alertaron a Rappler sobre un video deepfake que hacía parecer que la ganadora del Premio Nobel de la Paz y directora ejecutiva de Rappler, Maria Ressa, dijo que había estado ganando dinero con la criptomoneda Bitcoin. El video deepfake manipuló una entrevista de noviembre de 2022 [a Ressa por el presentador de un programa de entrevistas estadounidense, Stephen Colbert] (https://www.youtube.com/watch?v=xpWevZ5yQz8) en su programa. Se distribuyó mediante una página de Facebook recién creada y un anuncio en la plataforma Bing de Microsoft. Desde entonces, Microsoft y Facebook eliminaron la publicación y el anuncio que difundió el deepfake. Utilizando huellas digitales dejadas por los falsificadores, una investigación de seguimiento en la que Rappler colaboró con el grupo forense digital sueco Qurium vinculó el deepfake con una red de estafas rusa. La investigación también indicó que la campaña estaba dirigida específicamente al público filipino. ##### Detectando el deepfake El video deepfake fue visto inicialmente el 25 de enero de 2024 en la página de Facebook, "Method Business", que fue creada solo unos días antes. Veintiún horas después de que se publicó el video, ya había obtenido 22,000 vistas. (Ver captura de pantalla a continuación). 
PÁGINA DE FACEBOOK RECIENTEMENTE CREADA. La página de Facebook que circuló el video deepfake de bitcoin de Maria Ressa fue creada solo unas semanas antes de que publicara el deepfake. Sigue activa al momento de escribir este artículo. Rappler también fue alertado más tarde sobre una página web, alojada bajo la URL ultimainv.website, que alternativamente clonaba las páginas de la historia de los sitios web de Rappler y CNN Filipinas. El sitio impostor se promocionó a través de un anuncio publicado en la plataforma Bing de Microsoft. (Anuncio rodeado por Rappler en la captura de pantalla a continuación) 
DEEPFAKE PROMOCIONADO CON PUBLICIDAD. El enlace a los sitios web impostores que tenían incrustado el video deepfake de bitcoin de Maria Ressa también se promocionó a través de un anuncio en la plataforma Bing de Microsoft. Ultimainv.website es un dominio registrado recientemente. El primer registro en el historial de su dominio está fechado el 10 de enero de 2024. Los creadores del video deepfake manipularon una entrevista de noviembre de 2022 de Colbert en la que le hizo preguntas a Ressa sobre su libro, How To Stand Up To A Dictator, y los casos presentados contra ella y Rappler por instigación del expresidente filipino Rodrigo Duterte. El video manipulado utilizó una voz falsa, generada por IA, que imitaba la voz de Ressa. La mayoría de las veces, el video falso la mostraba hablando sincronizada con el audio. Pero hubo varias veces en las que la sincronización falló, lo que fue el indicio más fuerte de que se trataba de un video deepfake. Mira el video incrustado a continuación que compara la entrevista original con el video manipulado que tenía el audio generado por IA. El video puede parecer convincente para un usuario que no esté prestando atención o no sea consciente de cómo la tecnología de IA puede copiar voces o cómo podría verse un video deepfake. Rappler informó el video a Meta, y desde entonces ha sido eliminado, pero la página, Method Business, sigue activa. Más que un esfuerzo por estafar a las personas para que inviertan en bitcoin, los artículos falsos publicados en páginas web que imitaban a Rappler y CNN Filipinas también insinuaban que Ressa estaba involucrada en la estafa. Los artículos falsos de CNN Filipinas y Rappler, ambos con el título "Maria Ressa podría ser demandada por sus comentarios en vivo en la televisión", afirmaban que la carrera de Ressa "pende de un hilo" supuestamente tras los comentarios que hizo en vivo en la televisión. El anuncio que promocionaba los sitios web impostores usaba el texto: "¿El fin para ella?" como introducción, dando a entender que Ressa estaba envuelta en un escándalo. Los artículos falsos también afirmaban que la transmisión en vivo supuestamente fue interrumpida tras las demandas de los principales bancos para que se detuviera y se borrara la grabación. (Ver capturas de pantalla de artículos falsos a continuación.) 
##### Origen ruso, dirigido a una audiencia filipina Las páginas donde se publicaron el video y los artículos falsos de Rappler y CNN Filipinas también fueron diseñadas para ser vistas solo a través de proveedores de servicios de Internet (ISP) filipinos. Los investigadores que analizaron el deepfake tuvieron que emplear varias técnicas para ver los sitios impostores desde su ubicación. Esto implica que los responsables del deepfake tenían como objetivo específico a los filipinos. El sitio web de CNN Filipinas ya había cerrado el 1 de febrero de 2024, días antes de la fecha de publicación del artículo falso, el 5 de febrero de 2024. Una investigación de seguimiento con el grupo forense digital sueco Qurium Media descubrió más tarde que los sitios clonados formaban parte de una red fraudulenta en línea que engaña a las víctimas para que paguen por un producto que, por lo general, termina siendo una caja vacía o un objeto aleatorio de baja calidad cuando se entrega. La red, según Qurium, parece ser de origen ruso. Los enlaces encontrados en la red también mostraron el uso del alfabeto cirílico y una marca horaria de GMT+3 (Moscú, San Petersburgo), lo que, según Qurium, es una "sólida indicación" pero "no una prueba concluyente" de que la red es de origen ruso. El contenido de la plataforma utilizada para crear los sitios web falsos está en idioma ruso. Qurium analizó los datos de registro de dominio y alojamiento de los sitios falsos, los metadatos de las imágenes y el vídeo incrustado en los sitios falsos, y los metadatos de los artículos originales extraídos de los sitios web originales de CNN y Rappler para crear las páginas falsas. La campaña estuvo en funcionamiento desde el 28 de noviembre de 2023 hasta el 25 de febrero de 2024. El análisis de la red realizado por Qurium muestra un elaborado esquema que elude la responsabilidad legal al dividir la operación en entidades separadas, lo que permite la negación y el anonimato. La red de estafas, como descubrió Qurium, utiliza un esquema de múltiples roles que garantiza que nadie sea considerado responsable de la estafa. Estos son los roles: - El anunciante afiliado o el editor Esta es la página web, que recopila los nombres y números de teléfono de las víctimas potenciales para un intermediario, que, en este caso, es "M1 Shop". Qurium dijo que en su sitio, "dejan en claro que solo anuncian productos y que no son responsables de nada relacionado con la mercancía". El anunciante afiliado en este caso fue identificado como "TD Globus Contract". Además de ultimainv.website, que albergaba las páginas falsas de CNN y Rappler, se encontró que TD Globus Contract tenía enlaces a más de 40 sitios web con vínculos a la red de estafas. - El intermediario El intermediario (M1 Shop) toma la información de las víctimas del editor y la reenvía al anunciante por una tarifa. Son responsables de pagar al editor por la información que reciben o los clics que genera la página web del editor que envían a las víctimas a M1 Shop. - Anunciantes Los anunciantes crean las ofertas fraudulentas, que, en este caso, han variado desde productos nutricionales hasta ofertas de criptomonedas. Qurium explicó que el fraude funciona porque las identidades de los anunciantes están protegidas por el intermediario, mientras que los editores o las páginas web se cambian "una vez que su reputación se ha visto comprometida". "En última instancia, nadie se hace responsable del fraude", dijo Qurium. "Los sitios web que promocionan los productos están registrados bajo empresas falsas y afirman que no conocen a los vendedores del producto final, y la red publicitaria afirma que no monitorea lo que se promociona en su plataforma. Sin embargo, algo está garantizado, las víctimas son estafadas y todos en su red reciben un pago por sus 'servicios'". Mientras tanto, M1 está desempeñando un "papel de intermediario" en la red de estafas, ocultando a los anunciantes maliciosos del escrutinio. Rappler ya se ha comunicado con la tienda M1 a través de las cuentas de Telegram en su sitio web. Actualizaremos esta historia cuando recibamos una respuesta de M1. ##### Daño potencial Los videos deepfake pueden ser convincentes y poderosamente persuasivos, por lo que los estafadores intentarían usarlos. Sin embargo, existen otras motivaciones potenciales. En la India, los políticos han utilizado deepfakes para difamar a sus oponentes o confundir al electorado. En Taiwán, se difundieron deepfakes y falsificaciones baratas en Internet antes de las elecciones presidenciales de 2024. En Indonesia, también se habían utilizado deepfakes en el período previo a sus propias elecciones presidenciales. La naturaleza de la desinformación no consiste en mentir abiertamente a veces. A menudo, puede ser simplemente para plantar una semilla en la mente de las audiencias que luego podría ser explotada, añadió Qurium en su informe. Independientemente de la motivación, los deepfakes pueden utilizarse potencialmente para influir en la opinión pública, como una mentira muy poderosa, lo que es especialmente perjudicial en situaciones como las elecciones nacionales y escenarios de rápida evolución como las situaciones de violencia, por ejemplo. En este caso específico, si la intención era estafar a la gente, los estafadores pueden haber pensado que el uso de un deepfake de Maria Ressa podría convencer a algunos de invertir en un producto que en última instancia no existe. La campaña falsa puede haber intentado aprovechar la reputación de una periodista como una voz autorizada, a expensas de ella. Otras figuras de autoridad también pueden ser víctimas, poniendo su reputación en juego. Mientras Rappler y Qurium investigaban este deepfake específico, otro similar que involucra a un empresario filipino también circuló a través de lo que parece ser el mismo proceso. Muy recientemente, se utilizaron deepfakes que usaban anclas de la red GMA7 para promocionar un collar que supuestamente provenía del Vaticano. Hay otras posibilidades. Lo curioso del deepfake de Maria Ressa es que los anuncios en Bing, que promocionaban los sitios falsos CNN Philippines y Rappler, no parecían promocionar un producto. Estaban insinuando un escándalo que involucraba a Ressa. "Lo que es particularmente preocupante (sobre el deepfake de Ressa) son las capas de intención maliciosa detrás de un solo acto de manipulación digital y los daños consecuentes que estos infligen", dijo a Rappler Cheryll Soriano, profesora de Comunicaciones de la Universidad De La Salle. Soriano, quien ha estado investigando sobre la desinformación en plataformas como YouTube, fue una de las personas que detectaron y alertaron a Rappler sobre el video deepfake. Ella dijo: "En primer lugar, (el video deepfake) intenta promover una estafa. En segundo lugar, hace que la estafa parezca una noticia, haciéndose pasar por Rappler y CNN Filipinas, socavando la credibilidad de las organizaciones de noticias. En tercer lugar, está claramente motivado para desacreditar a Maria Ressa difamando su reputación". Soriano agregó que el deepfake también "perpetúa una tendencia inquietante de prácticas misóginas, utilizando deepfakes para humillar a las mujeres. Incluso si la estafa en sí misma falla, aún expone y perpetúa a los últimos tres, difundiéndolos a través de públicos en red". ##### Abordar la amenaza de las deepfakes Existe un consenso general sobre los grupos de verificación de hechos y los expertos en desinformación de que el problema de las deepfakes solo seguirá creciendo en el futuro ahora que las tecnologías de IA generativa están fácilmente disponibles para los ciudadanos comunes. Esto hace que la acción matizada e inmediata de la plataforma sea fundamental para mitigar su impacto. En varias declaraciones públicas, las plataformas utilizadas para hacer circular la deepfake de bitcoin de Maria Ressa (Facebook y Microsoft) han estado diciendo que tienen programas para abordar las deepfakes. En una declaración publicada recientemente, Meta, el propietario de Facebook, dijo que está trabajando con socios de la industria en estándares técnicos comunes para identificar contenido de IA, incluido video y audio. Dijo que etiquetará las imágenes que publiquen los usuarios cuando detecten estos indicadores estándar de la industria. También dijo que ha estado etiquetando imágenes fotorrealistas creadas con Meta AI desde que se lanzó el producto. En una entrevista por correo electrónico con Rappler, un portavoz de Microsoft dijo que han cerrado 520.000 cuentas que participaban en actividades fraudulentas y engañosas desde abril de 2023, utilizando métodos tanto automáticos como manuales. La empresa dijo que aprovechan su base de conocimientos con cada incidente para ayudarlos a detectar otros similares en el futuro, y que han instituido políticas de integridad de la información y contenido engañoso. El portavoz de Microsoft también dijo que están invirtiendo en tecnología para detectar deepfakes. "También se está aprovechando la inteligencia artificial para identificar deepfakes. Los principales actores como Microsoft están invirtiendo mucho en el desarrollo de tecnologías para detectar estas falsificaciones sofisticadas". Microsoft también forma parte de un grupo de empresas tecnológicas y organizaciones de noticias que han estado trabajando con Adobe en la Iniciativa de Integridad de Contenido, un esfuerzo que promueve la adopción de un estándar industrial abierto para la autenticidad y procedencia del contenido. ##### Desafíos para detectar falsificaciones generadas por IA Sin embargo, existen desafíos para la detección automatizada de falsificaciones generadas por IA. El portavoz de Microsoft dijo que los malos actores emplean técnicas sofisticadas para eludir la detección. "La tecnología de IA está avanzando a un ritmo sin precedentes, lo que lleva a la aparición diaria de nuevas plataformas en todo el mundo que permiten la creación de deepfakes. Idealmente, las empresas que producen ese tipo de contenido implementarían marcas de agua o tecnologías similares para facilitar la detección. Sin embargo, existen desafíos: la tecnología capaz de eliminar las marcas de agua ya existe", dijo el portavoz. La mayoría de las tecnologías para crear deepfakes también son de código abierto, refiriéndose al software que está disponible gratuitamente y puede ser redistribuido y modificado por cualquier persona. Microsoft dice que esto permite la modificación o eliminación del código de marca de agua, "lo que complica los esfuerzos de detección". La práctica de poner a disposición de cualquier persona el código fuente de los grandes modelos de lenguaje (LLM) para que lo examine, copie y modifique ha desempeñado un papel fundamental en la aceleración del desarrollo de tecnologías de IA generativa. De hecho, incluso las grandes empresas tecnológicas han publicado versiones de sus propios LLM para el público. En julio de 2023, Meta publicó una versión de código abierto de Llama, su modelo de inteligencia artificial. Más recientemente, Google también publicó Gemma, la versión de código abierto de Gemini, su modelo de IA patentado. Aunque la apertura del código fuente del modelo de lenguaje puede ayudar a que sean más transparentes y auditables, algunos expertos señalan que la mayor amenaza de los sistemas de IA no seguros reside en la facilidad de uso indebido, lo que hace que estos sistemas sean "particularmente peligrosos en manos de actores de amenazas sofisticados". #### Prevención del uso indebido de la IA, responsabilización de los falsificadores Dado que ahora incluso el código fuente de los modelos de IA es accesible para cualquiera que lo modifique libremente, tener la capacidad de rastrear la fuente de un deepfake en particular se vuelve muy importante. Como se ilustra arriba, las personas detrás de las falsificaciones suelen dejar rastros de quiénes son cuando utilizan sistemas digitales. Sin embargo, gran parte de los datos que podrían rastrear a los actores responsables todavía residen en las plataformas. "El mayor desafío de la desinformación no son las mentiras, sino la falta de responsabilidad de quienes difunden la información falsa", dijo Qurium. El grupo sueco también criticó a plataformas como Meta y otras que se benefician de ello y permiten que la desinformación prospere. El portavoz de Microsoft reconoció que el uso de deepfakes es "una amenaza nueva y emergente" y que las plataformas deben hacer más. "Necesitamos hacer más en Microsoft, y hay funciones para toda la industria, el gobierno y otros". La compañía dijo que, además de trabajar con las fuerzas del orden y otras medidas legales y técnicas, también han "ayudado recientemente a avanzar en una iniciativa de la industria para combatir el uso de deepfakes para engañar a los votantes de todo el mundo, y hemos abogado por marcos legislativos para abordar el mal uso de la IA". Un portavoz de Meta le dijo a Rappler por correo electrónico: "Las Normas comunitarias de Meta se aplican a todo el contenido y los anuncios en Facebook, independientemente de si son creados por IA o por una persona, y seguiremos tomando medidas contra el contenido que viole nuestras políticas. Hemos eliminado el video denunciado por violar nuestras políticas de Fraude y engaño". Queda por ver si estas medidas son suficientes para abordar la avalancha de deepfakes, con la que quienes luchan contra la desinformación esperan tener que lidiar cada vez más en los próximos meses. Días después de que Microsoft eliminara el anuncio que promocionaba el sitio web ultimainv.website, apareció un nuevo anuncio nuevamente en la plataforma. El anuncio enlazaba a un sitio con el mismo contenido que el sitio impostor de Rappler mencionado anteriormente, pero en otro dominio recién creado. El juego del topo continúa. -- Rappler.com