Incidentes Asociados
En un anuncio de Facebook, una mujer con un rostro idéntico al de la actriz Emma Watson sonríe tímidamente y se inclina frente a la cámara, pareciendo iniciar un acto sexual. Pero la mujer no es Watson, la estrella de "Harry Potter". El anuncio fue parte de una campaña masiva esta semana para una aplicación deepfake, que permite a los usuarios intercambiar cualquier rostro en cualquier video de su elección.
Los deepfakes son contenido en el que las caras o los sonidos se [cambian o manipulan](https://www.nbcnews.com/tech/tech-news/little-tells-why-battle-against-deepfakes-2020-may-rely-verbal -n1102881). Por lo general, los creadores de deepfakes hacen videos en los que las celebridades parecen como si estuvieran voluntariamente apareciendo en ellos, aunque no lo sean. Cada vez más, la tecnología se ha utilizado para hacer pornografía no consentida con los rostros de celebridades, personas influyentes o cualquier persona, [incluidos los niños] (https://inhope.org/EN/articles/what-is-a-deepfake).
La campaña publicitaria en Meta asiente al hecho de que esta tecnología que alguna vez fue avanzada se ha extendido rápidamente a las aplicaciones de consumo fácilmente disponibles que se anuncian en las partes principales de Internet. A pesar de que muchas plataformas prohíben el contenido falso manipulador y malicioso, las aplicaciones como las revisadas por NBC News han podido pasar desapercibidas.
El domingo y el lunes, una aplicación para crear videos "DeepFake FaceSwap" lanzó más de 230 anuncios en los servicios de Meta, incluidos Facebook, Instagram y Messenger, según una revisión de la biblioteca de anuncios de Meta. Algunos de los anuncios mostraban lo que parecía el comienzo de videos pornográficos con el conocido sonido de la plataforma de pornografía [introducción de Pornhub] (https://knowyourmeme.com/memes/pornhub-community-intro) en reproducción. Segundos después, los rostros de las mujeres se intercambiaron con actrices famosas.
Cuando Lauren Barton, una estudiante de periodismo en Tennessee, vio el mismo anuncio en una aplicación separada, se sorprendió lo suficiente como para grabarlo en pantalla y [twittearlo] (https://twitter.com/laurenbarton03/status/1632769865122545664), donde recibió más de 10 millones de visitas, según el contador de visitas de Twitter.
“Esto podría usarse con estudiantes de secundaria en escuelas públicas que son intimidados”, dijo Barton. “Podría arruinar la vida de alguien, podría meterse en problemas en su trabajo. Y esto es extremadamente fácil de hacer y gratis. Todo lo que tenía que hacer era subir una foto de mi cara y tenía acceso a 50 plantillas gratuitas”.
De los Meta anuncios, 127 presentaban la imagen de Watson. Otros 74 mostraban el rostro de la actriz Scarlett Johansson intercambiado con mujeres en videos igualmente provocativos. Ninguna actriz respondió a una solicitud de comentarios.
“Reemplace la cara con cualquiera”, decían los subtítulos en 80 de los anuncios. "Diviértete con la tecnología de cambio de cara de IA".
El martes, después de que NBC News se comunicó con Meta para hacer comentarios, todos los anuncios de la aplicación se eliminaron de los servicios de Meta.
Si bien no se mostraron actos sexuales en los videos, su naturaleza sugerente ilustra cómo la aplicación puede usarse potencialmente para generar contenido sexual falso. La aplicación permite a los usuarios subir videos para manipularlos y también incluye docenas de plantillas de video, muchas de las cuales parecen haber sido tomadas de TikTok y plataformas de redes sociales similares.
Las categorías preestablecidas incluyen "Moda", "Novia", "Para hombres", "Para mujeres" y "TikTok", mientras que la categoría con más opciones se llama "Hot". Presenta videos de mujeres y hombres con poca ropa bailando y posando. Después de seleccionar una plantilla de video o cargar la suya propia, los usuarios pueden ingresar una sola foto de la cara de cualquier persona y recibir una versión del video con la cara intercambiada en segundos.
Los términos de servicio de la aplicación, que cuesta $8 por semana, dicen que no permite que los usuarios se hagan pasar por otros a través de su servicios o cargar contenido sexualmente explícito. El desarrollador de aplicaciones que figura en la App Store se llama Ufoto Limited, propiedad de una empresa matriz china, Wondershare. Ninguna de las compañías respondió a una solicitud de comentarios.
Meta prohibió la mayoría del contenido deepfake en 2020, y la compañía prohíbe [contenido para adultos](https://transparency .fb.com/policies/community-standards/sexual-solicitation/) en anuncios, incluidos desnudos, representaciones de personas en posiciones explícitas o sugerentes, o actividades que son sexualmente provocativas.
“Nuestras políticas prohíben el contenido para adultos, independientemente de si es generado por IA o no, y hemos restringido esta página de publicidad en nuestra plataforma”, dijo un portavoz de Meta en un comunicado.
Los mismos anuncios también se vieron en aplicaciones gratuitas de edición de fotos y juegos descargadas de la App Store de Apple, donde la aplicación apareció por primera vez en 2022 y todavía está disponible para descargar de forma gratuita a partir de los 9 años.
Un representante de Apple dijo que la compañía no tiene reglas específicas sobre deepfakes, pero que prohíbe las aplicaciones que incluyen pornografía y contenido difamatorio. Apple dijo que eliminó la aplicación de la App Store después de ser contactado por NBC News.
La aplicación también está en Google Play y está clasificada como "Adolescente" por "temas sugerentes".
Apple y Google han tomado medidas contra aplicaciones similares de intercambio de rostros de IA, incluida una que fue objeto de [una investigación de Reuters] (https://www.reuters.com/technology/deepfake-anyone-ai-synthetic-media-tech -enters-pelilous-phase-2021-12-13/) en diciembre de 2021. Reuters descubrió que la aplicación anunciaba la creación de "pornografía profunda" en sitios web pornográficos. En ese momento, Apple dijo que no tenía pautas específicas sobre las aplicaciones deepfake, pero que prohibía el contenido que fuera difamatorio, discriminatorio o que pudiera intimidar, humillar o dañar a alguien. Si bien las calificaciones y las campañas publicitarias de la aplicación se han ajustado, la aplicación todavía está disponible para descargar de forma gratuita en la App Store de Apple y Google Play.
La aplicación que NBC News revisó es una de las últimas en un auge de productos falsificados de consumo de libre acceso.
Al buscar "deepfake" en las tiendas de aplicaciones, aparecen docenas de aplicaciones con capacidades tecnológicas similares, incluidas algunas que promueven la creación de contenido "caliente".
Los ejemplos convencionales de la tecnología muestran a celebridades y políticos haciendo y diciendo cosas que en realidad nunca dijeron o hicieron. A veces los efectos son cómicos.
Sin embargo, la tecnología deepfake se ha utilizado abrumadoramente para hacer pornografía con estrellas que no dan su consentimiento. A medida que la tecnología ha mejorado y se ha generalizado, el mercado de imágenes sexuales no consentidas se ha disparado. Algunos sitios web permiten a los usuarios vender pornografía falsa sin consentimiento desde detrás de un muro de pago.
Un informe de 2019 de Deeptrace, una empresa con sede en Ámsterdam que supervisa los medios sintéticos en línea, descubrió que el 96 % del material falso en línea es de naturaleza pornográfica.
En enero, streamers femeninas de Twitch hablaron después de que un popular streamer masculino se disculpara por consumiendo deepfake porno de sus compañeros.
La investigación de transmisión en vivo realizada por la analista independiente Genevieve Oh descubrió que el principal sitio web para consumir pornografía falsa explotó en el tráfico luego de la disculpa del transmisor de Twitch. La investigación de Oh también encontró que la cantidad de videos pornográficos falsos casi se ha duplicado cada año desde 2018. Febrero tuvo la mayor cantidad de videos pornográficos falsos subidos en un mes, dijo Oh.
Si bien el intercambio no consentido de fotos y videos sexualmente explícitos es ilegal en la mayoría de los estados, las leyes que abordan los medios falsos están [en vigor](https://cybercivilrights. org/deep-fake-laws/) solo en California, Georgia, Nueva York y Virginia.