Incidentes Asociados
En 24 horas, el artículo de Vice provocó una reacción tan violenta que los creadores de la aplicación rápidamente [la eliminaron](https://www.vice.com/en/article/qv7agw/deepnude-app-that-desnude-photos -de-mujeres-lo-toma-fuera de línea). La cuenta de Twitter de DeepNude anunció que no se lanzarían otras versiones y que nadie más tendría acceso a la tecnología.
Pero una nueva investigación de Sensity AI (anteriormente Deeptrace Labs), una empresa de seguridad cibernética enfocada en detectar el abuso de medios manipulados, ahora descubrió que una tecnología muy similar está siendo utilizada públicamente. bot disponible en la aplicación de mensajería Telegram. Esta vez tiene una interfaz de usuario aún más simple: cualquiera puede enviar una foto al bot a través de la aplicación web o móvil de Telegram y recibir una espalda desnuda en minutos. El servicio también es completamente gratuito, aunque los usuarios pueden pagar una base de 100 rublos (aproximadamente $ 1,50) por beneficios como eliminar la marca de agua en las fotos "despojadas" o saltarse la cola de procesamiento.
En julio de 2020, el bot ya se había utilizado para apuntar y "desnudar" al menos a 100 000 mujeres, la mayoría de las cuales probablemente no tenía idea. “Por lo general, son las niñas”, dice Giorgio Patrini, director ejecutivo y científico jefe de Sensity, coautor del informe. “Desafortunadamente, a veces también es bastante obvio que algunas de estas personas son menores de edad”.
La gamificación del acoso
El bot deepfake, lanzado el 11 de julio de 2019, está conectado a siete canales de Telegram con un total combinado de más de 100 000 miembros. (Este número no tiene en cuenta la membresía duplicada en todos los canales, pero solo el grupo principal tiene más de 45,000 miembros únicos).
El canal central está dedicado a alojar el propio bot, mientras que los demás se utilizan para funciones como soporte técnico y uso compartido de imágenes. Los canales para compartir imágenes incluyen interfaces que las personas pueden usar para publicar y juzgar sus creaciones de desnudos. Cuanto más gusta una foto, más se recompensa a su creador con tokens para acceder a las funciones premium del bot. “El creador recibirá un incentivo como si estuviera jugando”, dice Patrini.
La comunidad, que se puede encontrar fácilmente a través de la búsqueda y las redes sociales, ha crecido constantemente en membresía durante el último año. Una encuesta de 7200 usuarios mostró que aproximadamente el 70% de ellos son de Rusia u otros países de habla rusa. Sin embargo, las víctimas parecen provenir de una gama más amplia de países, incluidos Argentina, Italia, Rusia y los EE. UU. La mayoría de ellos son particulares a quienes los usuarios del bot dicen conocer en la vida real o a quienes encontraron en Instagram. Los investigadores pudieron identificar solo a un pequeño puñado de mujeres y trataron de contactarlas para comprender sus experiencias. Ninguna de las mujeres respondió, dice Patrini.
Los investigadores también se comunicaron con Telegram y con las agencias policiales relevantes, incluido el FBI. Telegram no respondió ni a su nota ni a la solicitud de comentarios de seguimiento de MIT Technology Review. Patrini dice que tampoco han visto “ningún efecto tangible en estas comunidades” desde que contactaron a las autoridades.
Deepfake venganza porno
Los abusadores han estado usando imágenes pornográficas para acosar a las mujeres durante algún tiempo. En 2019, un estudio de la Asociación Estadounidense de Psicología encontró que una de cada 12 mujeres termina siendo víctimas del porno vengativo en algún momento de su vida. Un estudio del gobierno australiano, analizando Australia, el Reino Unido y Nueva Zelanda, encontró que la proporción ser tan alto como uno de cada tres. La pornografía de venganza deepfake agrega una dimensión completamente nueva al acoso, porque las víctimas no se dan cuenta de que existen tales imágenes.
También hay muchos casos en los que se han utilizado deepfakes para apuntar a celebridades y otras personas de alto perfil. La tecnología se hizo popular por primera vez en los rincones más profundos de Internet como una forma de intercambiar rostros de celebridades en videos pornográficos, y se ha utilizado como parte de campañas de acoso para silenciar [mujeres periodistas] (https://www.huffingtonpost.co. uk/entry/deepfake-porn_uk_5bf2c126e4b0f32bd58ba316?guccounter=1&guce_referrer=aHR0cHM6Ly93d3cuZ29vZ2xlLmNvbS8&guce_referrer_sig=AQAAAEjQfdjZtW3WU6WMiD5iKykYWt9E3QzD0soVt9E3QzD0so XLcDVQxM8I07MUKvfnVMSt7WMxD5spu_1cruO9nOIIKZ1AyiUgO74Q_7vB9lgTYmb7QH1dMrrP3TMQewPLNzrWSNMvjUFTx15Vo6dd_nadQ5Q7Lw8nA5FK). Patrini dice que también ha hablado con personas influyentes y YouTubers, a quienes se les han enviado imágenes pornográficas falsificadas directamente a sus patrocinadores, lo que les ha costado una inmensa tensión emocional y financiera.
Patrini sospecha que estos ataques dirigidos podrían empeorar mucho. Él y sus colegas investigadores ya han visto el avance y la difusión de la tecnología. Por ejemplo, descubrieron otro ecosistema de más de 380 páginas dedicadas a la creación y el intercambio de deepfakes explícitos en la plataforma rusa de redes sociales VK. (Después de la publicación de este artículo, un portavoz de VK envió a MIT Technology Review una declaración: "VK no tolera dicho contenido o enlaces en la plataforma y bloquea las comunidades que los distribuyen. Realizaremos una verificación adicional y bloquearemos el contenido inapropiado y comunidades.") Los investigadores también descubrieron que el algoritmo de "desnudar" se está comenzando a aplicar a videos, como imágenes de modelos en bikini caminando por una pasarela. En este momento, el algoritmo debe aplicarse cuadro por cuadro: "es muy rudimentario en este momento", dice Patrini. "Pero estoy seguro de que la gente lo perfeccionará y también pondrá un servicio de licencias para eso".
Desafortunadamente, todavía hay pocas formas de detener este tipo de actividad, pero la conciencia de los problemas está creciendo. Empresas como Facebook y Google, y los investigadores que producen herramientas para la creación de deepfakes, han comenzado a invertir más seriamente en contramedidas como la detección automatizada de deepfakes. El año pasado, el Congreso de EE. UU. también presentó un nuevo proyecto de ley que crearía un mecanismo para que las víctimas busquen recursos legales por daños a la reputación.
Mientras tanto, dice Patrini, Sensity continuará rastreando e informando sobre estos tipos de deepfakes maliciosos, y buscará comprender más sobre las motivaciones de quienes los crean y los impactos en las vidas de las víctimas. "De hecho, los datos que compartimos en este informe son solo la punta del iceberg", dice.
Actualización: se ha agregado al artículo una declaración oficial de la plataforma rusa de redes sociales VK.