Problema 2942

Los investigadores han descubierto un "ecosistema de falsificación profunda" en la aplicación de mensajería Telegram centrado en bots que generan desnudos falsos a pedido. Los usuarios que interactúan con estos bots dicen que principalmente crean desnudos de mujeres que conocen utilizando imágenes tomadas de las redes sociales, que luego comparten e intercambian entre sí en varios canales de Telegram.

La investigación proviene de la firma de seguridad Sensity, que se enfoca en lo que llama "inteligencia de amenazas visuales", particularmente la propagación de falsificaciones profundas. Los investigadores de Sensity descubrieron que se generaron y compartieron más de 100 000 imágenes en los canales públicos de Telegram hasta julio de 2020 (lo que significa que la cantidad total de imágenes generadas, incluidas las que nunca se compartieron y las creadas desde julio, es mucho mayor). La mayoría de los usuarios de estos canales, aproximadamente el 70 por ciento, provienen de Rusia y países vecinos, dice Sensity. The Verge pudo confirmar que muchos de los canales investigados por la empresa siguen activos.

Los bots son de uso gratuito, pero generan desnudos falsos con marcas de agua o solo desnudos parciales. Luego, los usuarios pueden pagar una tarifa equivalente a unos pocos centavos para "descubrir" las imágenes por completo. Una "tarifa para principiantes" cobra a los usuarios 100 rublos (alrededor de $ 1,28) para generar 100 desnudos falsos sin marcas de agua durante un período de siete días. Sensity dice que "un número limitado" de las imágenes generadas por bots presentan objetivos "que parecían ser menores de edad".

Tanto The Verge como Sensity se han puesto en contacto con Telegram para preguntar por qué permiten este contenido en su aplicación, pero aún no han recibido respuestas. Sensity dice que también se ha puesto en contacto con las autoridades policiales pertinentes.

El software que se utiliza para generar estas imágenes se conoce como DeepNude. Apareció por primera vez [en la web en junio pasado] (https://www.theverge.com/2019/6/27/18760896/deepfake-nude-ai-app-women-deepnude-non-consensual-pornography), pero su el creador [eliminó su sitio web] (https://www.theverge.com/2019/6/27/18761496/deepnude-shuts-down-deepfake-nude-ai-app-women) horas después de que recibiera la cobertura de la prensa convencional, diciendo "la probabilidad de que la gente haga un mal uso es demasiado alta". Sin embargo, el software ha seguido extendiéndose a través de backchannels, y Sensity dice que DeepNude "desde entonces ha sido diseñado de forma inversa y se puede encontrar en formas mejoradas en repositorios de código abierto y sitios web de torrents". Ahora se utiliza para potenciar los bots de Telegram, que gestionan los pagos automáticamente para generar ingresos para sus creadores.

DeepNude utiliza una técnica de inteligencia artificial conocida como redes adversarias generativas, o GAN, para generar desnudos falsos, y las imágenes resultantes varían en calidad. La mayoría son obviamente falsas, con carne manchada o pixelada, pero algunas pueden confundirse fácilmente con imágenes reales.

Desde antes de la llegada de Photoshop, la gente ha creado desnudos falsos de mujeres sin consentimiento. Actualmente, hay muchos foros y sitios web dedicados a esta actividad que utilizan herramientas que no son de IA, y los usuarios comparten desnudos tanto de celebridades como de personas que conocen. Pero los deepfakes han llevado a la generación más rápida de imágenes más realistas. Ahora, la automatización de este proceso a través de los bots de Telegram hace que generar desnudos falsos sea tan fácil como enviar y recibir imágenes.

“La diferencia clave es la accesibilidad de esta tecnología”, dijo a The Verge el director ejecutivo de Sensity y coautor del informe, Giorgio Patrini. “Es importante tener en cuenta que otras versiones del núcleo de IA de este bot, el procesamiento y la síntesis de imágenes, están disponibles gratuitamente en repositorios de código en línea. Pero debe ser programador y tener cierta comprensión de la visión por computadora para que funcionen, además de un hardware potente. En este momento, todo esto es irrelevante, ya que el bot integrado en una aplicación de mensajería se encarga de ello”.

El informe de Sensity dice que es "razonable suponer" que la mayoría de las personas que usan estos bots "están principalmente interesadas en consumir pornografía falsa" (que sigue siendo [una categoría popular] (https://www.wired.co.uk/article/deepfake -porn-websites-videos-law) en sitios pornográficos). Pero estas imágenes y videos también pueden usarse para extorsión, chantaje, acoso y más. Ha habido una serie de documentados [casos](https://www.washingtonpost.com/ technology/2018/12/30/fake-porn-videos-are- being-weaponized-hosting-humiliate-women-everybody-is-potential-target/) de mujeres que son blanco de imágenes de desnudos generados por IA, y es posible que algunas de ellas aquellos que crean desnudos usando los bots en Telegram lo hacen con estos motivos en mente.

Patrini le dijo a The Verge que los investigadores de Sensity no habían visto evidencia directa de que las creaciones del bot se usaran para estos fines, pero dijeron que la compañía creía que esto estaba sucediendo. Agregó que si bien la amenaza política de los deepfakes había sido "mal calculada" ("desde el punto de vista de los perpetradores, es más fácil y económico recurrir a imágenes de photoshop y obtener un impacto similar para difundir desinformación, con menos esfuerzo"), es claro que la tecnología plantea “una serie de amenazas para la reputación personal y la seguridad”.