Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 3418

Incidentes Asociados

Incidente 61011 Reportes
Purported Deepfake Technology Was Reportedly Used to Generate Naked Pictures of Underage Girls in Spanish Town

Loading...
España en estado de shock cuando los escolares crean desnudos falsos utilizando modelos generativos
algorithmwatch.org · 2023

Desde su creación en 2017, los modelos generativos se han utilizado para desnudar artificialmente a mujeres en fotografías y crear vídeos pornográficos realistas. El problema lleva identificándose desde hace mucho tiempo. Pero en lugar de detenerse, las herramientas para ese propósito se están volviendo más accesibles. Tanto es así que diez escolares de la localidad española de Almendralejo, en el suroeste de España, están siendo investigados por crear y difundir desnudos falsos de sus compañeros de estudios.

El caso se hizo público luego de que la madre de una de las víctimas publicara un video denunciando la situación en su cuenta de Instagram, donde tiene más de 136.000 seguidores. La ginecóloga Miriam Al Adib contó cómo su hija de 14 años acudió a ella luego de enterarse de que había fotos en las que aparecía desnuda circulaban entre sus compañeros de clase. Varios padres de la localidad se dieron a conocer después de que el incidente se hiciera público, ya que todas sus hijas afirmaron que las fotografías eran falsas.

Aunque el caso está en curso y los detalles de la investigación aún son confidenciales, los niños detrás del engaño supuestamente utilizaron una aplicación en línea que utiliza modelos generativos para crear desnudos a partir de fotografías en las que las niñas estaban vestidas. Muchos medios españoles han identificado aplicaciones específicas con las que se podrían haber creado las imágenes de desnudos, pero los agentes policiales no han confirmado que ninguna de ellas sea la herramienta en el caso. Todas las plataformas que mencionan exigen que los usuarios sean mayores de 18 años, pero está claro que no existe ningún mecanismo de salvaguarda para evitar que los menores puedan utilizarlas, [como señala elDiario.es](https://www.eldiario.es/ tecnologia/negocio-lista-espera-app-usada-desnudar-menores-badajoz-cobra-9-euros-25-fotos_1_10522989.html).

Que este evento haya tenido lugar en una ciudad de 34.000 habitantes demuestra una vez más que las nuevas tecnologías hacen que violar el cuerpo de las mujeres sea aún más fácil. Desde que las tecnologías deepfake se hicieron populares, algunos esperaban que la desinformación y la propaganda fueran los principales casos de uso, lo que llevó al colapso de las instituciones y a la guerra. En cambio, las mujeres han sido el principal objetivo.

Esto viene sucediendo desde hace tiempo: “Sorprendentemente, desde que se crearon los primeros vídeos y fotografías pornográficas falsas en 2017 utilizando estas técnicas, este ha sido el principal dominio de aplicación. Hoy en día, la mayoría de los estudios estiman que alrededor del 90% de los contenidos falsos que se publican online son pornográficos”, resume en su libro Marta Beltrán, doctora en informática y modelización matemática Mr. Internet.

El angustioso caso de España volvió a poner en evidencia un problema de nunca acabar. En 2019, una aplicación del mismo tipo, DeepNude, permitía a los usuarios [quitar la ropa de fotografías de mujeres por 50 dólares](https://www.vice.com/en/article/kzm59x/deepnude-app-creates-fake -desnudos-de-cualquier-mujer). Un año después, apareció un bot de Telegram que permitió a los usuarios recibir desnudos falsos a cambio de enviar fotografías de niñas y mujeres.

Ambos servicios fueron retirados después de que los medios informaran al respecto y, por lo tanto, crearon cierto revuelo público. Pero, al igual que los hongos, siguen apareciendo herramientas similares.

El problema va más allá, tal y como señala Marta Beltrán a AlgorithmWatch: “Algunos de estos servicios se anuncian directamente con eslóganes como 'desnúdate a quien quieras', y se ofrecen en determinados canales de TikTok, chats de videojuegos y plataformas similares. donde actúan menores y muy jóvenes. Está claro que son el público objetivo y ofrecen tutoriales para que aprendan rápidamente y se hagan una idea de lo que se puede hacer. Se lo muestran incluso como algo divertido”.

Estas plataformas ya no son sólo para adultos. En cambio, se anuncian como una “barra libre” para jóvenes, dice Beltrán. Crear fotografías artificiales de alguien que conocemos es algo que, con un poco de esfuerzo, se puede conseguir con herramientas tan conocidas como Photoshop. Pero un servicio automatizado para desnudar a las mujeres que pueda ser utilizado fácilmente por niños de 13 años es algo completamente diferente y los reguladores deberían tratarlo en consecuencia.

En tales casos, no se castiga el uso de una tecnología en particular, sino el resultado. Desnudar a niñas menores de edad utilizando modelos generativos no es directamente un delito penal, lo que dificulta aún más el caso legal.

Según El País, persiste la confusión sobre qué delitos específicos deben ser perseguidos. Los fiscales podrían considerar acusar a los malhechores de “producción o distribución de material pornográfico” y “posesión de pornografía infantil”, aunque la ley exige que las imágenes muestren un “acto sexual explícito” o que los genitales del menor se muestren de forma sexual. como señala la profesora de Derecho Paz Lloria. Esto no parece aplicarse en este caso. Otra vía legal podría ser presentar cargos porque se violó la privacidad y la integridad moral de las víctimas.

La Agencia Nacional de Protección de Datos de España también ha abierto una investigación de oficio por una posible violación de las leyes de protección de datos y está haciendo uso de su ' Canal prioritario', un servicio gratuito que permite a los ciudadanos en España denunciar la difusión de fotografías o vídeos sexuales no consentidos y que requiere que las plataformas los retiren.

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd