Incidentes Asociados
Una ciudad en España llegó a los titulares internacionales después de que varias jóvenes escolares dijeran que habían recibido imágenes falsas de ellas mismas desnudas que fueron creadas usando una "aplicación para desvestirse" de fácil acceso impulsada por inteligencia artificial, lo que generó una discusión más amplia sobre el daño que estas herramientas pueden causar.
"Hoy en día, un teléfono inteligente puede considerarse un arma", dijo a ABC News José Ramón Paredes Parra, padre de una víctima de 14 años. "Un arma con un potencial real de destrucción y no quiero que vuelva a suceder".
Hasta el momento se han identificado más de 30 víctimas de entre 12 y 14 años y se ha iniciado una investigación desde el 18 de septiembre, dijo la Policía Nacional española a ABC News.
Y aunque la mayoría de las víctimas son de Almendralejo, una ciudad en el suroeste de España en el centro de esta controversia, la Policía Nacional española dice que también ha encontrado víctimas en otras partes del país.
Un grupo de perpetradores masculinos, que según la policía conocían a la mayoría de las víctimas, utilizaron fotografías tomadas de los perfiles de las redes sociales de las víctimas femeninas y las subieron a una aplicación nudify, dijeron las autoridades a ABC News.
Nudify es un término utilizado para describir una herramienta impulsada por IA diseñada para quitarle la ropa a un sujeto en una foto. En este caso, el servicio se puede utilizar a través de Telegram o mediante una aplicación que descargas en tu teléfono.
Estos mismos perpetradores, también menores de edad, crearon un chat grupal en WhatsApp y Telegram para difundir estas imágenes de desnudos fabricadas y no consentidas, dijeron las autoridades a ABC News. Las imágenes falsas se utilizaron para extorsionar al menos a una víctima en Instagram a cambio de imágenes de desnudos reales o dinero, dijo el padre de una de las víctimas.
Telegram le dijo a ABC News que moderan activamente el contenido dañino en su plataforma, incluida la distribución de material de abuso sexual infantil (CSAM). "Los moderadores utilizan una combinación de monitoreo proactivo de partes públicas de la aplicación e informes de usuarios para eliminar contenido que infringe nuestros términos de servicio". En el transcurso del mes de septiembre, Telegram dice que los moderadores eliminaron 45.000 grupos y canales relacionados con el abuso infantil.
El portavoz de WhatsApp le dijo a ABC News que tratarían "esta situación de la misma manera que cualquier tipo de CSAM del que tengamos conocimiento en nuestra plataforma: prohibiríamos a los involucrados y los denunciaríamos al Centro Nacional para Niños Desaparecidos y Explotados".
"Se trata de un abuso directo de mujeres y niñas, mediante tecnología diseñada específicamente para abusar de mujeres y niñas", afirmó la profesora Clare McGlynn, profesora de derecho en la Universidad de Durham en el Reino Unido y experta en violencia contra mujeres y niñas.
ABC News se comunicó con la dirección de correo electrónico que figura en el sitio web de la aplicación y recibió una respuesta. El equipo detrás de la aplicación dijo que su razón principal para crear este tipo de servicio era hacer "reír a la gente" "procesando sus propias fotos y reír juntos procesando las fotos de los demás".
"Al reírnos de ello, queremos mostrarle a la gente que no deben avergonzarse de la desnudez, especialmente si fue realizada mediante redes neuronales", explicó el equipo por correo electrónico.
Cuando se les preguntó qué salvaguardias existían con respecto al uso de la aplicación con fotografías de menores, respondieron que cuentan con protecciones para fotografías de personas menores de 18 años. Si un usuario intenta subir una foto de un menor, lo hará recibir un error y ser bloqueado después de dos usos, agregaron.
El equipo detrás de la aplicación dijo que investigaron cómo se usó su aplicación después de que estalló la noticia del caso en España y descubrieron que los perpetradores tenían una solución y probablemente usaron una combinación de su aplicación y otra aplicación para crear los desnudos no consensuados.
Los expertos le dicen a ABC News que todo lo que se necesita para hacer un deepfake hiperrealista y no consensuado es una foto, una dirección de correo electrónico y unos pocos dólares si desea crearlos en masa.
ABC News revisó la aplicación Nudify que, según las autoridades españolas, se utilizó para crear estas imágenes explícitas de niñas generadas por IA. La aplicación ofrece un servicio gratuito que se puede utilizar a través de Telegram, así como una aplicación que puedes descargar en tu teléfono.
Cuando ABC News revisó la aplicación, ofrecía un servicio pago premium que enumeraba métodos de pago como Visa, Mastercard y Paypal. Estos métodos de pago, junto con varios otros, fueron eliminados después de que ABC News se comunicara con ellos.
Un portavoz de Visa le dijo a ABC News que no permite que su red se utilice para actividades ilegales. "Las reglas de Visa requieren que los comerciantes obtengan el consentimiento de todas las personas representadas en cualquier contenido para adultos, incluido el contenido generado o modificado por computadora, como los deepfakes", agregó un portavoz.
Un portavoz de Paypal dijo a ABC News que "se toma muy en serio su responsabilidad de garantizar que los clientes no utilicen sus servicios para actividades que no están permitidas según su Política de uso aceptable. Revisamos periódicamente las cuentas y cuando encontramos pagos que violan nuestras políticas, tomará las medidas adecuadas."
Mastercard no respondió a las solicitudes de comentarios.
Parra y su esposa, la Dra. Miriam Al Adib Mendiri, acudieron directamente a la policía local después de que dijeron que su hija les había confiado que había sido atacada y también decidieron que utilizarían el gran número de seguidores sociales de Mendiri para denunciar el crimen públicamente.
"Aquí estamos unidos para PARAR ESTO YA. Usar imágenes ajenas para hacer esta barbaridad y difundirlas, es un delito gravísimo", compartió Mendiri en un vídeo de Instagram. "[…] Niñas, no tengan miedo de denunciar tales actos. Díselo a tus madres".
El llamamiento público de Mendiri hizo que muchas más víctimas acudieran a la policía. Las autoridades locales dicen que algunos de los perpetradores tienen menos de 14 años, por lo que tendrán que ser juzgados según la ley penal menor. Las investigaciones están en curso, confirmó la Policía Nacional española.
"Si no entienden lo que hicieron ahora, si no se dan cuenta, ¿en qué se convertirán más adelante?" dijo Parra. "Tal vez violador, tal vez perpetrador de violencia de género... necesitan ser educados y cambiar ahora".
Expertos como McGlynn creen que la atención debería centrarse en cómo las plataformas de búsqueda globales clasifican las imágenes deepfake no consensuadas y las aplicaciones que facilitan la creación de imágenes no consensuadas.
"Google vuelve a colocar los sitios web desnudos en la cima de su clasificación, permitiendo y legitimando estos comportamientos", dijo McGlynn. "No existe ninguna razón legítima para utilizar aplicaciones de nudificación sin consentimiento. Las plataformas de búsqueda como Google deberían eliminarlas de su clasificación".
Otro experto, que fundó una empresa para ayudar a las personas a eliminar contenido privado filtrado en línea, estuvo de acuerdo con McGlynn.
"Las aplicaciones que están diseñadas esencialmente para desnudar a mujeres desprevenidas no tienen ningún lugar en nuestra sociedad, y mucho menos en los motores de búsqueda", dijo Dan Purcell, fundador de Ceartas. "Estamos entrando en una situación endémica en la que los niños utilizan la IA para desnudarlos, y todo el mundo debería estar preocupado e indignado".
Un portavoz de Google respondió diciendo: “Como cualquier motor de búsqueda, Google indexa el contenido que existe en la web, pero diseñamos activamente nuestros sistemas de clasificación para evitar sorprender a las personas con contenido explícito o dañino inesperado. También contamos con protecciones bien desarrolladas para ayudar a las personas afectadas por pornografía falsa involuntaria: las personas pueden solicitar la eliminación de páginas sobre ellos que incluyan este contenido”.
Agregaron que a medida que este espacio y la tecnología evolucionan, "están trabajando activamente para agregar más salvaguardas para ayudar a proteger a las personas, basándose en sistemas que hemos creado para otros tipos de imágenes explícitas no consensuadas".
Bing de Microsoft es otro motor de búsqueda donde se pueden buscar fácilmente sitios web que contienen imágenes deepfake no consensuadas. Un portavoz de Microsoft dijo a ABC News: "La distribución de imágenes íntimas no consensuales (NCII) es una grave violación de la privacidad y la dignidad personal con efectos devastadores para las víctimas. Microsoft prohíbe NCII en nuestras plataformas y servicios, incluida la solicitud de NCII o la promoción para la producción o redistribución de imágenes íntimas sin el consentimiento de la víctima".