Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 3449

Incidentes Asociados

Incidente 59757 Reportes
Female Students at Westfield High School in New Jersey Reportedly Targeted with Deepfake Nudes

Loading...
Para las adolescentes víctimas de desnudos 'deepfake', hay pocos recursos
nbcnews.com · 2023

Según los legisladores, las adolescentes en los EE. UU. que son cada vez más blanco de ataques o amenazas con fotografías falsas de desnudos creadas con inteligencia artificial u otras herramientas tienen formas limitadas de buscar responsabilidad o recurso, mientras las escuelas y las legislaturas estatales luchan por ponerse al día con las nuevas tecnologías. expertos legales y una víctima que ahora aboga por un proyecto de ley federal.

Desde que comenzó el año escolar 2023, los casos que involucran a chicas adolescentes víctimas de fotos de desnudos falsos, también conocidas como deepfakes, han proliferado en todo el mundo, incluso en escuelas secundarias de Nueva Jersey y el estado de Washington.

Los departamentos de policía locales están investigando los incidentes, los legisladores se apresuran a promulgar nuevas medidas que impongan castigos contra los creadores de las fotografías y las familias afectadas están presionando para obtener respuestas y soluciones.

Se pueden crear deepfakes poco realistas con sencillas herramientas de edición de fotografías que existen desde hace años. Pero dos distritos escolares dijeron a NBC News que creen que las fotos falsas de adolescentes que han afectado a sus estudiantes fueron generadas por IA.

La tecnología de inteligencia artificial está cada vez más disponible, como la difusión estable (tecnología de código abierto que puede producir imágenes a partir de mensajes de texto) y herramientas de “intercambio de rostros” que pueden colocar el rostro de una víctima en lugar del rostro de un artista pornográfico en un video o una fotografía. .

Las aplicaciones que pretenden "desnudar" fotografías vestidas también se han identificado como posibles herramientas utilizadas en algunos casos y se han encontrado [disponibles de forma gratuita] (https://www.nbcnews.com/tech/internet/chinas-crackdown-deepfakes- dont-stop-apps-finding-us-audience-rcna77423) en las tiendas de aplicaciones. Estos deepfakes modernos pueden tener un aspecto más realista y ser más difíciles de identificar inmediatamente como falsos.

"No sabía lo compleja y aterradora que es la tecnología de IA", dijo Francesca Mani, de 15 años, estudiante de segundo año en la escuela secundaria Westfield de Nueva Jersey, donde más de 30 niñas supieron el 20 de octubre que podrían haber sido representadas en forma explícita de IA. -imágenes manipuladas.

“Me sorprendió porque a mí y a las otras niñas fuimos traicionados por nuestros compañeros de clase”, dijo, “lo que significa que le podría pasar a cualquiera y a cualquiera”.

Políticos y expertos legales dicen que hay pocas vías de recurso, si es que hay alguna, para las víctimas de pornografía ultrafalsa y generada por IA, que a menudo une el rostro de la víctima a un cuerpo desnudo.

Las fotos y los vídeos pueden ser sorprendentemente realistas y, según Mary Anne Franks, experta jurídica en medios sexualmente explícitos no consensuados, la tecnología para hacerlos se ha vuelto más sofisticada y accesible.

Un mes después del incidente en Westfield High School, Francesca y su madre, Dorota Mani, dijeron que aún no conocen las identidades ni el número de personas que crearon las imágenes, cuántas se hicieron o si todavía existen. Tampoco está claro qué castigo impuso el distrito escolar, si corresponde.

La ciudad de Westfield dirigió sus comentarios a las Escuelas Públicas de Westfield, que declinaron hacer comentarios. Citando confidencialidad, el distrito escolar le dijo anteriormente a [NBC New York](https://www.nbcnewyork.com/news/local/students-at-nj-school-reportedly-used-ai-to-make-pornographic-images- of-classmates/4829307/) que “no divulgaría ninguna información sobre los estudiantes acusados de crear fotos de desnudos falsos, o a qué disciplina se enfrentan”.

El superintendente Raymond González dijo al medio de comunicación que el distrito "continuaría fortaleciendo nuestros esfuerzos educando a nuestros estudiantes y estableciendo pautas claras para garantizar que estas nuevas tecnologías se utilicen de manera responsable en nuestras escuelas y más allá".

En un correo electrónico obtenido por NBC News, Mary Asfendis, directora de la escuela secundaria, dijo a los padres el 20 de octubre que estaba investigando las afirmaciones de los estudiantes de que algunos de sus compañeros habían utilizado IA para crear imágenes pornográficas a partir de fotografías originales.

En ese momento, los funcionarios escolares creían que las imágenes creadas habían sido eliminadas y no circulaban, según el memorando.

"Este es un incidente muy grave", escribió Asfendis, mientras instaba a los padres a discutir el uso de la tecnología con sus hijos. “Las nuevas tecnologías han hecho posible falsificar imágenes y los estudiantes necesitan conocer el impacto y el daño que esas acciones pueden causar a los demás”.

Si bien Francesca no ha visto su imagen ni la de otros, su madre dijo que el director de Westfield le dijo que cuatro personas identificaron a Francesca como una víctima. Francesca presentó un informe policial, pero ni el Departamento de Policía de Westfield ni la fiscalía respondieron a las solicitudes de comentarios.

El senador estatal de Nueva Jersey, Jon Bramnick, dijo que las autoridades le expresaron su preocupación de que el incidente sólo derivaría en una “denuncia de acoso de tipo cibernético, aunque en realidad debería alcanzar el nivel de un delito más grave”.

"Si colocas un cuerpo desnudo en la cara de un niño, para mí eso es pornografía infantil", dijo.

El legislador republicano dijo que las leyes estatales actualmente no llegan a castigar a los creadores de contenidos, aunque el daño infligido por imágenes reales o manipuladas puede ser el mismo.

“Los victimiza de la misma manera que lo hacen las personas que se dedican a la pornografía infantil. No sólo es ofensivo para el joven, sino que lo difama. Y nunca se sabe qué va a pasar con esa fotografía”, dijo. "No se sabe dónde está una vez que se transmite, cuándo volverá y perseguirá a la joven".

Bramnick dijo que un [proyecto de ley estatal pendiente] (https://www.njleg.state.nj.us/bill-search/2022/S3707) en Nueva Jersey prohibiría la pornografía deepfake e impondría sanciones penales y civiles por divulgación no consensual. Según el proyecto de ley, una persona condenada por el delito enfrentaría de tres a cinco años de cárcel y/o una multa de 15.000 dólares, dijo.

Si se aprueba, Nueva Jersey se uniría al menos a otros 10 estados que han promulgado leyes contra los deepfakes, según Franks, profesor de derecho y presidente de Cyber Civil Rights Initiative, un grupo sin fines de lucro que combate la pornografía no consensual.

Las leyes estatales que apuntan a los deepfakes varían ampliamente en su alcance. Algunos de ellos, como los de Texas y Wyoming, consideran que los deepfakes pornográficos no consensuados son una infracción penal. Otros estados, como Nueva York, tienen leyes que sólo permiten a las víctimas presentar una demanda civil.

Franks dijo que las leyes están “por todas partes”, no son exhaustivas y se ha cuestionado la constitucionalidad de las leyes.

"Así que tenemos un mosaico de cargos penales, que van a ser difíciles en estos casos porque los perpetradores serán menores, lo que plantea sus propias preguntas", dijo.

‘Probablemente solo la punta del iceberg’

No está claro cuántos jóvenes han sido víctimas de desnudos generados por IA.

El FBI dijo que es difícil calcular el número de menores que son explotados sexualmente. Pero la agencia dijo que ha visto un aumento en el número de casos abiertos relacionados con delitos contra niños. Hubo más de 4.800 casos en 2022, frente a los más de 4.100 del año anterior, dijo el FBI a NBC News.

"El FBI toma en serio los crímenes contra niños y trabaja para investigar los hechos de cada acusación en un esfuerzo colectivo con nuestros socios policiales estatales, locales y tribales", dijo la agencia, y agregó que las víctimas pueden enfrentar desafíos importantes al intentar detener la difundir la imagen o eliminarla de Internet.

Franks dijo que es probable que haya muchos más incidentes y que solo aumentarán.

"Lo que sea que estemos escuchando que flota hacia la superficie es probablemente sólo la punta del iceberg", dijo. "Esto probablemente esté sucediendo bastante ahora mismo, y las niñas simplemente no se han enterado todavía o no lo han descubierto o la escuela lo está encubriendo".

En la escuela secundaria Issaquah en el estado de Washington, un representante del distrito escolar dijo que un incidente a mediados de octubre “que involucra imágenes falsas de estudiantes generadas por IA” continúa afectando al alumnado.

En la ciudad española de Almendralejo, [dicen las madres](https://english.elpais.com/international/2023-09-18/in-spain-dozens-of-girls-are-reporting-ai-generated-nude- fotos-de-ellos-siendo-circuladas-en-la-escuela-mi-corazón-se saltó-un-latido.html) docenas de sus hijas en edad de escuela secundaria han sido víctimas de fotografías de desnudos generadas por IA y creadas con una aplicación que puede " desnudarse” fotos vestidas. La policía local de Nueva Jersey, Washington y España está investigando los casos de las escuelas secundarias.

En un [anuncio de servicio público] de junio (https://www.ic3.gov/Media/Y2023/PSA230605), el FBI advirtió que la tecnología utilizada para crear fotografías y vídeos pornográficos no consensuados y falsificados estaba mejorando y se estaba utilizando para acoso y sextorsión.

Mientras tanto, la Asociación Nacional de Fiscales Generales pidió en septiembre al Congreso que estudiara los efectos de la IA en los niños y elaborara una legislación que los protegiera de esos abusos.

En una carta firmada por 54 fiscales generales estatales y territoriales, el grupo dijo que le preocupaba que “AI esté creando una nueva frontera para los abusos que dificulte el enjuiciamiento”.

"Estamos inmersos en una carrera contra el tiempo para proteger a los niños de nuestro país de los peligros de la IA", decía la carta.

Francesca y su madre dijeron que planean viajar a Washington, D.C., en diciembre para instar personalmente a los miembros del Congreso a actuar, mientras continúan abogando por políticas actualizadas dentro del sistema escolar y buscando responsabilidad por lo sucedido.

"Todos sabemos que este no es un incidente aislado", dijo Dorota Mani. “Nunca será un incidente aislado. Esto seguirá sucediendo todo el tiempo. Tenemos que dejar de fingir que no es importante”.

El aumento de los incidentes dirigidos a chicas de secundaria se produce tras la proliferación de [aplicaciones de IA deepfake](https://www.nbcnews.com/tech/internet/chinas-crackdown-deepfakes-doesnt-stop-apps-finding-us-audience- rcna77423) y sitios web de pornografía deepfake donde dicho material se crea, se comparte y se vende.

Un informe de 2019 de Sensity, una empresa con sede en Ámsterdam que rastrea los medios generados por IA, encontró que el 96% de los deepfakes creados en ese El punto era sexualmente explícito y presentaba a mujeres que no daban su consentimiento para su creación. Muchas víctimas desconocen la existencia de los deepfakes.

Franks dijo que no hay nada que los padres y los niños puedan hacer para evitar la creación de deepfakes utilizando sus imágenes. En cambio, Franks dijo que las escuelas y las autoridades locales deben dar ejemplo a los perpetradores en casos que llegan al público en general, para disuadir a otros de crear deepfakes.

“Si pudieras imaginar una respuesta dramática e importante de la escuela de Nueva Jersey o de las autoridades de Nueva Jersey para convertir el caso en un ejemplo, penas realmente estrictas, la gente va a la cárcel, es posible que te desanimes”, dijo Franks. .

"En ausencia de eso, simplemente se convertirá en una herramienta más que hombres y niños usan contra mujeres y niñas para explotarlas y humillarlas y sobre la cual la ley básicamente no tiene nada que decir".

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd