Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 4575

Incidentes Asociados

Incidente 59757 Reportes
Female Students at Westfield High School in New Jersey Reportedly Targeted with Deepfake Nudes

Loading...
Unos adolescentes falsificaron el contenido de su hija. Luego, la escuela lo empeoró, dice una madre.
forbes.com · 2024

El 20 de octubre de 2023, una estudiante de segundo año de secundaria de Nueva Jersey, que entonces tenía 14 años, se enteró de que una de sus compañeras de clase había utilizado un servicio en línea para crear una imagen generada artificialmente con su rostro en el cuerpo desnudo de una mujer. Y no fue la única: los funcionarios de la escuela secundaria Westfield informaron a Francesa Mani y a muchas otras estudiantes que los chicos de su clase habían creado y difundido imágenes pornográficas falsas de ellas a través de mensajes que se borraban automáticamente en Snapchat.

En las semanas siguientes, el relato de Mani fue ampliamentecrónica. Desde entonces, ella y su madre comenzaron a presionar para que se regularan este tipo de imágenes deepfake no consensuadas tanto a nivel estatal como federal. Francesa y su madre, Dorota Mani, incluso fueron invitadas a asistir al reciente discurso sobre el Estado de la Unión del presidente Joe Biden como invitadas del representante Tom Kean (republicano por Nueva Jersey).

Pero Dorota Mani le dijo a Forbes que casi cinco meses después del incidente, los chicos de la escuela secundaria Westfield que son sospechosos de distribuir las imágenes no han enfrentado consecuencias significativas, más allá de que uno de ellos fue suspendido por un solo día. Mani agregó que hasta la fecha, ninguno de los chicos acusados ha tenido contacto directo con ella o Francesca.

"No deberían estar caminando por esos pasillos con las chicas".

Dorota Mani

Sin embargo, según Mani, el 20 de octubre, un consejero escolar le dijo a Francesa que cuatro chicos habían admitido haber visto una imagen deepfake de ella. De manera similar, según una demanda relacionada presentada por "Jane Doe", una compañera de clase de Westfield, contra "John Smith", uno de los niños sospechosos, un subdirector de la escuela le dijo a la madre de Doe que "uno de los estudiantes que llamó a la oficina de la escuela sobre la situación confirmó a los funcionarios de la escuela que vieron una foto de Jane Doe desnuda". (El abogado de Smith, Christopher Adams, no respondió a la solicitud de comentarios de Forbes).

Según Mani, todos los sospechosos siguen asistiendo a la escuela, aproximadamente a 30 millas al oeste de la ciudad de Nueva York, y actualmente comparten clases con Francesca.

"No deberían estar caminando por esos pasillos con las chicas", dijo Mani.

En una declaración enviada por correo electrónico a Forbes, Mary Ann McGann, portavoz de las Escuelas Públicas de Westfield, dijo: "No podemos proporcionar detalles específicos sobre la cantidad de estudiantes involucrados y las medidas disciplinarias impuestas, ya que los asuntos que involucran a los estudiantes son confidenciales". Agregó que "la escuela secundaria realizó una investigación inmediata, basada en el Código de Conducta Estudiantil del distrito".

Mani describió su frustración con el liderazgo de la escuela de su hija en aproximadamente tres páginas de testimonio escrito publicado el lunes. Francesca habló el martes por la tarde ante un subcomité del Congreso sobre el flagelo de la pornografía deepfake, y pidió una "acción legislativa inmediata".

"En el momento en que [Francesca] fue informada de que era una de las víctimas de AI, se sintió impotente e impotente", dijo Mani al comité el martes. "Y entonces se dio cuenta de que un grupo de chicos se estaba burlando de un grupo de chicas. En ese momento, pasó de triste a enojada".

A principios de este mes, la presidenta del Comité de Supervisión y Responsabilidad de la Cámara de Representantes, la representante Nancy Mace (republicana de Carolina del Sur), presentó un nuevo proyecto de ley que convertiría la creación y distribución de dichas imágenes en un delito federal por primera vez.

Mani también dijo en su declaración escrita que la administración de la escuela secundaria Westfield "manejó mal" el incidente de su hija.

En una entrevista con Forbes, Mani explicó además que entendió por el Departamento de Policía de Westfield que la escuela aparentemente había entrevistado a los sospechosos en presencia de oficiales, pero, lo que es más importante, sin sus padres. Eso significaba que las declaraciones de los chicos no se podrían usar en los tribunales. (Según una sentencia de la Corte Suprema de Nueva Jersey de 2000, cualquier declaración hecha a la policía mientras una persona menor de 14 años esté detenida es "inadmisible por ley, a menos que el padre o tutor legal no esté realmente disponible").

"[La escuela] se equivocó", dijo Mani.

A fines de enero de 2024, la policía local se negó formalmente a presentar cargos penales y ni la escuela ni el distrito tomaron ninguna medida disciplinaria significativa. El Departamento de Policía de Westfield no respondió a las solicitudes de comentarios de Forbes.

"Si un comportamiento como este no requiere una respuesta por parte de la administración [de la escuela], la culpa es tuya", dijo Mani a Forbes.

"No solo les estás enseñando a los chicos que lo que están haciendo está bien, sino que estás enviando un mensaje muy claro a la población femenina de la escuela de que eres una niña y en algún momento serás una víctima. En 2024, eso no es aceptable".

McGann, la portavoz del distrito, también proporcionó una copia de un correo electrónico enviado por la directora Mary Asfendis a las familias de la escuela el 20 de octubre, en el que calificó el incidente de "muy grave" e instó a los padres a "hablar con sus hijos sobre su uso de la tecnología y lo que están publicando, guardando y compartiendo en las redes sociales".

Tras un incidente similar que tuvo lugar recientemente en una escuela secundaria en Beverly Hills, California, cinco estudiantes fueron expulsados apenas unas semanas después de que circularan imágenes deepfake y pornográficas de sus compañeros de clase. En diciembre, dos estudiantes de secundaria de Florida fueron arrestados tras ser acusados de crear imágenes similares. Según Wired, los estudiantes fueron acusados de delitos graves de tercer grado en virtud de una ley estatal que tipifica como delito compartir cualquier "representación sexual alterada" de alguien sin su consentimiento.

Estos son algunos de los incidentes deepfake conocidos perpetrados contra estudiantes femeninas que han surgido en los últimos meses en todo el país a medida que la tecnología se ha vuelto más popular. sofisticado y más fácil de usar. Numerosas aplicaciones y servicios en línea con nombres como "Nudify" y "ClothOff" pueden, en cuestión de segundos, crear una fuente infinita de imágenes de desnudos a partir de cualquier imagen cargada.

En el testimonio escrito, Mani también describió numerosas medidas que la escuela adoptó el 20 de octubre y después, que, según ella, han empeorado las cosas para las adolescentes.

Según el testimonio de Mani, el 20 de octubre, su hija, que ahora tiene 15 años, y otras personas descubrieron que las imágenes estaban circulando y rápidamente informaron a un subdirector que sus imágenes habían sido utilizadas para crear imágenes pornográficas. Sin embargo, ninguna de las niñas ni ningún empleado de la escuela vio las imágenes.

Casi inmediatamente, dijo Mani, la escuela "anunció de manera inapropiada" los nombres de las niñas a través del sistema de intercomunicación del campus, mientras que los niños acusados fueron "discretamente retirados" de la clase. La administración de la escuela, continuó, "afirmó que las fotografías de AI fueron borradas sin haberlas visto, y no ofreció ninguna prueba de su eliminación".

Además, mientras Francesa estaba hablando con los administradores sobre cómo procesar la situación, pidió hablar con una consejera escolar, una solicitud que según ella le fue denegada.

Mani dijo que cuando intentó buscar respuestas formales de la administración de la escuela, su comunicación fue "consistentemente ignorada". Se suponía que la escuela debía emitir un informe de "Acoso, Intimidación y Bullying" o HIB, 10 días después de que se denunciara el incidente, pero no se ha entregado dicho informe a Mani ni a nadie más.

"Todavía estoy esperando que concluya la investigación", dijo Mani a Forbes. "Hasta ahora, mi última comunicación de la directora fue que necesitaba más tiempo. Mi pregunta es: ¿cuánto tiempo más?"

Mientras tanto, dijo Mani, ha contratado abogados externos para proponer revisiones a las políticas del distrito contra el acoso cibernético (https://www.documentcloud.org%2Fdocuments%2F24475793-policies-attachment-1_2 "https://www.documentcloud.org/documents/24475793-policies-attachment-1_2"), que según ella están desactualizadas porque no hacen ninguna referencia a la amenaza de las imágenes deepfake.

"No estamos llorando, estamos enojados, estamos molestos", dijo. "Estamos luchando y no vamos a parar hasta que veamos que nuestra escuela tiene políticas de inteligencia artificial en vigor".

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd