Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 3290

Incidentes Asociados

Incidente 59757 Reportes
Female Students at Westfield High School in New Jersey Reportedly Targeted with Deepfake Nudes

Loading...
Imágenes de chicas desnudas generadas por IA en una escuela secundaria de Nueva Jersey desencadenan una investigación policial: "Estoy aterrorizada"
nypost.com · 2023

Según un informe, los compañeros de clase hicieron circular imágenes pornográficas de estudiantes femeninas en una escuela secundaria de Nueva Jersey generadas por IA, lo que provocó el revuelo de los padres y una investigación policial.

Estudiantes de Westfield High School, ubicada en Westfield, una ciudad a unas 25 millas al oeste de Manhattan donde el ingreso familiar promedio es de $259,377, según [Forbes](https://www.forbes.com/sites/andrewdepietro/2023/09/ 11/what-is-the-richest-city-in-new-jersey-latest-census-data-reveals-the-details/?sh=5cc3da976845) — dijo [al Wall Street Journal](https://www. wsj.com/tech/personal-tech/fake-nudes-of-real-students-cause-an-uproar-at-a-new-jersey-high-school-df10f1bb?mod=tech_lead_story) que uno o más compañeros de clase usaron una herramienta en línea respaldada por IA para crear imágenes atrevidas y luego compartirlas con sus compañeros.

Una madre cuya hija estudia en Westfield High School, al relatar lo que su hija le dijo al Journal, dijo que los chicos de segundo año de la escuela estaban actuando "raro" el lunes 16 de octubre.

Varias niñas comenzaron a hacer preguntas y, finalmente, el 20 de octubre, un niño reveló de qué se trataban todos los susurros: al menos un estudiante había usado fotos de niñas encontradas en línea para crear desnudos falsos y luego las compartió con otros niños en chats grupales. , según el Diario.

Según los informes, los administradores de la escuela también dijeron a varias estudiantes que los niños las habían identificado en las imágenes pornográficas falsas, dijeron los padres, aunque un portavoz de la escuela secundaria se negó a decirle al Journal si los miembros del personal habían visto las fotos.

Imágenes falsas de desnudos de estudiantes de Westfield High School en Nueva Jersey circulaban entre compañeros varones. Algunos miembros del personal de la escuela incluso dijeron a las niñas que aparecían en las imágenes, según el Wall Street Journal.

Otra madre, Dorota Mani, dijo que en la escuela le dijeron a su hija Francesca, de 14 años, que su foto se había utilizado para generar una imagen desnuda falsa, conocida como “deepfake”.

“Me aterroriza cómo y cuándo saldrá a la luz esto. Mi hija tiene un futuro brillante y nadie puede garantizar que esto no la afectará profesional, académica o socialmente”, dijo Mani al Journal.

La madre preocupada dijo que no quiere que su hija vaya a la escuela con nadie que haya creado las imágenes y confirmó que presentó una denuncia policial.

Según la empresa de inteligencia visual sobre amenazas Sensity, más del 90% de las imágenes deepfake son pornográficas.

Muchos también usan imágenes de celebridades, como un video viral reciente donde un deepfake generado por IA mostraba a [la supermodelo Bella Hadid](https://nypost.com/2023/10/31/news/bella-hadid-video-is- aterradoramente-realista-deepfake/), cuyo padre es palestino, expresa su apoyo a Israel. A principios de este año, imágenes deepfake del Papa Francisco en un Balenciaga La chaqueta acolchada y la resistencia de Donald Trump al arresto también arrasaron en Internet.

Snap, detrás de Snapchat, ha tomado medidas para prohibir este tipo de imágenes de menores y reportarlas al Centro Nacional para Niños Desaparecidos y Explotados, según el Journal, aunque existen casi cero salvaguardias para evitar que esto suceda en otras partes de Internet. .

No quedó claro de inmediato qué sitio web de inteligencia artificial se utilizó para crear las imágenes pornográficas, aunque hay muchos generadores de imágenes gratuitos respaldados por inteligencia artificial en Internet, incluidos Dall-E de OpenAI, Firefly y Canva de Adobe, así como una serie de generadores menores. herramientas conocidas como Freepik, Wepik, Craiyon y Fotor, solo por nombrar algunas.

Los padres de otras niñas que hablaron con el Journal, incluidos dos de los cuatro que presentaron denuncias ante la policía local, dijeron que ellos y sus hijas no habían visto las imágenes en cuestión.

Una persona familiarizada con la investigación policial dijo que la policía tampoco ha visto las fotos, informó el Journal.

También el 20 de octubre, la directora de la escuela secundaria Westfield, Mary Asfendis, confirmó el incidente a los padres de cada uno de los aproximadamente 1.900 estudiantes de la escuela después de que las niñas informaran sobre las fotografías a los administradores de la escuela.

Asfendis también dijo en el correo electrónico obtenido por el Journal que creía que las imágenes habían sido eliminadas y ya no circulaban.

"Este es un incidente muy grave", escribió Asfendis. “Las nuevas tecnologías han hecho posible falsificar imágenes y los estudiantes necesitan conocer el impacto y el daño que esas acciones pueden causar a los demás”.

También prometió seguir enseñando a los niños sobre el uso responsable de la tecnología.

No quedó claro de inmediato cuántos estudiantes participaron en la creación de las imágenes de desnudos falsos o si se había tomado alguna medida disciplinaria.

"Es difícil presenciar una situación en la que ves a niñas traumatizadas en una etapa vulnerable de sus vidas", dijo la alcaldesa de Westfield, Shelley Brindle, al Journal sobre el incidente, y agregó que, como la primera alcaldesa de la ciudad, se considera una defensora. para mujeres y niñas.

El Post ha buscado comentarios de Westfield High School y del Departamento de Policía de Westfield.

Esta misma semana, el presidente Biden emitió una amplia [orden ejecutiva] (https://www.whitehouse.gov/briefing-room/presidential-actions/2023/10/30/executive-order-on-the-safe-secure- and-trustworthy-development-and-use-of-artificial-intelligence/) que [regula el desarrollo de la IA](https://nypost.com/2023/10/30/news/biden-tightens-ai-regulations- como-los-críticos-advierten-sobre-la-sofocación-de-la-burocracia-a-las-compañías/), e implementa “salvaguardias contra… la producción de material de abuso sexual infantil y contra la producción de imágenes íntimas no consensuadas de individuos reales”.

Los funcionarios estatales han prohibido la distribución de pornografía generada por IA o han otorgado a las víctimas el derecho a demandar en tribunales civiles en Virginia, California, Minnesota y Nueva York.

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd