Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 4572

Incidentes Asociados

Incidente 59757 Reportes
Female Students at Westfield High School in New Jersey Reportedly Targeted with Deepfake Nudes

Un adolescente creó un desnudo con inteligencia artificial de su compañera de clase y lo distribuyó en Snapchat: fue suspendido de la escuela por un día
digitalcameraworld.com · 2024

Mientras los miembros del Parlamento del Reino Unido lanzan una propuesta para prohibir legalmente los teléfonos inteligentes en las escuelas, para proteger a los niños del daño potencial de las redes sociales, una adolescente en los EE. UU. comparte su historia después de que imágenes de ella desnuda tomadas con inteligencia artificial terminaran circulando en las redes sociales.

Francesca Mani tenía 14 años el pasado mes de octubre cuando llamaron su nombre por el altavoz de la escuela secundaria Westfield en Nueva Jersey, convocándola a la oficina del director. Luego se enteró de que un compañero de estudios había sacado una foto suya de Instagram y la había subido a un sitio llamado Clothoff, un popular sitio web de “desnudez”.

Mani, que ha sido elegida como una de las 100 personas más influyentes en IA 2024 por su campaña de Time Out, se sentó con Anderson Cooper en 60 Minutes y explicó por qué ahora está en una misión para evitar que esto le suceda a otras personas.

Según Graphika y según informó CBS News, solo el mes pasado hubo más de tres millones de visitas a Clothoff, un sitio donde las personas pueden subir una foto, obtenida fácilmente de la cuenta de redes sociales de otra persona, y usar inteligencia artificial para quitarse la ropa, lo que da como resultado una falsificación profunda que parece muy real.

Mani nunca vio la foto que circulaba de ella, pero una demanda presentada por una compañera de estudios también apuntaba a las afirmaciones de que un chico de su escuela había descargado las fotos de Instagram a Clothoff y luego las había hecho circular por la escuela en Snapchat.

"Es como un fuego rápido", dijo, "Simplemente pasa por todos. Y entonces, cuando alguien escucha esto, dice: 'Espera. ¿Como, IA?' Nadie piensa que eso podría pasarte a ti".

¡Las mejores ofertas de cámaras, reseñas, consejos de productos y noticias de fotografía imperdibles, directamente en tu bandeja de entrada!

Si bien la escuela argumentó que las imágenes habían sido eliminadas y que la circulación había cesado, la madre de Mani, Dorota, no estaba convencida. En declaraciones a 60 Minutes, dijo: "¿Quién imprimió? ¿Quién hizo una captura de pantalla? ¿Quién lo descargó? Realmente no se puede borrar".

60 Minutes también encontró 30 casos similares en escuelas de los EE. UU. durante los últimos 20 meses, además de otros casos a nivel mundial. En al menos tres de esos casos, Snapchat se utilizó supuestamente para hacer circular desnudos de IA.

Yiota Souras es la directora legal del Centro Nacional para Niños Desaparecidos y Explotados, que trabaja con empresas de tecnología para marcar contenido inapropiado en sus sitios. Si bien algunos pueden argumentar que las imágenes son falsas, Souras sostiene que el daño que causan a las víctimas es real.

Ella le dijo a CBS: "Sufrirán, ya sabes, problemas de salud mental y daño a la reputación. En un entorno escolar, esto se amplifica realmente, porque uno de sus compañeros ha creado estas imágenes. Por lo tanto, hay una pérdida de confianza. Una pérdida de confianza."

En el caso de Mani, le informaron que el chico que creó y distribuyó la imagen recibió una suspensión de un día de la escuela como único castigo.

La nueva tecnología de inteligencia artificial ha avanzado mucho más rápido de lo que sus contrapartes humanas pueden controlar con la legislación adecuada. Hay confusión y lagunas, y la responsabilidad de estos usos indebidos de la nueva tecnología a menudo se transmite de un lado a otro.

Un padre le dijo a 60 Minutes que Snapchat tardó 8 meses en lograr que se eliminaran las cuentas que habían compartido las imágenes de su hija. El Departamento de Justicia dice que los desnudos de menores realizados con inteligencia artificial son ilegales según las leyes federales de pornografía infantil si muestran lo que se define como "conducta sexualmente explícita". Sin embargo, la preocupación de Souras es que algunas de estas imágenes de desnudos creadas por sitios web pueden no cumplir con esa definición.

Mani, que ahora tiene 15 años, y su madre han pasado el último año alentando a las escuelas a implementar políticas serias en torno a la IA, y han estado trabajando con miembros del Congreso para tratar de aprobar múltiples proyectos de ley federales para proteger a las personas. La Take It Down Act (Ley de eliminación de imágenes) está copatrocinada por el senador republicano Ted Cruz y Amy Klobuchar, una política y abogada que, el año que viene, se convertirá en la presidenta del Comité Directivo y de Políticas Demócratas del Senado.

El proyecto de ley crearía sanciones penales por compartir desnudos de IA y requeriría que las empresas de redes sociales eliminen las fotos dentro de las 48 horas posteriores a recibir una solicitud. Fue aprobado por el Senado a principios de este mes, y ahora está a la espera de una votación en la Cámara de Representantes.

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • 1420c8e