Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 4544

Incidentes Asociados

Incidente 79927 Reportes
Aledo High School Student Allegedly Generates and Distributes Deepfake Nudes of Seven Female Classmates

Loading...
“Tenía mucho miedo”: los padres se enfrentan a las grandes tecnológicas por los desnudos realizados con inteligencia artificial
thetimes.com · 2024

La inteligencia artificial no era algo en lo que Elliston Berry estuviera pensando, más allá de una vaga comprensión de que los estudiantes no podían usarla para hacer trampa en los exámenes.

Acababa de comenzar su primer año en la escuela secundaria en Texas y se estaba sumergiendo en la vida estudiantil, pero la mañana del 2 de octubre Elliston tuvo una aterradora introducción a la tecnología. Las fotografías, tomadas de su cuenta de Instagram, habían sido sometidas a un software de inteligencia artificial para dejarla desnuda, y las imágenes falsas se estaban compartiendo entre sus compañeros de clase en Snapchat.

"Estaba totalmente en shock, no tenía pensamientos pasando por mi cabeza, estaba aterrorizada", dice. Tenía 14 años.

Una persona entonces desconocida también estaba compartiendo imágenes falsas de otras compañeras de clase usando herramientas en línea de fácil acceso que permiten a alguien cargar una fotografía real y usar IA para analizar cómo se vería esa persona sin ropa. El software crea una nueva imagen, utilizando la cabeza de la persona sobre un cuerpo desnudo generado por IA.

El año pasado, las escuelas de todo Estados Unidos se vieron obligadas a lidiar con esta forma emergente de explotación sexual sin un marco legal claro sobre cómo combatirla.

"Fue tan real", dice la madre de Elliston, Anna McAdams. "Eso es lo que fue tan impactante. "Aquí está mi hija, la conozco, sé la foto y dónde fue tomada. Simplemente no tenía palabras, aparte de ira: ¿cómo alguien pudo hacer esto?".

McAdams luego entró en lo que ella llama "modo Mamá Osa". En contacto con los padres de las otras niñas atacadas, organizó una reunión esa mañana con la policía y el personal de la escuela secundaria Aledo. Fue entonces cuando tuvo su segunda sorpresa del día.

"No sabían qué hacer con esto", dice. "No hay nada en el código de conducta estudiantil. Y por ley, tampoco hay nada".

Si bien es difícil cuantificar la escala del problema, ya que a menudo no se denuncia, se han documentado casos de desnudos de IA compartidos en escuelas en Texas, Nueva Jersey, Washington DC, Florida, California y el estado de Washington.

"Hemos escuchado de al menos media docena de escuelas que han tenido este mismo problema, y eso es solo la punta del iceberg", dice Brian Hughes, director ejecutivo del Laboratorio de Investigación e Innovación sobre Polarización y Extremismo (Peril) en la Universidad Americana en Washington. "Nadie está controlando este espacio completamente desregulado, y nuestros reguladores y nuestros legisladores realmente han sido negligentes en sus responsabilidades de proteger a los niños", dice.

Desde el salto adelante en las capacidades de IA con el lanzamiento Desde que se lanzó la tecnología ChatGPT en 2022, la capacidad de la tecnología para generar imágenes explícitas se ha explotado en todo el mundo, y muchas figuras públicas, como políticos y actores, han sido blanco de ataques. En el Reino Unido, una investigación de Channel 4 News descubrió que 255 personas fueron víctimas de quienes crearon lo que se conoce como imágenes deepfake.

Stefan Turkheimer, vicepresidente de políticas públicas de la Red Nacional contra la Violación, el Abuso y el Incesto, dice que le preocupaba especialmente que imágenes manipuladas y explícitas de niños pudieran entrar en el mercado comercial. "Si alguien no hace algo al respecto, relativamente pronto, podríamos entrar en una explotación comercial de estas imágenes", dice.

La creación de las imágenes puede tener un impacto particularmente devastador en las víctimas jóvenes, advierten los expertos. "Hay ansiedad, hay depresión, hay vergüenza, no quieren ir a la escuela, a menudo abandonan las actividades extracurriculares", dice Turkheimer, añadiendo que las consecuencias pueden durar toda la vida. "Algunos de ellos tienen miedo de aceptar trabajos fuera de casa, puede ser un verdadero problema de por vida. Y luego hay casos en los que las personas son acosadas cuando esas imágenes se asocian con sus nombres y con su identidad. En los peores casos, puede incluso llevar al suicidio".

Con demasiada frecuencia, dice, las escuelas se muestran reacias a tomar medidas contra el perpetrador: "La reacción básica en las escuelas estadounidenses en este momento es proteger a la persona que creó los deepfakes a expensas de la persona que es objeto de los deepfakes".

Esta fue la experiencia de Elliston Berry y su madre. El día después de que se compartieran las imágenes desnudas, la persona detrás de la cuenta de Snapchat que las había distribuido comenzó a publicar mensajes perturbadores sobre "salir con una explosión" y "arruinar a las niñas", lo que llevó a los padres a mantener a sus niñas fuera de la escuela.

Al día siguiente, el autor fue identificado cuando publicó una publicación usando el WiFi de la escuela. Fue acusado como menor de edad por la distribución de material dañino para un menor. Los padres afirman que la escuela no tomó muchas medidas y que dependía de ellos expulsarlo.

"La respuesta [de la escuela] fue: 'bueno, tenemos la obligación moral de educarlo, apoyarlo y protegerlo', y realmente lo trataron como si fuera la víctima y no las niñas", dice McAdams.

Elliston describe su estado mental cuando regresó a la escuela más tarde en la semana como "por todos lados". Ella dice que "estaba tan paranoica de que todos habían visto estas imágenes, me dio mucha ansiedad". Hasta ahora, la escuela no ha brindado ningún apoyo de salud mental. "Después de esa semana, simplemente se olvidaron de eso. Fue como una batalla silenciosa con la que yo y todas las niñas tuvimos que lidiar", dijo.

Un portavoz del Distrito Escolar Independiente de Aledo dijo que había "disciplinado al estudiante involucrado de acuerdo con el Código de Conducta Estudiantil del Distrito Escolar Independiente de Aledo y la ley estatal actual". El distrito dijo que estaba revisando su código de conducta a la luz del incidente.

La respuesta desigual de la policía y la escuela impulsó a Elliston y su madre a acercarse a Ted Cruz, el senador republicano de Texas que es padre de niñas adolescentes. En cuestión de meses, había colaborado en un proyecto de ley bipartidista llamado Take It Down Act, que criminaliza la publicación de desnudos no consentidos creados por IA y requiere que las plataformas en línea eliminen ese contenido en un plazo de 48 horas.

Cruz y su colega demócrata, Amy Klobuchar, presentaron el proyecto de ley en el Senado el mes pasado, y un grupo bipartidista también lo llevó a la Cámara de Representantes. En junio, con la presión de Cruz, Snapchat finalmente eliminó las imágenes de Elliston Berry, lo que ella describe como "un gran alivio". "Estas imágenes se han quedado grabadas en mi mente y cada día vivo con el temor de que vuelvan a aparecer", afirma.

Hughes, del laboratorio Peril de la American University, afirma que las escuelas también deben destinar recursos a garantizar que los niños y las niñas tengan espacios en los que puedan hablar sobre el consentimiento y la explotación sexual sin miedo ni vergüenza. "Es muy importante integrar esto en una forma mucho más amplia de criar a nuestros hijos para que respeten los derechos y la autonomía de otras personas", afirma.

Elliston Berry muestra una empatía notable por el joven que le causó tanta angustia. No tiene ni idea de cuál fue su motivación. "Realmente espero que pueda obtener la ayuda que necesita", afirma.

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd