Incidentes Asociados
Cuando las niñas de Westfield High School en Nueva Jersey descubrieron que los niños compartían fotos de ellas desnudas en chats grupales, se sorprendieron, y no solo porque era una invasión de la privacidad. Las imágenes no eran reales.
Los estudiantes dijeron que uno o más compañeros de clase utilizaron una herramienta en línea impulsada por inteligencia artificial para crear las imágenes y luego las compartieron con otros. El descubrimiento ha provocado revuelo en Westfield, una ciudad próspera en las afueras de la ciudad de Nueva York.
Las imágenes y vídeos falsificados o alterados digitalmente se han disparado junto con la disponibilidad de herramientas de inteligencia artificial gratuitas o económicas. Si bien los retratos de celebridades, desde Oprah Winfrey hasta el Papa Francisco, han llamado la atención de los medios, la abrumadora mayoría de las imágenes falsificadas son pornográficas, dicen los expertos.
La falta de claridad sobre la legalidad de tales imágenes (y cómo o si castigar a sus creadores) hace que los padres, las escuelas y las autoridades se apresuren a ponerse al día a medida que la IA avanza a toda velocidad.
La escuela secundaria confirmó el incidente en un correo electrónico a los padres, pero una portavoz de las Escuelas Públicas de Westfield se negó a proporcionar detalles sobre el número de estudiantes involucrados o confirmar si se había tomado alguna medida disciplinaria, citando la confidencialidad de los estudiantes.
Algunos padres de Westfield dijeron que sus hijas se han sentido humilladas e impotentes, y les preocupa el daño que podrían sufrir las niñas si las imágenes salieran a la luz más tarde. Y están molestos porque no se llega a una resolución.
Incluso entre los padres no hay consenso. En un grupo local de Facebook, algunos pidieron un castigo severo para quien haya creado las imágenes. Otros lo consideraron una transgresión juvenil que debería ser perdonada.
Es probable que el debate y sus consecuencias continúen durante meses. La policía de Westfield está investigando y un senador estatal pidió a los fiscales del condado que investiguen el caso.
Los murmullos
Los chicos de segundo año de Westfield High se comportaron "raro" el lunes 16 de octubre, susurrando entre ellos y estando más callados de lo normal, dijo una madre, contando lo que le dijo su hija, una compañera de clase.
Las niñas empezaron a hacer preguntas, dijo la madre. Finalmente, el 20 de octubre, un niño les contó a algunas de las niñas de qué se trataban todos los susurros: al menos un estudiante había usado un sitio web impulsado por inteligencia artificial para crear imágenes pornográficas usando fotos de niñas encontradas en línea y luego las compartió con otros niños en charlas grupales. Las niñas de Westfield informaron de la situación a los administradores de la escuela, quienes comenzaron a entrevistar a los niños que podrían haber tenido más información.
En un correo electrónico a los padres del 20 de octubre, la directora de la escuela secundaria Westfield, Mary Asfendis, dijo que creía que las imágenes habían sido eliminadas y no estaban circulando.
"Este es un incidente muy grave", escribió Asfendis. "Las nuevas tecnologías han permitido falsificar imágenes y los estudiantes necesitan conocer el impacto y el daño que esas acciones pueden causar a los demás". Se comprometió a seguir enseñando a los niños sobre el uso responsable de la tecnología.
Los administradores de la escuela les dijeron a varias niñas que algunos niños las habían identificado en las imágenes generadas, según los padres. La portavoz del distrito escolar se negó a decir si el personal de la escuela había revisado las imágenes.
Los padres de las niñas que hablaron con The Wall Street Journal, incluidos dos de los cuatro que presentaron denuncias ante la policía local, dijeron que ellos y sus hijas no habían visto las imágenes. La policía tampoco los ha visto, según una persona familiarizada con la investigación.
"Es difícil presenciar una situación en la que se ven niñas traumatizadas en una etapa vulnerable de sus vidas", dijo la alcaldesa de Westfield, Shelley Brindle, en una entrevista. La primera alcaldesa de la ciudad, se describe a sí misma como una defensora desde hace mucho tiempo de las mujeres y las niñas.
Brindle, exejecutiva de HBO, anima a las personas afectadas por esta situación a prestar declaraciones ante la policía. Una portavoz de la ciudad de Westfield dijo que el departamento de policía no haría comentarios.
Dorota Mani dijo que la escuela le dijo a su hija de 14 años, Francesca, que se había utilizado su fotografía.
"Me aterroriza cómo y cuándo saldrá esto a la luz. Mi hija tiene un futuro brillante y nadie puede garantizar que esto no la afectará profesional, académica o socialmente", dijo Mani, quien presentó un informe policial. Dijo que no quiere que su hija vaya a la escuela con nadie que haya creado las imágenes.
Solo se necesita un teléfono
El acoso digital está muy extendido en las escuelas de todo Estados Unidos. Los teléfonos inteligentes y sus cámaras integradas ya han hecho que el daño del acoso digital sea más profundo y duradero. Si bien la gente ha podido modificar imágenes con Photoshop y software similar durante años, [nuevos creadores de imágenes con IA](https://www.wsj.com/articles/reality-is-broken-we-have-ai-photos- to-blame-de00b23) facilitan la producción de fotografías completamente inventadas. Y cualquier imagen se puede compartir fácilmente en plataformas sociales y de mensajería con unos pocos toques.
"Hace unos años se habría necesitado todo un grupo de computadoras para generar imágenes. Ahora sólo necesitas un iPhone", dijo Ben Colman, director ejecutivo de Reality Defender, que trabaja con empresas y agencias gubernamentales para detectar imágenes falsas generadas por IA. .
Los generadores de imágenes de grandes empresas, como Dall-E de OpenAI y Firefly de Adobe, tienen configuraciones de moderación que impiden a los usuarios crear imágenes pornográficas. Pero una búsqueda rápida en línea arroja docenas de resultados sobre herramientas para intercambiar rostros y "quitarse la ropa". Dado que estos servicios probablemente utilicen software de código abierto disponible públicamente, la moderación y las barreras técnicas son difíciles, si no imposibles, de hacer cumplir e implementar, dijo Colman. Es casi [imposible para el ojo humano](https://www.wsj.com/video/humans-can-no-longer-spot-ai-deepfakes-this-company-can/1824CE8C-9E73-4BCC-AEBF -8E80C8873AAB) para distinguir lo real de lo falso, añadió.
Más del 90% de este tipo de imágenes falsas---conocidas como "deepfakes"---son porno, según la imagen. -La firma de detección Sensity AI. Empresas tecnológicas como Snap y TikTok se han comprometido a trabajar con grupos gubernamentales para impedir que este tipo de imágenes circulen. Snap y otros dicen que prohíben las imágenes sexuales de menores generadas por IA y las denuncian al Centro Nacional para Niños Desaparecidos y Explotados.
'Un delito grave'
Las imágenes sexuales falsas de personas reales son tan nuevas que la ley federal está retrasada, dicen los expertos legales. Un puñado de estados, incluidos Virginia, California, Minnesota y Nueva York, han prohibido la distribución de pornografía falsificada o han otorgado a las víctimas el derecho de demandar a sus creadores en un tribunal civil.
Jon Bramnick, senador estatal de Nueva Jersey cuyo distrito incluye Westfield, está investigando si existen leyes estatales o proyectos de ley pendientes que penalizarían la creación y el intercambio de dicho material. De lo contrario, dijo que tiene la intención de redactar un proyecto de ley que lo haga.
"Esto tiene que ser un delito grave en Nueva Jersey", dijo, añadiendo que ha pedido al fiscal del condado de Union que investigue el caso de Westfield High.
Las leyes que cubren material de abuso sexual infantil podrían aplicarse en esta situación, dijo Natalie Elizaroff, abogada de propiedad intelectual en Chicago, porque prohíben imágenes digitales, imágenes por computadora o incluso imágenes generadas por computadora de menores involucrados en conductas sexualmente explícitas. El caso tendría que ser asumido por fiscales estatales o federales, quienes tendrían que establecer que la persona representada es un menor de edad, que el contenido es explícito y que alguien lo creó, poseyó o distribuyó, añadió.
Esta semana, la administración Biden, como parte de una orden ejecutiva amplia sobre IA, pidió que se impidiera que la IA generativa produzca material de abuso sexual infantil o "imágenes íntimas no consensuadas de individuos reales".
Otro caso estadounidense relacionado con pornografía falsa que representaba a estudiantes de secundaria resultó en cargos penales. En abril, un hombre de 22 años de Long Island fue sentenciado a seis meses de cárcel por crear y publicar imágenes falsas que mostraban a mujeres de su antigua escuela, junto con información de identificación personal. Las fotografías originales fueron tomadas cuando las mujeres estaban en la escuela media y secundaria.
Eliminar redes sociales
En una reunión celebrada en su casa el lunes, la hija de Mani, Francesca, describió lo que ella y otras niñas de Westfield High School están pasando.
"Al principio lloré y luego decidí que no debía estar triste", dijo al grupo. "Debería estar enojado y debería defenderme a mí mismo y a las otras víctimas".
Entre los asistentes se encontraban padres de otros estudiantes, junto con Brindle, Bramnick, tres concejales y un miembro de la junta escolar. (Se invitó al Journal a escuchar por teléfono).
Ese día, en una sesión de asesoramiento grupal en la escuela, algunas niñas dijeron que se sentían incómodas por tener que asistir a la escuela con alguien que creían que había creado y compartido las imágenes, dijo Francesca.
El incidente ha hecho que algunas de sus compañeras de clase reconsideren lo que publican en línea, dijo, dado el poco control que tienen sobre cómo se puede utilizar. Algunos, dijo, eliminaron sus cuentas de redes sociales.
"Somos conscientes de que hay tipos espeluznantes por ahí", le dijo al grupo, "pero nunca pensarías que uno de tus compañeros de clase te violaría de esta manera".