Incidentes Asociados
En octubre del año pasado, Francesca Mani llegó a casa de la escuela en los suburbios de Nueva Jersey con noticias devastadoras para su madre, Dorota.
Más temprano ese día, la joven de 14 años había sido llamada a la oficina del subdirector y notificada de que ella y un grupo de chicas de Westfield High habían sido víctimas de abuso selectivo por parte de un compañero de estudios.
Imágenes falsas de ella y otras chicas desnudas habían estado circulando por la escuela. Habían sido generadas por inteligencia artificial.
Dorota había sido tangencialmente consciente del poder de esta tecnología relativamente nueva, pero la facilidad con la que se generaron las imágenes la desconcertó.
"No sabía lo rápido que podía suceder, con solo una imagen", recordó. "Que le puede pasar a cualquiera, por cualquiera, con el clic de un botón".
Según una demanda federal presentada recientemente por una familia diferente, las imágenes explícitas en Westfield High se crearon mediante el uso de una aplicación llamada ClothOff, que ha operado bajo una profunda capa de secreto.
Pero una investigación de seis meses, que forma parte de la serie de podcasts del Guardian llamada Black Box, ha revelado los nombres de varias personas afiliadas a la aplicación, que recibe millones de visitas mensuales, y que rastrea sus orígenes hasta Bielorrusia y Rusia.
Cuando la conmoción de esa tarde de octubre se calmó, Francesca Mani se secó las lágrimas y decidió tomar medidas y hacer pública la situación. La madre y la hija no estaban satisfechas con la respuesta de su junta escolar y estaban decepcionadas de que, como no existían leyes, era poco probable que los presuntos perpetradores fueran considerados penalmente responsables.
"Tengo que hacer algo", le dijo Francesca a su madre. "Esto no está bien y no seré una víctima".
Desde entonces, la pareja ha hecho varios viajes a Washington, incluido el discurso sobre el Estado de la Unión la semana pasada. Han aparecido juntos en los noticieros por cable y han sido citados por legisladores tanto de Nueva Jersey como de DC como catalizadores de una nueva legislación que haga responsables legalmente en Estados Unidos a los creadores de deep fakes no consensuales y sexualmente explícitos.
El caso de Westfield, y otros similares, han expuesto lagunas crecientes en las leyes federales y estatales que los legisladores de ambos partidos políticos coinciden en que no hacen lo suficiente para proteger a las personas, en particular a los menores, de la rápida proliferación de deep fakes explícitos de IA.
“Existe un peligro único en torno a estas aplicaciones”, dijo Yiota Souras, asesora legal principal del Centro Nacional para Niños Desaparecidos y Explotados [NCMEC]. “Porque el volumen de víctimas que pueden crear en muy poco tiempo es inmenso”.
El NCMEC ha estado trabajando directamente con la familia Mani mientras intentan ver si alguna de las imágenes generadas en Westfield High ha circulado más en línea.
Los padres de las víctimas recibieron garantías de los funcionarios escolares de que las deep fakes habían sido eliminadas, pero la escuela no ha declarado públicamente cuántos estudiantes se vieron afectados.
El distrito escolar público de Westfield dijo que inició una investigación sobre el incidente tan pronto como se enteró y brindó asesoramiento a los "estudiantes que buscaban apoyo".
"Todos los distritos escolares están lidiando con los desafíos y el impacto de la inteligencia artificial y otras tecnologías disponibles para los estudiantes en cualquier momento y en cualquier lugar", dijo el superintendente Dr. Raymond González, quien agregó que el distrito continúa fortaleciendo los esfuerzos para prevenir incidentes futuros "educando a nuestros estudiantes y estableciendo pautas claras para garantizar que estas nuevas tecnologías se usen de manera responsable en nuestras escuelas y más allá".
ClothOff ha negado que su plataforma se haya utilizado en el caso de Nueva Jersey y sugirió que podría haber sido una aplicación de la competencia, pero no proporcionó evidencia para sustentar esta afirmación.
Poco después de hablar en público, la madre y la hija fueron invitadas a Washington para conmemorar la presentación de un proyecto de ley en el Congreso, la Ley de Prevención de Imágenes Íntimas Falsificadas.
La legislación busca prohibir la divulgación no consentida de imágenes generadas por IA al convertir en delito penal compartirlas, además de brindar a las víctimas el derecho a emprender acciones civiles en un tribunal federal.
Dorota visitará el Capitolio nuevamente esta semana para una audiencia del subcomité sobre “cómo abordar el daño real causado por las falsificaciones profundas”, mientras que otro proyecto de ley, presentado por el congresista republicano Tom Kean Jr, que representa al distrito de la familia, busca crear reglas de etiquetado para el contenido de IA para que sea más fácil distinguirlo.
“El hecho de que sea una adolescente no significa que mi voz no sea poderosa”, dijo Francesca cuando se presentó la legislación en Washington. “¿Quedarse callado? No es una opción”.
Ambos proyectos de ley y sus homólogos en el Senado cuentan con apoyo bipartidista, pero con una Cámara tan centrada en cuestiones partidistas, incluidas las investigaciones de juicio político dirigidas al presidente Joe Biden, Dorota Mani se da cuenta de que la legislación a nivel federal todavía está en pañales.
“¿Estoy frustrada? No. Porque así es nuestro gobierno, siempre ha funcionado así”, dijo. “Por eso no soy política. Por eso esta es mi primera y última campaña”.
Aun así, al menos cinco estados de EE. UU. ya han promulgado leyes para frenar el uso de deepfake explícitos y unos 20 han presentado proyectos de ley, según una base de datos mantenida por el NCMEC.
En Nueva Jersey, un proyecto de ley presentado tras el episodio en Westfield High fue aprobado por un comité del Senado el viernes pasado con apoyo bipartidista.
Mani, una inmigrante polaca que llegó a los EE. UU. para estudiar en la universidad en los años 90, es una rica empresaria que fundó una academia preescolar local y dirige un negocio de diseño de interiores. También habla con franqueza sobre cómo el privilegio financiero ha ayudado a su campaña, que ha suscitado la admiración bipartidista en el Congreso.
Un portavoz del congresista de Nueva York Joe Morelle, que presentó la Ley de Prevención de Falsificaciones Profundas de Imágenes Íntimas, dijo que la madre y la hija habían "tomado su trauma [ver nota al pie] y lo habían convertido en una feroz defensa para garantizar que más mujeres no tengan que sufrir el dolor que atravesó Francesca".
El portavoz añadió que un reciente informe del Guardian que revelaba a algunas de las personas asociadas con la aplicación ClothOff “subraya por qué deben existir sanciones tanto penales como civiles para responsabilizar a las personas por este comportamiento despreciable”.
“Debemos establecer fuertes medidas disuasorias para evitar que las personas creen deepfakes y, sin duda, que se beneficien de ellos”.
Pero el episodio de Nueva Jersey no fue ni mucho menos un caso aislado en Estados Unidos. La semana pasada, una escuela secundaria de Beverly Hills expulsó a cinco estudiantes que victimizaron a 16 estudiantes de octavo grado al crear imágenes explícitas deepfakes generadas por IA. Un portavoz de la junta escolar no quiso comentar qué aplicación específica se utilizó para crear las imágenes.
“Esta tecnología emergente se está volviendo cada vez más accesible para personas de todas las edades”, dijo el Dr. Michael Bregy, superintendente del distrito escolar unificado de Beverly Hills.
“Estamos consternados por cualquier mal uso de la IA y debemos proteger a los miembros más vulnerables de la sociedad, nuestros niños”.
En diciembre del año pasado, dos estudiantes varones de la Academia Pinecrest Cove fueron suspendidos después de generar imágenes de desnudos de varias compañeras de clase utilizando una aplicación cuyo nombre no ha sido revelado por la policía local.
Y en Issaquah, Washington, un estudiante de 14 años fue investigado por la policía por generar fotos de desnudos de varias compañeras de clase utilizando imágenes que había tomado en eventos escolares y luego las compartió a través de Snapchat, según un informe policial revisado por The Guardian, que no menciona la aplicación en uso.
Mani dijo que ha escuchado a padres de muchos lugares del país, incluidas áreas que no habían sido reportadas en los medios.
“Muchas personas no se sienten cómodas haciendo público lo que sucedió”, dijo. “Porque, al igual que en mi escuela, escuchan constantemente que no se puede hacer nada”.
Cuando se le preguntó cuál sería su mensaje a quienes están detrás de la aplicación que supuestamente se utilizó para atacar a su hija y a sus compañeros de clase, Mani fue directa: “Debería darles vergüenza. Solo están ganando dinero”.
Pero inmediatamente, dio el siguiente paso en su campaña, apuntar a plataformas como Apple, Google y Amazon y a las instituciones financieras como PayPal, Amex y Visa que, según ella, en última instancia permitieron que esa tecnología prosperara.
“De lo contrario, es como perseguir fantasmas”.
Nota al pie agregada el 14 de marzo de 2024. Después de la publicación, Dorota y Francesca Mani se comunicaron con The Guardian para solicitar que se aclarara que no consideran que una referencia al “trauma” en los comentarios de la oficina del congresista Joe Morelle sea una descripción precisa de su experiencia, y no es un término que ellas mismas utilizarían.