Incidentes Asociados
Nota del editor de The Korea Times: Este artículo es el segundo de una serie de tres partes sobre los delitos sexuales con deepfake en las escuelas. Los delitos, que implican la manipulación de fotos y videos para crear contenido explícito, provocan desconfianza y tensan las relaciones entre los estudiantes y, a veces, entre los alumnos y los profesores. La serie se ha producido en colaboración con Excellence Lab, un equipo dedicado al periodismo de investigación en The Hankook Ilbo, el periódico hermano de The Korea Times. — ED.
A raíz de los delitos sexuales con deepfake que afectan a las escuelas no solo en Corea sino también en los Estados Unidos, Francesca Mani, de 15 años, y su madre, Dorota Mani, han transformado su calvario personal en una poderosa campaña por el cambio.
"No buscaba compasión, quería rendición de cuentas", dijo Francesca a The Korea Times durante una entrevista reciente.
"La escuela necesitaba dejar en claro que este comportamiento es inaceptable y garantizar que los perpetradores rindan cuentas por sus acciones".
Su historia contrasta marcadamente con casos similares en Corea, donde las víctimas a menudo permanecen en silencio o enfrentan la estigmatización social.
En octubre pasado, Francesca y otras niñas de décimo grado de la escuela pública Westfield en Nueva Jersey informaron a los administradores escolares que sus compañeros de clase habían usado software de inteligencia artificial para crear y distribuir imágenes deepfake explícitas de ellas.
La escuela inició una investigación más tarde ese mes. Sin embargo, el sistema no protegió adecuadamente a las víctimas.
Mientras que los administradores escolares interrogaron en silencio a algunos de los niños involucrados, convocaron públicamente a Francesca y las otras niñas atacadas por los deepfakes a la oficina de la escuela, anunciando sus nombres por el intercomunicador.
Mary Asfendis, la directora de la escuela, reconoció la gravedad del incidente y envió un correo electrónico a los padres, describiendo los deepfakes como un "asunto muy serio". A pesar de las preocupaciones de los estudiantes y los padres sobre la posible circulación de las imágenes, Asfendis les aseguró que la escuela creía que todas las imágenes inventadas habían sido eliminadas y ya no se compartían, según la familia Mani.
Aunque la escuela reconoció la gravedad del incidente, no tomó las medidas adecuadas contra los infractores.
Apenas unos días después de que saliera a la luz el incidente de la deepfake, Francesca descubrió que uno de los chicos responsables de crear las imágenes manipuladas había recibido solo uno o dos días de detención como castigo.
Los infractores siguieron asistiendo a la escuela e incluso representaron a la escuela en deportes, comportándose como si nada hubiera pasado.
Cuando cuestionó el castigo indulgente, la escuela le dijo que no podían hacer nada más, citando la falta de legislación que aborde este tipo de incidentes.
"Ese día, mi hija llegó a casa y dijo: 'Eso no está bien. Me niego a llevar la insignia de la víctima'", recordó Dorota.
"El incidente fue inicialmente un shock, pero con el tiempo, la mayor decepción vino de la falta de leyes, legislación y regulaciones", dijo.
La madre también condenó a los administradores de la escuela por eludir la responsabilidad, ya que justificaron su inacción citando la falta de familiaridad con la tecnología deepfake y sus amenazas en evolución.
Decidida a garantizar que las escuelas pudieran responder de manera más eficaz en el futuro, Francesca le dijo a su madre que quería abogar por cambios legales y le pidió ayuda.
"Así empezó todo", dijo Dorota, reflexionando sobre el comienzo de los esfuerzos que ella y su hija están realizando.
'Lo que parecía más difícil fue lo más fácil'
Para Francesca y Dorota, el incidente de deepfake que inicialmente provocó conmoción y enojo se convirtió en un poderoso catalizador para su misión de buscar justicia a través de un cambio sistémico.
"Lo que pensé que sería la parte más difícil -cambiar leyes y aprobar leyes- resultó ser la más fácil", dijo Dorota.
Se comunicaron con los legisladores, incluido el representante Joe Morelle, quien ha estado abogando contra los abusos de deepfake durante siete años.
"Morelle es el primer legislador con el que hemos trabajado", dijo Dorota.
El 16 de enero, Morelle anunció su propuesta bipartidista, la Ley de Prevención de Imágenes Intimas Falsificadas en Profundidad (Preventing Deepfakes of Intimate Images Act), destinada a detener la propagación de pornografía deepfake generada por IA.
Hizo hincapié en que la pornografía deepfake es una forma de explotación y abuso sexual. Le sorprendió que aún no esté clasificada como un delito federal.
"Mi legislación finalmente hará que esta peligrosa práctica sea ilegal y hará que los perpetradores rindan cuentas", dijo Morelle a The Korea Times por correo electrónico.
La familia Mani también colaboró con el senador de Texas Ted Cruz en su legislación bipartidista, la Ley Take It Down.
El senador de Texas Ted Cruz, a la derecha, posa con Francesca Mani, quien aboga en todo Estados Unidos por una mayor protección para las víctimas de deepfakes. Cortesía de Dorota Mani
La legislación propuesta, presentada el 18 de junio, busca criminalizar la publicación de imágenes no consentidas y sexualmente explotadoras, incluidas las deepfakes generadas por IA, y requiere que las plataformas en línea implementen mecanismos que permitan a las víctimas solicitar la eliminación de dicho contenido.
"La Take It Down Act realmente resuena con los delitos sexuales generales relacionados con las deepfakes", dijo Dorota.
Señaló que hay víctimas que, por diversas razones (religiosas, familiares o profundamente personales), no se sienten cómodas al hablar.
"No nos corresponde juzgarlas ni presionarlas, pero necesitan una forma de recuperar el poder sobre estas imágenes", dijo.
Dorota enfatizó la importancia de empoderar a las víctimas y señaló que "las personas necesitan medios que les permitan recuperar el poder de las imágenes".
Al 2 de diciembre, la Take It Down Act sigue pendiente en el Senado.
Además de trabajar con los legisladores, Francesca y Dorota también se comunicaron con la empresa de redes sociales Snapchat, una popular aplicación de mensajería utilizada por aproximadamente el 60 por ciento de los adolescentes, a través de la oficina de Cruz.
"Snapchat compartió con nosotros que han estado realizando un estudio de tres años sobre los efectos de su plataforma en las generaciones más jóvenes", dijo Dorota.
Después de incidentes recurrentes que involucraban abusos deepfake, la empresa desarrolló una herramienta diseñada para ayudar a los educadores a comprender y enseñar a los estudiantes cómo protegerse en la era digital.
Dorota continúa comunicándose con Snapchat, explorando oportunidades para presentar la herramienta a los educadores.
"Esto proporcionará a los educadores recursos para proteger mejor a sus estudiantes al equiparlos con una comprensión más profunda de las tecnologías actuales", dijo.
Rompiendo el silencio, luchando por la rendición de cuentas
Si bien sus esfuerzos proactivos llevaron a una legislación propuesta destinada a amplificar las voces de las víctimas, argumentaron que las escuelas no han cambiado, aún están rezagadas en el establecimiento de políticas efectivas para abordar tales incidentes.
La oficina del distrito que supervisa las escuelas públicas de la región se centró inicialmente en controlar el uso de herramientas de inteligencia artificial generativa como ChatGPT para evitar que se hicieran trampas en las tareas, pero no implementó medidas para abordar el abuso de los deepfakes.
Después de 10 meses, la escuela finalmente revisó sus regulaciones de inteligencia artificial. Las políticas actualizadas ahora incluyen lecciones para los estudiantes sobre las consecuencias civiles y penales de crear deepfakes ilegales, así como educación sobre el profundo impacto que tales acciones tienen en las víctimas.
A pesar de su terrible experiencia, Francesca se describió a sí misma como afortunada, ya que muchas personas apoyaron sus esfuerzos para crear un cambio significativo.
"Mis maestros me apoyaron increíblemente, y también mis amigos. Fue la administración de la escuela la que nos falló", dijo Francesca.
También expresó entusiasmo por continuar su defensa contra los deepfakes, destacando su trabajo como socia de la Coalición Dinámica de Adolescentes de la ONU y como embajadora de IA en la Universidad de Yale.
Sus esfuerzos le han valido un reconocimiento significativo, incluido el haber sido nombrada la persona más joven en la lista Time 100 AI este año.
Corea también está tomando medidas para combatir los delitos de deepfake, con una nueva legislación aprobada el 10 de octubre que exige penas más duras para los delitos sexuales digitales que involucren esta tecnología.
La ley revisada de castigo de los delitos sexuales impone penas de hasta tres años de prisión o multas de hasta 30 millones de wones (22.251 dólares) para quienes posean, compren, almacenen o vean material sexual de deepfake y otros vídeos inventados.
Además, el gobierno anunció medidas en noviembre, con el objetivo de acabar de manera más efectiva con el abuso sexual relacionado con deepfake, incluida la eliminación inmediata de materiales explotadores y el uso de investigaciones encubiertas.
Sin embargo, el caso de Francesca destaca cómo las voces de los afectados pueden desempeñar un papel fundamental para impulsar un cambio sistémico.
Francesca destaca la importancia de defender los propios derechos.
"Si el sistema te falla, es hora de revisarlo y exigir responsabilidades", dijo.