Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 4086

Incidentes Asociados

Incidente 7777 Reportes
South Korea Experiences a Surge of Explicit Deepfake Pornography

Loading...
En Corea del Sur, la misoginia tiene una nueva arma: los vídeos de sexo deepfake
nytimes.com · 2024

En 2020, mientras las autoridades surcoreanas perseguían a una red de chantaje que obligaba a mujeres jóvenes a hacer videos sexualmente explícitos para espectadores que pagaban por ello, encontraron algo más flotando en los oscuros recovecos de las redes sociales: imágenes pornográficas con rostros de otras personas adheridos de manera burda.

No sabían qué hacer con estos primeros intentos de pornografía deepfake. Al final, la Asamblea Nacional promulgó una ley redactada de manera vaga contra quienes la hacían y distribuían. Pero eso no evitó una ola de delitos, utilizando inteligencia artificial. tecnología, que ahora ha llevado la cultura misógina en línea del país a nuevas profundidades.

En las últimas dos semanas, los surcoreanos se han sorprendido al descubrir que un número cada vez mayor de hombres jóvenes y adolescentes habían tomado cientos de imágenes de redes sociales de compañeros de clase, maestros y colegas militares --- casi todas mujeres jóvenes y niñas, incluidas menores --- y las habían utilizado para crear imágenes y videoclips sexualmente explotadores con aplicaciones deepfake.

Han difundido el material a través de salas de chat en el servicio de mensajería encriptada Telegram, algunas con hasta 220.000 miembros. Los deepfakes generalmente combinan la cara de una víctima con un cuerpo en una pose sexualmente explícita, tomada de la pornografía. La tecnología es tan sofisticada que a menudo es difícil para la gente común saber que son falsos, dicen los investigadores. Mientras el país se esfuerza por abordar la amenaza, los expertos han señalado que en Corea del Sur, el entusiasmo por las nuevas tecnologías a veces puede superar las preocupaciones sobre sus implicaciones éticas.

Pero para muchas mujeres, estos deepfakes son sólo la última expresión en línea de una misoginia profundamente arraigada en su país, una cultura que ahora ha producido hombres jóvenes que consideran divertido compartir imágenes sexualmente humillantes de mujeres en línea.

"La sociedad coreana no trata a las mujeres como seres humanos", dijo Lee Yu-jin, una estudiante cuya universidad se encuentra entre los cientos de escuelas secundarias, preparatorias y universidades donde los estudiantes han sido víctimas. Preguntó por qué el gobierno no había hecho más "antes de que se convirtiera en una cultura digital robar fotos de amigos y usarlas para la humillación sexual".

La violencia sexual en línea es un problema creciente a nivel mundial, pero Corea del Sur está a la vanguardia. Los responsables políticos, los funcionarios escolares y las fuerzas del orden de otros lugares seguirán de cerca si puede abordar con éxito el problema de los deepfakes y cómo lo hará.

El país tiene una parte oculta de criminalidad sexual que ha salido a la superficie ocasionalmente. Un surcoreano fue condenado por administrar uno de los sitios más grandes del mundo de imágenes de abuso sexual infantil. Un artista de K-pop fue declarado culpable de facilitar la prostitución a través de un club nocturno. Durante años, la policía ha luchado contra la pornografía con cámaras espías (https://www.nytimes.com/2018/09/03/world/asia/korea-toilet-camera.html?pgtype=Article&action=click&module=RelatedLinks). Y el cerebro de la red de chantaje investigada en 2020 fue sentenciado a 40 años de prisión por atraer a mujeres jóvenes, incluidas adolescentes, para que hicieran los videos que vendía en línea a través de las salas de chat de Telegram.

El auge de la tecnología deepfake, fácil de usar, ha agregado una dimensión insidiosa a estas formas de violencia sexual: las víctimas a menudo no saben que lo son hasta que reciben un mensaje anónimo o una llamada de la policía.

'Esclava', 'inodoro', 'trapo'

Para una víctima de deepfake de 30 años, cuyo nombre se mantiene en reserva para proteger su privacidad, el ataque comenzó en 2021 con un mensaje anónimo en Telegram que decía: "¡Hola!".

En las horas siguientes, siguió una serie de obscenidades e imágenes y videoclips de deepfake, en los que aparecía su rostro, tomado de fotos de viajes familiares que había publicado en las redes sociales. En el cuerpo había escritas palabras como "esclava", "inodoro" y "trapo".

En abril, la policía le informó de que dos de sus antiguos compañeros de la Universidad Nacional de Seúl se encontraban entre los detenidos. Los graduados varones de la prestigiosa universidad, junto con cómplices, habían atacado a decenas de mujeres, incluidas una docena de exalumnas de la Universidad Nacional de Seúl, con pornografía deepfake. Uno de los hombres detenidos fue condenado a cinco años de prisión el mes pasado.

"No puedo pensar en ninguna razón por la que me trataron así, excepto que era mujer", dijo. "El hecho de que hubiera gente como ellos a mi alrededor me hizo perder la fe en los demás seres humanos".

Ella dice que ha luchado con el trauma desde el ataque. Su corazón se acelera cada vez que recibe una notificación de mensaje en su teléfono inteligente o una llamada anónima.

Corea del Sur, cuya cultura pop se exporta a todo el mundo, se ha convertido en el país más vulnerable a la pornografía deepfake. Más de la mitad de los deepfakes a nivel mundial tienen como objetivo a los surcoreanos, y la mayoría de esos deepfakes victimizan a cantantes y actrices del país, según el estudio "2023 State of Deepfakes" (Estado de los deepfakes en 2023) publicado por la empresa de ciberseguridad estadounidense Security Hero. Las principales agencias de K-pop han declarado la guerra a los deepfakes, diciendo que estaban recopilando pruebas y amenazando con demandas contra sus creadores y distribuidores.

Aun así, el problema se está intensificando. La policía surcoreana informó de 297 casos de delitos sexuales mediante deepfakes entre enero y julio, en comparación con los 156 de todo 2021, cuando se recogieron esos datos por primera vez.

No fue hasta el mes pasado, cuando los medios de comunicación locales expusieron el amplio tráfico de deepfakes en Telegram, que el presidente Yoon Suk Yeol ordenó a su gobierno "erradicarlos". Los críticos de Yoon señalaron que durante su campaña presidencial de 2022, había negado que hubiera discriminación estructural por motivos de género en Corea del Sur y había prometido abolir su Ministerio de Igualdad de Género.

La cobertura periodística del aumento de los deepfakes este año provocó pánico entre las mujeres jóvenes, muchas de las cuales borraron selfies y otras imágenes personales de sus cuentas de redes sociales por temor a que se utilizaran para deepfakes. Chung Jin-kwon, que fue director de una escuela secundaria antes de asumir un cargo en la Oficina Metropolitana de Educación de Seúl el mes pasado, dijo que su antigua escuela había discutido si omitir las fotos de los estudiantes de los anuarios.

"Algunos profesores ya se habían negado a que sus fotos estuvieran allí, reemplazándolas por caricaturas", dijo Chung.

Los jóvenes de Corea del Sur, uno de los países más conectados del mundo, se vuelven expertos en tecnología desde una edad temprana. Pero los críticos dicen que su sistema escolar está tan centrado en prepararlos para los importantísimos exámenes de ingreso a la universidad (https://www.nytimes.com/2008/08/13/world/asia/13cram.html) que no se les enseña a manejar la nueva tecnología de manera ética.

"Producimos máquinas que resuelven problemas de exámenes", dijo Chung. "No aprenden valores".

Un impulso a leyes más duras

Kim Ji-hyun, una funcionaria de la ciudad de Seúl cuyo equipo ha asesorado a 200 adolescentes implicados en la explotación sexual digital desde 2019, dijo que algunos chicos habían usado deepfakes para vengarse de sus exnovias y que, en algunos casos, las chicas los habían usado para aislar a sus compañeros de clase. Pero muchos jóvenes se sintieron atraídos por los deepfakes por curiosidad, dijo Kim.

Los operadores de salas de chat los atrajeron con incentivos, incluidos cupones de Starbucks, y les pidieron que proporcionaran fotos y datos personales de mujeres que conocían. Algunos de los canales de Telegram, llamados "salas de violación y humillación", estaban dirigidos a personas o mujeres de ciertas escuelas, dijo Park Seong-hye, líder de equipo del Instituto de Derechos Humanos de la Mujer de Corea, financiado por el gobierno, que ha investigado delitos sexuales digitales y ha brindado ayuda a las víctimas.

Según la ley promulgada en 2020, las personas condenadas por hacer deepfakes sexualmente explícitos o abusivos con la intención de distribuirlos pueden ser enviadas a prisión por hasta cinco años. Aquellos que busquen lucrarse económicamente distribuyendo ese contenido pueden enfrentar hasta siete años. Pero no existe ninguna ley que prohíba comprar, almacenar o ver deepfakes.

Los investigadores deben tener la aprobación del tribunal para ingresar de forma encubierta a las salas de chat de deepfakes, y solo pueden hacerlo para investigar informes de que menores han sido abusados ​​sexualmente. El proceso también puede ser lento.

"Encuentras una sala de chat en un día festivo, pero cuando obtienes la aprobación del tribunal, ya no está", dijo Hahm Young-ok, investigador principal de delitos en línea en la Agencia Nacional de Policía.

El gobierno ha prometido impulsar leyes más duras contra la compra o visualización de deepfakes de explotación sexual. Este mes, la policía que investiga la última oleada de deepfakes dijo que había detenido a siete sospechosos varones (https://www.nytimes.com/2024/09/03/world/asia/south-korean-teens-deepfake-sex-images.html), seis de ellos adolescentes.

La pornografía está censurada en Internet en Corea del Sur, pero la gente puede burlar los controles mediante redes privadas virtuales, y la prohibición es difícil de aplicar en los canales de las redes sociales. La policía ha indicado que podría investigar si Telegram (https://www.reuters.com/world/asia-pacific/south-korea-police-launch-probe-into-telegram-over-online-sex-crimes-yonhap-2024-09-02/) había instigado delitos sexuales con deepfakes. El mes pasado, el fundador de Telegram, Pavel Durov, fue arrestado en Francia y acusado de una serie de delitos, entre ellos el de permitir la distribución de material de abuso sexual infantil.

Telegram afirmó en un comunicado que "ha estado eliminando activamente contenido denunciado desde Corea que incumplía sus términos de servicio y seguirá haciéndolo".

Mientras tanto, el gobierno está siendo presionado para obligar a las plataformas en línea a hacer más para filtrar contenido como la pornografía deepfake.

"Es hora de elegir entre proteger las plataformas y proteger a nuestros niños y adolescentes", dijo Lee Soo-jung, profesor de psicología forense en la Universidad de Kyonggi. "Lo que vemos que sucederá ahora en 2024 se predijo en 2020, pero no hemos hecho nada entretanto".

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd