Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 2821

Incidentes Asociados

Incidente 4945 Reportes
Female Celebrities' Faces Shown in Sexually Suggestive Ads for Deepfake App

Loading...
La demanda de pornografía ultrafalsa está explotando. no estamos listos
theguardian.com · 2023

En el anuncio, una mujer con un vestido de encaje blanco hace muecas sugerentes a la cámara y luego se arrodilla. Hay algo un poco extraño en ella; un temblor a un lado de su sien, una peculiar quietud de su labio. Pero si vio el video en la naturaleza, es posible que no sepa que es una fabricación falsa. Simplemente se vería como un video, como las tomas iniciales de un poco de pornografía en Internet cursi y de bajo presupuesto.

En la esquina superior derecha, a medida que avanza el video, hay una imagen fija de la actriz Emma Watson, tomada cuando era adolescente, en una sesión promocional de las películas de Harry Potter. Es su cara la que se ha pegado a la del actor porno. De repente, aparece una mujer que nunca ha actuado en pornografía.

Los anuncios, que dirigían a los usuarios a una aplicación que crea videos falsos, se descubrieron en más de 230 iteraciones en Facebook, Instagram y Meta's Messenger, según una [investigación de noticias de NBC] (https://www.nbcnews.com/tech/ social-media/emma-watson-deep-fake-scarlett-johansson-face-swap-app-rcna73624) por Kat Tenbarge. La mayoría de los anuncios presentaban la imagen de Watson; algunos otros usaron el rostro de Scarlett Johansson. Los mismos anuncios aparecieron en las aplicaciones de edición de fotos y juegos disponibles en la App Store de Apple. Para que el mensaje no se pierda en los espectadores, los anuncios hacen explícito que están destinados a ayudar a los usuarios a crear pornografía no consensuada de cualquier mujer que les guste. "¡Intercambia CUALQUIER CARA en el video!" se leen los anuncios. “Reemplace la cara con cualquiera. Diviértete con la tecnología de intercambio de rostros de IA”.

Anuncios similares para servicios de deepfake aparecen directamente junto a videos explícitos en PornHub. Aunque, en teoría, la tecnología deepfake se puede usar para cualquier tipo de contenido, desde bromas satíricas hasta campañas maliciosas de desinformación política, de manera abrumadora, la tecnología se usa para crear pornografía no consensuada. Según un informe de 2019, el 96 % del material deepfake en línea es pornográfico.

Esa cifra bien podría estar aumentando. Los anuncios en las plataformas Meta y Apple aparecieron cuando la demanda de los consumidores por la pornografía falsa está explotando. El aumento se produce inmediatamente después de una controversia que sacudió a las comunidades de videojuegos en línea en enero, cuando un popular streamer, Brandon Ewing, que se hace llamar "Atrioc", mostró pornografía falsa de varias streamers populares en una de sus transmisiones en línea. Posteriormente admitió haber pagado por el porno artificial de las mujeres, que eran sus compañeras y amigas, tras ver un anuncio similar a los que aparecieron en las plataformas Meta y Apple. Las mujeres cuyas imágenes fueron requisadas para la pornografía de Ewing emitieron respuestas enojadas y dolidas; El propio Ewing se disculpó. Pero la controversia parece haber hecho que la base de seguidores, abrumadoramente joven y masculina, del transmisor sea más consciente de la disponibilidad de contenido falso profundo, y esté ansioso por usarlo ellos mismos.

Genevieve Oh, investigadora que estudia la transmisión en vivo, le dijo a NBC que después de la disculpa de Ewing, el tráfico web a los principales sitios de pornografía falsa explotó. Ese rápido aumento en las últimas semanas ha seguido un crecimiento más lento, pero aún alarmante, del sector de la pornografía de venganza deepfake durante [los últimos años] (https://www.nbcnews.com/tech/internet/deepfake-twitch- porno-atrioc-qtcinderella-maya-higa-pokimane-rcna69372). En 2018, se subieron menos de 2000 videos al sitio de transmisión de deepfakes más conocido; para 2022, ese número se había disparado a 13 000, con un recuento mensual de vistas de 16 millones. A medida que la venganza pornográfica deepfake se vuelve más popular, la barrera de acceso es bastante baja: la aplicación que abusó de la cara de Watson en sus anuncios cobra solo $ 8 por semana.

El rápido aumento en el número y la disponibilidad de videos pornográficos falsos profundos no consensuados plantea preguntas alarmantes sobre la privacidad y el consentimiento en el futuro digital. ¿Cómo manejarán su reputación y sus vidas la gran cantidad de mujeres, y la cantidad más pequeña, pero significativa, de hombres que se ven afectados por esta nueva pornografía de venganza habilitada por IA? A medida que la tecnología mejore, ¿cómo sabrán los espectadores la diferencia entre la realidad y la ficción generada por IA? ¿Cómo se puede eliminar el material no consentido cuando Internet se mueve mucho más rápido que la regulación?

Pero el ejemplo de estas aplicaciones, y de los hombres, como Ewing y sus fanáticos, que las usan, también ilumina algo más antiguo e incómodo sobre la naturaleza de la pornografía: que los hombres a menudo la usan como una expresión de su desprecio por las mujeres. , y sienten que la representación sexual de las mujeres las degrada y las viola. Este es, de hecho, gran parte del atractivo de la pornografía convencional, al menos de acuerdo con los sentimientos de muchos de los hombres que la consumen: permite que los hombres se imaginen a sí mismos en control de las mujeres y que les infligen dolor y degradación. El porno de venganza deepfake, entonces, simplemente cumple con la tecnología lo que el porno convencional ha ofrecido a los hombres en la fantasía: la seguridad de que cualquier mujer puede ser menospreciada, degradada y humillada, a través de la fuerza sexual. El no consentimiento es el punto; la humillación es el punto; la crueldad es el punto.

En realidad, no hay otra manera de entender el atractivo de la pornografía deepfake: no es que Internet carezca de contenido sexual que represente a adultos reales y consentidos. Lo que estas aplicaciones ofrecen a sus usuarios es específica y explícitamente la oportunidad de lastimar a las mujeres obligándolas a la pornografía en contra de su voluntad. Después de que Ewing expusiera su pornografía deepfake a su audiencia de transmisión en enero, una de las mujeres representadas emitió su propio video lloroso, describiendo cómo la malicia y la violación del deepfake la habían herido. En respuesta, un hombre le envió una foto de su propio rostro llorando [en su tableta] (https://www.wired.com/story/deepfakes-twitch-streamers-qtcinderella-atrioc-pokimane/). La pantalla estaba cubierta de semen.

Por ahora, las mujeres y otras personas que son el objetivo de la pornografía de venganza falsa tienen pocas vías de recurso legal. La mayoría de los estados tienen leyes que castigan la pornografía vengativa, pero solo cuatro (California, Nueva York, Georgia y Virginia) prohíben las falsificaciones profundas no consentidas. Las empresas que alojan las aplicaciones a menudo tienen su sede en el extranjero, en su mayoría fuera del alcance de la aplicación de la ley: la empresa cuya aplicación se anunció en Meta parece ser propiedad de una empresa matriz con sede en China. Mientras tanto, más y más hombres comenzarán a usar la tecnología contra más y más mujeres. "Estaba en Pornhub... y había un anuncio [para el sitio deepfake]", [Dijo Ewing en su video de disculpa](https://www.wired.com/story/deepfakes-twitch-streamers-qtcinderella -atrioc-pokimane/), a modo de explicar cómo descubrió el sitio de pornografía de venganza de IA. “Hay un anuncio en cada maldito video de esto, así que sé que otras personas deben estar haciendo clic en él”.

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd