Incidentes Asociados
Un nuevo generador de imágenes de IA de código abierto capaz de producir imágenes realistas a partir de cualquier mensaje de texto ha tenido una aceptación asombrosamente rápida en su primera semana. Stability AI's [Difusión estable] (https://techcrunch.com/2022/08/12/a-startup-wants-to-democratize-the-tech-behind-dall-e-2-consequences-be-damned/) , de alta fidelidad pero capaz de ejecutarse en hardware de consumo estándar, ahora lo utilizan los servicios de generación de arte como Artbreeder, Pixelz.ai y más. Pero la naturaleza sin filtrar del modelo significa que no todo el uso ha sido completamente legítimo.
En su mayor parte, los casos de uso han sido honestos. Por ejemplo, NovelAI ha estado experimentando con Stable Diffusion para producir arte que pueda acompañar las historias generadas por IA creadas por los usuarios en su plataforma. Midjourney ha lanzado una versión beta que aprovecha Stable Diffusion para un mayor fotorrealismo.
Pero Stable Diffusion también se ha utilizado para fines menos sabrosos. En el infame foro de discusión 4chan, donde la modelo se filtró temprano, varios hilos están dedicados al arte generado por IA de celebridades desnudas y otras formas de pornografía generada.
Emad Mostaque, director ejecutivo de Stability AI, calificó de "desafortunado" que el modelo se filtró en 4chan y enfatizó que la empresa estaba trabajando con "especialistas en ética y tecnologías líderes" en seguridad y otros mecanismos relacionados con la publicación responsable. Uno de estos mecanismos es una herramienta de IA ajustable, Safety Classifier, incluida en el paquete de software Stable Diffusion general que intenta detectar y bloquear imágenes ofensivas o indeseables.
Sin embargo, el Clasificador de seguridad, aunque está activado de forma predeterminada, se puede desactivar.
Stable Diffusion es un territorio muy nuevo. Otros sistemas de generación de arte de IA, como DALL-E 2 de OpenAI, han implementado filtros estrictos para material pornográfico. (La licencia para el código abierto Stable Diffusion prohíbe ciertas aplicaciones, como la explotación de menores, pero el modelo en sí no está restringido a nivel técnico .) Además, muchos no tienen la capacidad de crear arte de figuras públicas, a diferencia de Stable Diffusion. Esas dos capacidades podrían ser riesgosas cuando se combinan, permitiendo a los malos actores crear "falsificaciones profundas" pornográficas que, en el peor de los casos, podrían perpetuar el abuso o implicar a alguien en un crimen que no cometió.
Las mujeres, desafortunadamente, son las más propensas a ser las víctimas de esto. Un estudio realizado en 2019 reveló que, del 90 % al 95 % de las falsificaciones profundas que no son consentidas, alrededor del 90% son de mujeres. Eso es un mal augurio para el futuro de estos sistemas de IA, según Ravit Dotan, vicepresidente de IA responsable en Mission Control.
“Me preocupan otros efectos de las imágenes sintéticas de contenido ilegal, que exacerbarán los comportamientos ilegales que se representan”, dijo Dotan a TechCrunch por correo electrónico. “Por ejemplo, ¿aumentará la [explotación] infantil sintética la creación de [explotación] infantil auténtica? ¿Aumentará el número de ataques de pedófilos?”.
El investigador principal del Instituto de Ética de la IA de Montreal, Abhishek Gupta, comparte esta opinión. “Realmente necesitamos pensar en el ciclo de vida del sistema de IA, que incluye el uso y el monitoreo posteriores a la implementación, y pensar en cómo podemos visualizar controles que puedan minimizar los daños incluso en los peores escenarios”, dijo. “Esto es particularmente cierto cuando una poderosa capacidad [como Stable Diffusion] sale a la luz y puede causar un trauma real a aquellos contra quienes se podría usar dicho sistema, por ejemplo, al crear contenido objetable a semejanza de la víctima”.
Una especie de vista previa se desarrolló el año pasado cuando, siguiendo el consejo de una enfermera, un padre tomó fotografías del área genital hinchada de su hijo pequeño y se las envió por mensaje de texto al iPhone de la enfermera. Se realizó una copia de seguridad automática de la foto en Google Photos y los filtros de IA de la empresa la marcaron como material de abuso sexual infantil, lo que resultó en la desactivación de la cuenta del hombre y en una investigación por parte del Departamento de Policía de San Francisco.
Si una foto legítima pudiera disparar un sistema de detección de este tipo, dicen expertos como Dotan, no hay razón para que las falsificaciones profundas generadas por un sistema como Stable Diffusion no puedan, y a escala.
“Los sistemas de inteligencia artificial que crean las personas, incluso cuando tienen las mejores intenciones, pueden usarse de formas dañinas que no anticipan y no pueden prevenir”, dijo Dotan. “Creo que los desarrolladores e investigadores a menudo subestimaron este punto”.
Por supuesto, la tecnología para crear deepfakes existe desde hace algún tiempo, impulsada por IA o no. Un informe de 2020 de la empresa de detección de deepfakes Sensity descubrió que cada mes se cargaban cientos de videos deepfakes explícitos con celebridades femeninas en los sitios web de pornografía más grandes del mundo; el informe estimó el número total de deepfakes en línea en alrededor de 49,000, más del 95% de los cuales eran porno. Actrices como Emma Watson, Natalie Portman, Billie Eilish y Taylor Swift han sido objeto de deepfakes desde que las herramientas de intercambio de rostros impulsadas por IA entraron en la corriente principal hace varios años, y algunas, incluida Kristen Bell, se han pronunciado en contra de lo que ven como explotación sexual.
Pero Stable Diffusion representa una nueva generación de sistemas que pueden crear imágenes falsas increíblemente convincentes, si no perfectas, con un trabajo mínimo por parte del usuario. También es fácil de instalar, ya que no requiere más que unos pocos archivos de configuración y una tarjeta gráfica que cuesta varios cientos de dólares en el extremo superior. Se está trabajando en versiones aún más eficientes del sistema que pueden ejecutarse en una MacBook M1.
Sebastián Berns, un Ph.D. El investigador del grupo de IA de la Universidad Queen Mary de Londres cree que la automatización y la posibilidad de ampliar la generación de imágenes personalizadas son las grandes diferencias con sistemas como Stable Diffusion y los principales problemas. “La mayoría de las imágenes dañinas ya se pueden producir con métodos convencionales, pero son manuales y requieren mucho esfuerzo”, dijo. “Un modelo que puede producir imágenes casi fotorrealistas puede dar paso a ataques de chantaje personalizados contra individuos”.
Berns teme que las fotos personales extraídas de las redes sociales puedan usarse para condicionar Stable Diffusion o cualquier modelo similar para generar imágenes pornográficas específicas o imágenes que representen actos ilegales. Ciertamente hay un precedente. Después de informar sobre la violación de una niña de Cachemira de ocho años en 2018, la periodista de investigación india Rana Ayyub se convirtió en el objetivo trolls nacionalistas, algunos de los cuales crearon videos porno falsos con su cara en el cuerpo de otra persona. El deepfake fue compartido por el líder del partido político nacionalista BJP, y el acoso que recibió Ayyub como resultado se volvió tan grave que las Naciones Unidas tuvieron que intervenir.
“Stable Diffusion ofrece suficiente personalización para enviar amenazas automáticas contra las personas para que paguen o se arriesguen a que se publiquen imágenes falsas pero potencialmente dañinas”, continuó Berns. “Ya vemos personas extorsionadas después de que se accedió a su cámara web de forma remota. Ese paso de infiltración podría no ser necesario nunca más.”
Con Stable Diffusion en la naturaleza y ya se está utilizando para generar pornografía, algunos no consensuados, podría ser necesario que los anfitriones de imágenes tomen medidas. TechCrunch contactó a una de las principales plataformas de contenido para adultos, OnlyFans, quien dijo que actualizaría "continuamente" su tecnología para "abordar las últimas amenazas para la seguridad de los creadores y los fanáticos, incluidos los deepfakes".
“Todo el contenido de OnlyFans se revisa con tecnologías digitales de última generación y luego nuestros moderadores humanos capacitados lo revisan manualmente para garantizar que cualquier persona que aparezca en el contenido sea un creador verificado de OnlyFans, o que tengamos un formulario de autorización válido. ”, dijo un portavoz de OnlyFans por correo electrónico. “Cualquier contenido que sospechemos que puede ser un deepfake está desactivado”.
Un vocero de Patreon, que también permite contenido para adultos, señaló que la compañía tiene una política contra las falsificaciones profundas y no permite imágenes que "reutilicen las semejanzas de las celebridades y coloquen el contenido que no es para adultos en un contexto para adultos".
“Patreon monitorea constantemente los riesgos emergentes, como [deepfakes generados por IA]. Hoy, tenemos políticas vigentes que no permiten el comportamiento abusivo de personas reales y que prohíbe cualquier cosa que pueda causar daño en el mundo real”, continuó el portavoz de Patreon en un correo electrónico. “A medida que surja la tecnología o nuevos riesgos potenciales, seguiremos el proceso que tenemos implementado: trabajar en estrecha colaboración con los creadores para elaborar políticas para Patreon, incluidos los beneficios permitidos y el tipo de contenido que se encuentra dentro de las pautas”.
Sin embargo, si la historia es una indicación, [la aplicación] (https://www.wired.co.uk/article/deepfake-porn-websites-videos-law) probablemente será desigual, en parte porque pocas leyes protegen específicamente contra la falsificación profunda. en lo que se refiere a la pornografía. E incluso si la amenaza de acciones legales hace que algunos sitios dedicados a contenido inaceptable generado por IA se hundan, no hay nada que impida que aparezcan otros nuevos.
En otras palabras, dice Gupta, es un mundo nuevo y valiente.
“Los usuarios creativos y maliciosos pueden abusar de las capacidades [de Stable Diffusion] para generar contenido objetable subjetivamente a escala, utilizando recursos mínimos para ejecutar inferencias, que es más económico que entrenar todo el modelo, y luego publicarlos en lugares como 4chan para impulsar tráfico y piratear la atención”, dijo Gupta. “Hay mucho en juego cuando tales capacidades escapan ‘a la naturaleza’ donde los controles como los límites de tasa de API, los controles de seguridad sobre los tipos de salidas devueltas por el sistema ya no son aplicables”.
Nota del editor: una versión anterior de este artículo incluía imágenes que mostraban algunas de las falsificaciones profundas de celebridades en cuestión, pero desde entonces se han eliminado.