Incidentes Asociados
Este fin de semana, la aplicación de edición de fotos Lensa inundó las redes sociales con “avatares mágicos” celestiales, iridiscentes e inspirados en el anime. Como es típico en nuestro ciclo de noticias de Internet de patos batidos, los argumentos sobre por qué el uso de la aplicación era problemático proliferaron a una velocidad solo superada por la proliferación de los propios avatares.
Ya me han dado una conferencia sobre los peligros de cómo el uso de la aplicación nos implica en la enseñanza de la IA, robar a los artistas y [participar en prácticas abusivas de intercambio de datos] (https://twitter.com/CatStaggs/status/1599145701954707456). Cada preocupación es legítima, pero menos discutidas son las violaciones más siniestras inherentes a la aplicación, a saber, la tendencia algorítmica de sexualizar a los sujetos hasta un grado que no solo es incómodo sino también potencialmente peligroso.
Los términos de servicio de Lensa instruyen a los usuarios a enviar solo contenido apropiado que contenga "no desnudos" y "no niños, solo adultos". Y, sin embargo, muchos usuarios, principalmente mujeres, han notado que incluso cuando suben fotos modestas, la aplicación no solo genera desnudos, sino que también atribuye a sus imágenes características caricaturescas y sexualizadas, como poses sensuales y senos gigantes. Yo, por ejemplo, recibí varios resultados completamente desnudos a pesar de subir solo fotos de rostros. La sexualización también fue a menudo racializada: casi una docena de mujeres de color me dijeron que Lensa blanqueó su piel y anglicanizó sus rasgos, y una mujer de ascendencia asiática me dijo que en las fotos "donde no me veo blanca, literalmente me dieron cara de ahegao”. Otra mujer que compartió tanto las imágenes completamente vestidas que subió como los resultados en topless que produjeron, que eligió modificar con "algunos emojis para un poco de modestia porque Dios mío", me dijo: "Honestamente, me sentí muy violada después de verlo".
Estoy acostumbrado a sentirme violado por Internet. Habiendo sido objeto de varias campañas de acoso, he visto mi imagen manipulada, distorsionada y distribuida sin mi consentimiento en múltiples ocasiones. Debido a que no estoy cara a cara como trabajadora sexual, la novedad de cazar y hacer circular mi imagen es, para algunos, un deporte. Debido a que el público en general no percibe a las trabajadoras sexuales como seres humanos o merecedores de derechos básicos, este comportamiento se celebra en lugar de condenarse. Debido a que a menudo se supone que el trabajo sexual es una falla moral en lugar de un trabajo, nuestra deshumanización es redundante. Me conecté a Twitter para ver mi cara modificada con Photoshop en los cuerpos de otras mujeres, fotos mías y de clientes desnudos en una sesión, y una vez incluso una búsqueda de palabras compuesta por mi cara, detalles personales e intereses de investigación. No le tengo miedo a Lensa.
Estoy lo suficientemente insensible a los horrores de la tecnología que decidí ser mi propia rata de laboratorio. Realicé algunos experimentos: primero, solo fotos de BDSM y mazmorras; a continuación, mis fotos más femeninas bajo la opción de género “masculino”; más tarde, selfies de conferencias académicas, todas las cuales produjeron senos de tamaño espectacular y desnudez total.
Luego me embarqué en lo que sabía que sería un viaje por el infierno y decidí usar mi imagen para probar la otra restricción de la aplicación: "No niños, solo adultos". (Algunos de los resultados se encuentran a continuación: tenga en cuenta que muestran imágenes sexualizadas de niños).
Tengo pocas fotos mías de la infancia. Hasta el final de mi adolescencia y entre mi cabello rebelde, dientes irregulares y los lentes bifocales que comencé a usar a los siete años, mi apariencia podría describirse generosamente como "ratón". También crecí antes de la llegada del teléfono inteligente, y es probable que cualquier otra imagen esté enterrada en los álbumes de fotos de parientes lejanos. Pero logré juntar las 10 fotos mínimas requeridas para ejecutar la aplicación y esperé a ver cómo me transformaba de una torpe niña de seis años a una princesa hada.
Los resultados fueron horribles.
En algunos casos, la IA parecía reconocer el cuerpo de mi hijo y, afortunadamente, se olvidó de agregar senos. Probablemente esto no fue un reflejo de la ética personal de la tecnología, sino de los patrones que identificó en mi foto; tal vez percibió mi pecho plano como el de un hombre adulto. En otras fotos, la IA adjuntó orbes a mi pecho que eran distintos de la ropa pero también diferentes a las fotos de desnudos que habían producido mis otras pruebas.
Lo intenté de nuevo, esta vez con una mezcla de fotos de la infancia y selfies. Lo que resultó fueron fotos completamente desnudas de un rostro adolescente y, a veces, infantil, pero con un cuerpo claramente adulto. Similar a mis pruebas anteriores que generaron miradas y poses seductoras, este conjunto produjo una especie de timidez: una espalda descubierta, cabello despeinado, un avatar con mi rostro infantil sosteniendo una hoja entre sus pechos desnudos de adulto. Muchos recordaban inquietantemente la sesión de fotos de Miley Cyrus con Annie Leibovitz en 2008 para Vanity Fair, en la que aparecía una Cyrus de 15 años con un vestido de satén sábana alrededor de su cuerpo desnudo. Lo perturbador de la imagen en ese momento era la combinación de su rostro sin maquillaje, casi angelical, con el cuerpo de alguien que acababa de tener relaciones sexuales.
Fue Cyrus cuya reputación sufrió, no la de la revista o el fotógrafo Leibovitz, que entonces tenía 58 años, cuando Vanity Fair publicó el conjunto de fotos. La sexualización y explotación de los niños, y especialmente de las niñas, es tan insidiosa que se naturaliza. La defensa de Cyrus de la sesión de fotos, a la que llamó "realmente artística" y no "de una manera skanky" en su entrevista, se sintió aún más aberrante que las fotos mismas.
Si bien las fotos de Cyrus no se generaron artificialmente, sus ecos en mis propios avatares de Lensa (después de todo, Lensa tiene la intención de proporcionarles avatares más halagadores) sugieren que, a pesar del disgusto colectivo del público en general por la foto desnuda de Cyrus, las imágenes de jóvenes , las chicas blancas desnudas corresponden a conceptos culturales más amplios de belleza. Como han establecido académicos como Ruha Benjamin y Safiya Noble, los algoritmos de aprendizaje automático reproducen los sesgos culturales tanto de los ingenieros que los codifican como de los consumidores que los usan como productos. Los sesgos de los usuarios, incluidos los estándares de belleza occidentales, afectan la forma en que se desarrollan los algoritmos. Y en cuanto a la belleza, en su libro de 2018 Algorithms of Oppression, Noble proporciona una captura de pantalla de una búsqueda de Google Imágenes de 2014 de "hermosa" como un espíritu tecnocultural: los resultados muestran en gran medida imágenes altamente sexualizadas de mujeres blancas.
Pero la belleza es solo una métrica en juego. Como escribió Bethany Biron para Business Insider, los resultados de Lensa suelen inclinarse hacia terror también. Biron describe algunos de sus propios avatares que contienen caras que se derriten y múltiples extremidades como "la materia de las pesadillas".
Una controversia concurrente en el arte de IA es la de Loab, una mujer generada por IA descubierta por el músico sueco y artista de IA Supercomposite. Las características de Loab inspiran inexplicablemente imágenes grotescas y macabras cuando se ingresan a un generador de arte de IA que aún no se ha revelado. En el peor de los casos, según Supercomposite, el "cruce" de Loab con otras imágenes produce "imágenes dudosas de niños desmembrados y gritando".
La violencia gráfica de Loab y sus derivados se remontan a los primeros días de un Internet no moderado de sitios impactantes que mostraban decapitaciones y pornografía. Estas imágenes, basadas en opciones de moderación anteriores y datos de entrenamiento de aprendizaje automático, no tienen la agencia ni el juicio de artistas o ingenieros de software. Simplemente están identificando patrones. Y a diferencia del contenido generado por el usuario sujeto a moderación o los datos utilizados para desarrollar estas tecnologías, el contenido generado por IA se presenta completamente sin filtrar.
Para Lensa, que se esfuerza por "embellecer" (como blanquear y sexualizar) el contenido enviado por los usuarios, la falta de moderación amenaza de manera similar con desatar un torrente de contenido igualmente horrible, en este caso, material de explotación sexual infantil (CSEM). Durante los últimos 30 años, los esfuerzos para frenar el abuso infantil y la trata de personas se han desarrollado junto con Internet. La moderación de contenido para CSEM, por ejemplo, está sujeta a varias leyes y reglamentos, incluido el mandato de denunciar todo CSEM al Centro Nacional para Niños Desaparecidos y Explotados (NCMEC). Luego, NCMEC mantiene una base de datos para desarrollar herramientas como PhotoDNA, una herramienta respaldada por Microsoft utilizada por las principales empresas tecnológicas como Meta y Twitter para identificar CSEM. Pero los generadores de arte de IA evaden por completo la moderación de contenido.
No era una niña convencionalmente atractiva, como reflejaron muchos de mis resultados, pero sospecho que las niñas con características más propensas a ser sexualizadas por la IA, especialmente las niñas negras, que son percibidas regularmente como mujeres adultas, encontrarían ejemplos aún más inquietantes de lo que es esencialmente CSEM falsificado. Los niños que usan la aplicación pueden ver sus cuerpos sobresexualizados y sentirse violados como ya lo hacen muchos de los usuarios adultos de Lensa, o pueden usar la aplicación como arma para acosar sexualmente a sus compañeros.
Sin moderación ni supervisión, el potencial de violencia generada por la IA inherente a los "avatares mágicos" es asombroso. Lensa no parece hacer cumplir sus políticas que prohíben la desnudez y los menores, y no tiene ninguna política que estipule que los usuarios solo pueden cargar imágenes de ellos mismos. (Sus únicas especificaciones relevantes son "la misma persona en todas las fotos" y "ninguna otra persona en la foto".) Como la mayoría de las otras "innovaciones" tecnológicas, el uso indebido de Lensa dañará gravemente a quienes ya están en riesgo: niños, mujeres de color y trabajadoras sexuales
Dado que los artistas temen que los generadores de arte con IA se conviertan en una alternativa barata para su trabajo, las aplicaciones que generan imágenes sexualmente explícitas podrían afectar potencialmente a los creadores de contenido para adultos. Y debido a que el trabajo sexual, y especialmente el contenido para adultos, a menudo se combina con CSEM, me preocupa la posibilidad de que estas violaciones, como ocurre con frecuencia en tales controversias, se conviertan de alguna manera en un problema para las trabajadoras sexuales. Después de todo, la frecuencia de desnudos no deseados generados por una aplicación basada en algoritmos de aprendizaje automático indica que los usuarios han estado subiendo fotos explícitas a Lensa, a pesar de sus términos de servicio, en un volumen lo suficientemente alto como para que la desnudez se instale en la tecnología. Ya sea que esto sea el resultado de que las trabajadoras sexuales editen su contenido, que los civiles mejoren sus propios desnudos o que otros introduzcan pornografía de venganza en la aplicación, es irrelevante. Al igual que con la polémica de Cyrus Vanity Fair, la culpa de la mirada sexualizada de Lensa recaerá sobre las cabezas de los más vulnerables.
Las amenazas materiales del CSEM y las falsificaciones profundas no se pueden desvincular de la prostitución que provoca el despido de profesores (https://www.dailyrecord.co.uk/news/scottish-news/teacher-glasgow-only-fans -leak-28623167) cuando sus alumnos descubren sus OnlyFans. Los estudiantes y compañeros de trabajo de las trabajadoras sexuales que consumen contenido para adultos rara vez son sancionados por acosar sexualmente a sus compañeros de trabajo sexual. No hay razón para creer que la pornografía generada por IA se trataría de manera diferente. Y cuando la pornografía generada por IA se usa para dañar a las personas, se culpará a las trabajadoras sexuales por enviar contenido para adultos que entrenó a la IA, incluso si las imágenes nunca fueron pensadas para ser raspadas y utilizadas de esta manera. Ya sea que sea una trabajadora sexual o simplemente se la perciba como tal, el estigma es el mismo. Y a diferencia de OnlyFans y otras plataformas que monetizan el contenido para adultos, ninguna de estas aplicaciones de ajuste de rostros verifica si los usuarios realmente son dueños del contenido que envían.
Esta historia de terror que acabo de narrar suena demasiado distópica para ser una amenaza real. Pero como también he aprendido a través de mi propia puerta giratoria interminable de acosadores cibernéticos, ninguna cantidad de evidencia exoneradora es suficiente para sofocar una campaña de acoso. El acoso coordinado ya es increíblemente efectivo para silenciar las voces marginadas, especialmente las de las trabajadoras sexuales, [personas queer] (https://www.them.us/story/keffals-twitch-streamer-leaving-canada-harassment-swatting), y Mujeres negras, sin pornografía de venganza generada por IA. Y aunque la tecnología puede no ser lo suficientemente sofisticada para producir deepfakes convincentes ahora, lo será pronto. "Tus fotos se usarán para entrenar la IA que creará Avatares Mágicos para ti", y por solo $3.99 cada uno.