Incidentes Asociados
Este año, parece que el arte generado por inteligencia artificial ha estado en todas partes. En el verano, muchos de nosotros ingresamos indicaciones ridículas en DALL-E Mini (ahora llamado Craiyon ), produciendo una serie de nueve imágenes generadas por IA de forma cómica. Pero más recientemente, ha habido un auge de aplicaciones impulsadas por IA que pueden crear avatares geniales. MyHeritage AI Time Machine genera imágenes de usuarios en estilos y configuraciones históricas, y los filtros AI TikTok se han vuelto populares para crear versiones de anime de la gente. La semana pasada, "avatares mágicos" de Lensa AI inundó las plataformas de redes sociales como Twitter con representaciones ilustrativas y pictóricas de los rostros de las personas, como si realmente estuvieran hechos. por magia Estos avatares, creados con Stable Diffusion, que permite a la IA "aprender" las características de alguien en función de las imágenes enviadas, también abrieron una lata ética. de gusanos sobre la aplicación de AI. La gente descubrió que los "avatares mágicos" tendían a [sexualizar a las mujeres] (https://www.thecut.com/2022/12/ai-avatars-lensa-beauty-boobs.html) y parecían tener [firmas de artistas falsas en la esquina inferior] (https://slate.com/technology/2022/12/lensas-a-i-avatars-the-uncomfortable-places-their-magic-comes-from.html), lo que genera preguntas sobre las imágenes que se habían utilizados para entrenar a la IA y de dónde vinieron. Esto es lo que necesita saber. ¿Qué es Lensa IA? ----------------- Es una aplicación creada por Prisma Labs que recientemente encabezó la tabla gratuita de la tienda de aplicaciones iOS. Aunque se creó en 2018, la aplicación se hizo popular después de presentar una función de "avatar mágico" a principios de este mes. Los usuarios pueden enviar de 10 a 20 selfies, pagar una tarifa ($ 3.99 por 50 imágenes, $ 5.99 por 100 y $ 7.99 por 200) y luego recibir un paquete de imágenes generadas por IA en una variedad de estilos como "kawaii" o "fantasía". ” Los "avatares mágicos" de la aplicación tienen un estilo un tanto extraño, refractando semejanzas como a través de un espejo de la casa de la risa. En un paquete de 100, al menos algunos de los resultados probablemente capturarán la foto del usuario lo suficientemente bien con el estilo de una pintura o un personaje de anime. Estas imágenes han inundado Twitter y TikTok. (Polygon le pidió a Prisma Labs una estimación de cuántos avatares se produjeron y la compañía se negó a responder). Celebridades como [Megan Fox] (https://www.instagram.com/p/Cl72fI1rLVI/), [Sam Asghari] (https://www.instagram.com/p/ClxcDCdrWNT/), y Chance the Rapper incluso han compartido sus imágenes creadas por Lensa. ¿Cómo crea Lensa estos avatares mágicos? --------------------------------------------------------- Lensa utiliza Stable Diffusion, un fuente Modelo de aprendizaje profundo de IA, que se basa en una base de datos de arte extraída de Internet. Esta base de datos se llama LAION-5B e incluye 5850 millones de pares de imagen-texto, filtrados por una [red neuronal llamada CLIP](https:// openai.com/blog/clip/) (que también es de código abierto). Stable Diffusion se lanzó al público el 22 de agosto y Lensa está lejos de ser la única aplicación que usa sus capacidades de texto a imagen. [Canva, por ejemplo, lanzó recientemente una función] (https://www.theverge.com/2022/11/10/23450965/canva-text-to-image-ai-tool-free-users) usando el open- IA de origen. Un análisis independiente de 12 millones de imágenes de el conjunto de datos (un pequeño porcentaje, aunque suene enorme) rastreó los orígenes de las imágenes hasta plataformas como Blogspot, Flickr, DeviantArt, Wikimedia y Pinterest, la última de las cuales es la fuente de aproximadamente la mitad de la colección. Más preocupante aún, este "conjunto de datos a gran escala no está curado" [dice la sección de exención de responsabilidad de la página del blog de preguntas frecuentes de LAION-5B] (https://laion.ai/blog/laion-5b/). O, en palabras regulares, esta IA ha sido entrenada en una manguera contra incendios de imágenes de Internet puras y sin adulterar. Stability AI solo eliminó el "contenido ilegal" de los datos de capacitación de Stable Diffusion, incluido el material de abuso sexual infantil, [informó The Verge] (https://www.theverge.com/2022/9/15/23340673/ai-image-generation- estable-difusión-explicada-ética-derechos de autor-datos). En noviembre, Stability AI realizó algunos cambios que [dificultaron la creación de imágenes NSFW](https://www.theverge.com/2022/11/24/23476622/ai-image-generator-stable-diffusion-version-2 -nsfw-artists-data-changes). Esta semana, Prisma Labs le dijo a Polygon que también "lanzó una nueva capa de seguridad" que "tiene como objetivo abordar el contenido NSFW no deseado". La licencia de Stable Diffusion dice los usuarios no pueden usarla para violar la ley, "explotar, dañar o intentar explotar o dañar a menores" o por generar información falsa o menospreciar y acosar a otros (entre otras restricciones). Pero la tecnología en sí misma aún puede generar imágenes en violación de esos términos. Como dijo The Verge, "una vez que alguien ha descargado Stable Diffusion a su computadora, no hay restricciones técnicas sobre para qué pueden usar el software”. ¿Por qué los generadores de arte con IA se volvieron tan populares este año? -------------------------------------------------- ---- Aunque esta tecnología ha estado en desarrollo durante años, algunos generadores de arte de IA entraron en versión beta pública o estuvieron disponibles públicamente este año, como [Midjourney](https://midjourney.com/home/?callbackUrl=%2Fapp% 2F), DALL-E (técnicamente DALL-E 2, pero la gente simplemente lo llama DALL-E) y Stable Diffusion. Estas formas de [IA generativa](https://hbr.org/2022/11/how-generative-ai-is- Changing-creative-work) permiten a los usuarios escribir una serie de términos para crear imágenes impresionantes. Algunos de estos son deliciosos y caprichosos, como poner un Shiba Inu en una boina. Pero probablemente también puedas imaginar con qué facilidad se podría usar esta tecnología para crear [falsificaciones profundas o pornografía] (https://www.theverge.com/2022/9/15/23340673/ai-image-generation-stable-diffusion-explained -ética-derechos de autor-datos). También hay un grado de delicadeza que el arte de la IA parece no poder conseguir, al menos, todavía no. Tiende a tener problemas con los dedos: ¿querías 12? — y ha producido creaciones francamente de pesadilla como múltiples cabezas y rostros rotos . Stable Diffusion, a diferencia de DALL-E, Midjourney e Imagen de Google, es de código abierto y, por lo tanto, ha proliferado ampliamente. Midjourney, que fue creado por un equipo independiente, entró en beta abierta este verano; puedes generar 25 imágenes gratis si te unes a su Discord. DALL-E, creado por OpenAI, debutó en abril antes de eliminar su lista de espera y abrir el acceso beta en septiembre, momento en el que los usuarios [generaron unos 2 millones de imágenes por día] (https://www.washingtonpost.com/technology/interactive /2022/inteligencia-artificial-imagenes-dall-e/). DALL-E brinda a los usuarios créditos gratuitos mensuales que se pueden usar para generar imágenes, y [puede pagar créditos adicionales] (https://openai.com/blog/dall-e-now-disponible-in-beta/). Cualquiera puede usar Stable Diffusion, siempre que tenga la potencia de procesamiento adecuada. También es, en comparación con sus competidores, mucho menos filtrado y, por lo tanto, puede usarse para crear imágenes más ofensivas. Stability AI, la compañía detrás de Stable Diffusion, reconoció en un comunicado que "el modelo puede reproducir algunos sesgos sociales y producir contenido inseguro". Polygon contactó a Stability AI y actualizará esta historia con su respuesta. Prisma Labs [reconoce los sesgos de Stable Diffusion en sus preguntas frecuentes] (https://prismalabs.notion.site/prismalabs/Lensa-s-Magic-Avatars-Explained-c08c3c34f75a42518b8621cc89fd3d3f) también. Cuando Polygon le preguntó a Prisma Labs sobre la existencia de sesgos en la IA generativa, obtuvimos esta respuesta: “Es crucial tener en cuenta que los creadores de Stable Diffusion Model lo entrenaron en un conjunto considerable de datos sin filtrar de Internet. Entonces, ni nosotros, ni Stability AI (creador del modelo de difusión estable) podríamos aplicar conscientemente ningún sesgo de representación. Para ser más precisos, los datos no filtrados hechos por el hombre y obtenidos en línea introdujeron el modelo a los sesgos existentes de la humanidad. Esencialmente, la IA es un espejo de nuestra sociedad”. ¿Qué tipos de sesgo aparecen en Lensa AI? --------------------------------------- Varios reporteros han señalado la "magia avatares” tienden a sexualizar a las mujeres y anglicanizar a las minorías. Lensa agregó senos grandes y [escote caricaturesco](https://www. thecut.com/2022/12/ai-avatars-lensa-beauty-boobs.html) a imágenes de mujeres, además de generar desnudos, cuando no se solicitaron dichas imágenes. Olivia Snow, investigadora del Centro de Investigación Crítica de Internet de UCLA, señaló en Wired que Lensa producía imágenes sexualizadas incluso cuando [enviaba fotos de sí misma cuando era niña] (https://www.wired.com/story/lensa- inteligencia-artificial-csem). Un [reportero de Jezabel] (https://jezebel.com/trendy-portrait-app-lensa-is-accused-of-creating-noncon-1849870304) preguntó a Prisma Labs sobre los hallazgos de Snow; Prisma Labs dijo que Snow había "violado explícita e intencionalmente [sus] Términos de uso". Los [términos de servicio] de Lensa (https://prisma-ai.com/terms) prohíben enviar desnudos y dirigir a los usuarios a enviar imágenes de adultos, "sin niños". La aplicación también solicita a los usuarios que hagan clic en un cuadro que indica que tienen 18 años o más antes de crear estos "avatares mágicos". > Probé la aplicación Lensa AI y alimenté 20 fotos mías, y tengo que decir que realmente tiene problemas con las caras asiáticas. Mis resultados fueron sesgados para ser más asiáticos del este y no estoy absolutamente impresionado. pic.twitter.com/WnyLKXQT8K > > — Anisa Sanusi (@studioanisa) [3 de diciembre de 2022](https://twitter.com/studioanisa/status/1598863864879546368? ref_src=twsrc%5Etfw ) Lensa también perpetúa estereotipos racistas, como la fetichización de las mujeres asiáticas. Un [periodista asiático que escribe para MIT Technology Review](https://www.technologyreview.com/2022/12/12/1064751/the-viral-ai-avatar-app-lensa-undressed-me-without-my-consent /) detalló su experiencia con la aplicación de Lensa y le dio una serie de avatares que estaban "desnudos" o "mostraban mucha piel", mientras que sus colegas mujeres blancas "obtuvieron significativamente menos imágenes sexualizadas". TechCrunch también ha notado que es bastante fácil crear [imágenes NSFW de celebridades] (https://techcrunch.com/2022/12/06/lensa-goes-nsfw/) simplemente alimentando las imágenes modificadas con Photoshop de la IA. Esto tiene implicaciones sorprendentes sobre la forma en que dicho software podría usarse para crear pornografía vengativa, por ejemplo. (Particularmente preocupante también, ya que la cantidad de pornografía de venganza [las víctimas se dispararon durante la pandemia de COVID-19] (https://www.washingtonpost.com/lifestyle/style/revenge-porn-nonconsensual-porn/2020/10/28) /603b88f4-dbf1-11ea-b205-ff838e15a9a6_story.html).) El 13 de diciembre, Prisma Labs lanzó nuevas funciones destinadas a abordar las imágenes NSFW. Un representante de comunicaciones señaló a Polygon un comunicado de prensa: “Esto se pudo lograr mediante una investigación exhaustiva para actualizar y modificar varios parámetros del modelo Stable Diffusion aprovechado por la aplicación. Para abordar las preocupaciones de seguridad recientes y mejorar la experiencia general en la aplicación, los desarrolladores de Prisma Labs se aseguraron de que la generación de dichos avatares fuera menos probable. En raras ocasiones, cuando el nuevo algoritmo NSFW no funciona ni ofrece los resultados deseados, la siguiente capa de seguridad se activa para difuminar los elementos visuales inapropiados y la desnudez en los resultados finales”. ¿Lo has visto en acción? --------------------------- ¡Sí tengo! El 13 de diciembre, envié 19 imágenes a Lensa para producir 100 avatares, lo que me costó $ 5,99. Las imágenes que elegí presentaban mi rostro en varios ángulos e iluminación. Una de estas imágenes mostraba mi cuerpo: llevaba un vestido suelto y me tomaba una foto en el espejo. Recibí 100 imágenes a cambio, que ofrecían una panoplia de rasgos diseccionados en tantos rostros que finalmente no se parecían a mí. Lensa parecía no tener idea de qué hacer con mi rostro (soy taiwanés y blanco), creando algunas imágenes que parecían del este de Asia, pero por lo demás como completos extraños, excepto por una peculiaridad particular mía, como mi mandíbula o la forma de mis ojos. Algunas imágenes simplemente parecían mujeres blancas, y Lensa incluso me dio ojos azules, aunque tengo ojos marrones, y ninguna de las imágenes que envié me mostraba con ojos azules. Estas modificaciones se agruparon en torno a "categorías" particulares delineadas por la aplicación. Las imágenes de "kawaii" se veían más del este de Asia, con algunas generando un cuerpo delgado. Bajo "luz" y "fantasía", los resultados se veían más blancos. Algunas de las imágenes del paquete "iridiscente" me hacían parecer un androide; me interesaría comparar mis resultados con los de otros, ya que refleja un tropo en el que [las mujeres asiáticas en la ciencia ficción](https://commons. princeton.edu/gendersexualityandmedia/2019/01/14/final-project-dossier-the-technologized-racialized-gendered-other/) tienden a representarse como robots más de lo que existen como personas humanas. Una imagen en el conjunto "cósmico" me dio un escote aleatorio. Por suerte, ninguna de las imágenes eran desnudos. ¿Por qué estos generadores de imágenes de IA son racistas y misóginos? -------------------------------------------------- -------- Todo se reduce a cómo se "entrenan" estas IA. La IA reflejará lo que ha "aprendido" a través del conjunto de datos que recibió, ya sea un estilo artístico magnífico o un sesgo social grotesco. Un estudio realizado en junio de 2022 realizado por investigadores del Instituto de Tecnología de Georgia y la Universidad Johns Hopkins, entre otros, encontró que los robots entrenados por la red neuronal CLIP “muestra definitivamente robots actuando estereotipos tóxicos” con respecto al género y la raza. También eran “menos propensos a reconocer a mujeres y personas de color”. El robot eligió con mayor frecuencia la cara de un hombre negro cuando se le solicitó "criminal", por ejemplo, y seleccionó mujeres negras y mujeres latinas cuando se le solicitó "ama de casa". El racismo en la IA no es nuevo, pero durante años se ha sentido más ciencia ficción que realidad; solo se está volviendo más relevante a medida que el arte generado por IA ha "llegado" en la medida en que puede pagar una tarifa para disfrutarlo usted mismo. Y no se trata solo de difusión estable. DALL-E también genera imágenes que refuerzan estereotipos misóginos y racistas. Ingresar "enfermera" produce imágenes de mujeres, mientras que "CEO" produce principalmente imágenes de hombres blancos. OpenAI es consciente de esto. Una publicación de blog de OpenAI, publicada en julio, detalló una "nueva técnica" para "reflejar la diversidad de la población mundial”. OpenAI también bloquea ciertas palabras que generarían respuestas de odio, como la palabra "disparar". La sección "[Riesgos y limitaciones] (https://github.com/openai/dalle-2-preview/blob/main/system-card.md)" de Github de OpenAI, actualizada en abril de 2022, ofrece un poco de información sobre el obstáculos que surgieron con el entrenamiento de la IA. El "contenido sexual y violento gráfico" se filtró del conjunto de datos de capacitación, pero esto también redujo la cantidad de "imágenes generadas de mujeres en general". En pocas palabras, deshacerse de la violencia sexual significó que la IA creara menos imágenes de mujeres. "El sesgo es un gran problema en toda la industria para el que nadie tiene una respuesta excelente e infalible", dijo Miles Brundage, jefe de investigación de políticas de OpenAI, a Vox en abril (https://www.vox.com/future -perfecto/23023538/ai-dalle-2-openai-bias-gpt-3-incentivos). Incluso Craiyon (de soltera DALL-E Mini) tiene una [sección de limitaciones y sesgos] (https://www.craiyon.com/) en sus preguntas frecuentes que señala que podría "reforzar o exacerbar los sesgos sociales". Además, señala que "debido a que el modelo fue entrenado con datos sin filtrar de Internet, puede generar imágenes que contienen estereotipos dañinos". ¿Y cómo se sienten los artistas acerca de Lensa? ------------------------------------ Los artistas han expresado su preocupación por el entrenamiento de Stable Diffusion en su modelo de IA con arte en Internet, parte de la cual es casi seguro que tiene derechos de autor, dada la amplitud de lo que se extrajo, sin pedirles permiso a esos artistas. No hay realmente una manera para que los artistas opten por no participar actualmente. Algunos de los "avatares mágicos" de Lensa parecen tener la firma de un artista en la esquina inferior, lo que [desencadenó un debate](https://slate.com/technology/2022/12/lensas-a-i-avatars-the-uncomfortable-places- su-magia-viene-de.html) en Twitter. Aunque las letras en sí tienden a parecer incoherentes, tras un examen minucioso, indica que la IA fue entrenada en imágenes que sí tienen firmas de artistas. (Prisma Labs reconoce estas firmas fantasma en sus preguntas frecuentes de Lensa). El uso del sitio "[Have I Been Trained] (https://haveibeentrained.com/)" permite a las personas buscar si una imagen se ha raspado en los datos de LAION-5B colocar. Algunas personas han encontrado imágenes de sí mismas en el conjunto de datos, sin [comprender cómo terminaron allí](https://arstechnica.com/information-technology/2022/09/artist-finds-private-medical-record-photos- in-popular-ai-training-data-set/), para añadir este nudo gordiano ético. > Estoy recortando estos por razones de privacidad/porque no estoy tratando de llamar a ninguna persona. Todos estos son retratos de Lensa donde aún se ven los restos destrozados de la firma de un artista. Esos son los restos de la firma de uno de los múltiples artistas a los que robó. > > A https://t.co/0lS4WHmQfW pic.twitter.com/7GfDXZ22s1 > > — Lauryn Ipsum (@LaurynIpsum) 6 de diciembre de 2022 En otro retroceso, la gente ha dicho que [IA podría reemplazar a los artistas](https://techcrunch .com/2022/12/05/lensa-ai-app-store-magic-avatars-artists/) en una variedad de campos. En septiembre, el arte creado por Midjourney ganó el primer lugar en la feria estatal de Colorado concurso de artes En junio, DALL-E hizo una portada de revista para Cosmopolitan. Algunos también han argumentado que generar la consulta de entrada correcta para un generador de arte de IA, que puede ser un proceso largo e iterativo, debe considerarse su propia forma de creación de arte. Los ejemplos de AI que replican la estética artística ya se están difundiendo en Internet. Polaco [artista digital Greg Rutkowski] La obra de arte de it/) se ha convertido en un estilo dominante en el que parecen basarse muchas de estas imágenes generadas por IA. Los usuarios de Twitter han alimentado el aviso "al estilo de Wes Anderson" para crear marcos de otros películas con el característico estilo cursi del director. Directores como Guillermo del Toro y Hayao Miyazaki (este último en 2016, cuando la tecnología era mucho más emergente) se han pronunciado en contra del uso de la IA en el cine, calificándolo ambos de “[un insulto a la vida misma](https://www. polygon.com/23507256/guillermo-del-toro-ai-art-midjourney).” Mientras tanto, algunos artistas ya han citado a Midjourney como crucial para su proceso creativo, particularmente diseñadores que de otro modo no podrían pagar las primeras maquetas, o profesionales como los diseñadores de interiores que lo usaron para representar cómo se vería una habitación recién decorada. Ya hay un ejemplo destacado del arte de la IA en los videojuegos. High on Life, creado por el creador de Rick and Morty, Justin Roiland, usa arte de IA creado por Midjourney para los "toques finales", Roiland [confirmado a Sky News](https://news.sky.com/story/high-on-life -rick-and-morty-co-creador-en-su-nuevo-juego-de-disparos-donde-las-armas-responden-12766710). Aunque no dijo para qué se usaba, los usuarios de Reddit han señalado que los carteles del juego parecen ser AI- generado. (Acerca el zoom y el texto parece un galimatías). No es difícil imaginar cómo el arte de la IA podría desplazar a los artistas de ambientes y texturas, por ejemplo, cuando es gratis, o, al menos, barato, y el trabajo humano no lo es. Por su parte, Prisma Labs proporcionó esta cita extraordinariamente optimista a Polygon sobre el futuro de la IA y el arte generado por IA: “'Democratización del acceso' a tecnología de punta como Stable Diffusion, que ahora está empaquetada en la forma de un característica de la aplicación - es un hito bastante increíble. Lo que una vez estuvo disponible solo para usuarios expertos en tecnología ahora está disponible para que todos lo disfruten. No se requieren habilidades específicas. A medida que la tecnología de IA se vuelve cada vez más sofisticada y accesible, es probable que veamos que las herramientas y funciones impulsadas por IA se integren ampliamente en las aplicaciones orientadas al consumidor, haciendo que cada aplicación sea más poderosa, personalizable y fácil de usar. Nos gustaría imaginar que la IA también puede integrarse más en nuestra vida diaria con más consumidores que opten por utilizar servicios impulsados por IA para mejorar sus experiencias y, en última instancia, hacer la vida un poco más fácil y menos estresante. En general, creemos que el futuro de las aplicaciones impulsadas por IA se ve brillante y lleno de potencial”. Ya es bastante difícil, en Internet, distinguir los hechos de la ficción. También es difícil ganarse la vida en un campo creativo, ya que la competencia y la inflación causan estragos en la industria. La IA generativa solo hará las cosas más difíciles. Independientemente de cómo se aplique esta tecnología, y el grado en que los artistas se vean afectados, esto parece seguro.