Incidentes Asociados
Esta imagen se creó con Stable Diffusion y aparece en Shutterstock. Si bien la IA es capaz de dibujar imágenes abstractas, tiene sesgos inherentes en la forma en que muestra rostros humanos reales según las indicaciones de los usuarios. (Imagen: Fernando_García, Shutterstock)
Si creciste en un agujero cubierto de 3,66 m en la Tierra y solo tuvieras una computadora portátil con la última versión del generador de imágenes Stable Diffusion AI, entonces creerías que no existe tal cosa como una mujer ingeniera.
La Oficina de Estadísticas Laborales de EE. UU. muestra que las mujeres están enormemente subrepresentadas en el campo de la ingeniería, pero los promedios de 2018 muestran que las mujeres representan alrededor de una quinta parte de las personas en profesiones de ingeniería. Pero si usa Difusión estable para mostrar un "ingeniero", todos ellos son hombres. Si Stable Diffusion coincidiera con la realidad, entonces de nueve imágenes basadas en un "ingeniero" rápido, 1.8 de esas imágenes deberían mostrar mujeres.
Qué sucede cuando pruebas diferentes tipos de "ingenieros" en el generador de imágenes de IA de Stable Diffusion. (Captura de pantalla: Difusión estable/Cara abrazada)
El investigador de inteligencia artificial de Hugging Face, Sasha Luccion, creó [una herramienta simple] (https://huggingface.co/spaces/sasha/StableDiffusionBiasExplorer) que ofrece quizás la forma más efectiva de mostrar sesgos en el modelo de aprendizaje automático que crea imágenes. Stable Diffusion Explorer muestra lo que el generador de imágenes de IA cree que es un "CEO ambicioso" frente a un "CEO solidario". Ese descriptor anterior hará que el generador muestre una gran variedad de hombres con varios trajes negros y azules. El último descriptor muestra un número igual de mujeres y hombres.
¿Cuál es la diferencia entre estos dos grupos de personas? Bueno, según Stable Diffusion, el primer grupo representa un 'CEO ambicioso' y el segundo un 'CEO solidario'. Creé una herramienta simple para explorar los sesgos arraigados en este modelo: https://t.co/l4lqt7rTQj [pic.twitter.com/xYKA8w3N8N](https:// t.co/xYKA8w3N8N)
— Dra. Sasha Luccioni 💻🌎✨ (@SashaMTL) 31 de octubre de 2022
El tema del sesgo de imagen de IA no es nada nuevo, pero las preguntas sobre cómo lo malo que es ha sido relativamente inexplorado, especialmente porque DALL-E 2 de OpenAI entró por primera vez en su versión beta limitada a principios de este año. En abril, OpenAI publicó un documento Riesgos y limitaciones en el que se señala que su sistema puede reforzar los estereotipos. Su sistema produjo imágenes que sobrerrepresentaban a personas blancas que pasaban e imágenes a menudo representativas del oeste, como bodas al estilo occidental. También mostraron cómo algunas indicaciones para "constructor" se mostrarían centradas en los hombres, mientras que una "asistente de vuelo" estaría centrada en las mujeres. La compañía dijo anteriormente que estaba evaluando los sesgos de DALL-E 2, aunque la compañía no respondió de inmediato a la solicitud de Gizmodo preguntando si habían hecho algún progreso.
Pero mientras DALL-E ha estado abierto a discutir los sesgos de su sistema, Stable Diffusion es una plataforma mucho más "abierta" y menos regulada. Luccioni le dijo a Gizmodo en una entrevista de Zoom que el proyecto comenzó mientras intentaba descubrir una forma más reproducible de examinar los sesgos en Stable Diffusion, especialmente con respecto a cómo el modelo de generación de imágenes de Stability AI coincidía con las estadísticas profesionales oficiales reales de género o raza. También añadió adjetivos de género a la mezcla, como “asertivo” o “sensible”. La creación de esta API para Stable Diffusion también crea rutinariamente imágenes recortadas y colocadas de forma muy similar, a veces del mismo modelo base con un corte de pelo o una expresión diferentes. Esto agrega otra capa de consistencia entre las imágenes.
Otras profesiones tienen un género extremo cuando se escriben en los sistemas de Stable Diffusion. El sistema no mostrará indicios de un enfermero presentador masculino, sin importar si es confiado, terco o irrazonable. Los enfermeros representan más del 13 % del total de puestos de enfermería registrados en los EE. UU., [según las últimas cifras del BLS] (https://www.bls.gov/cps/cpsaat11.htm).
Lo que Stable Diffusion piensa es un diseñador 'modesto' versus un supervisor 'modesto'. (Captura de pantalla: Difusión estable/Cara abrazada)
Después de usar esa herramienta, se vuelve extremadamente evidente lo que Stable Diffusion cree que es la representación más clara de cada rol. El ejemplo del ingeniero es probablemente el más descarado, pero pídale al sistema que cree un "supervisor modesto" y se le otorgará una lista de hombres con polos o atuendos de negocios. Cambie eso a "diseñador modesto" y de repente encontrará un grupo diverso de hombres y mujeres, incluidos varios que parecen estar usando hijabs. Luccioni notó que la palabra "ambicioso" trajo más imágenes de personas de ascendencia asiática que se presentaban como hombres.
Stability AI, los desarrolladores detrás de Stable Diffusion, no respondieron la solicitud de comentarios de Gizmodo.
El sistema Stable Diffusion se basa en el conjunto de imágenes LAION que [contiene miles de millones de imágenes, fotos y más extraídas de Internet](https://www.gizmodo.com. au/2022/09/getty-says-no-to-ai-generated-images-because-doesnt-want-anymore-copyright-headaches/), incluido el alojamiento de imágenes y los sitios de arte. Este género, así como algunos sesgos raciales y culturales, se establecen debido a la forma en que Stability AI clasifica las diferentes categorías de imágenes. Luccioni dijo que si hay un 90 % de imágenes relacionadas con un aviso que son de hombres y un 10 % de mujeres, entonces el sistema está capacitado para concentrarse en el 90 %. Ese puede ser el ejemplo más extremo, pero cuanto mayor sea la disparidad de imágenes en el conjunto de datos LAION, es menos probable que el sistema lo use para el generador de imágenes.
“Es como una lupa para las inequidades de todo tipo”, dijo el investigador. “El modelo se enfocará en la categoría dominante a menos que lo empuje explícitamente en la otra dirección. Hay diferentes maneras de hacer eso. Pero tienes que incluir eso en el entrenamiento del modelo o en la evaluación del modelo, y para el modelo de Difusión Estable, eso no se hace”.
La difusión estable se está utilizando para algo más que arte de IA
En comparación con otros modelos generativos de IA en el mercado, Stable Diffusion ha sido particularmente laissez faire sobre cómo, dónde y por qué las personas pueden usar sus sistemas. En su investigación, Luccioni se desconcertaba especialmente cuando buscaba "madrastra" o "padrastro". Si bien los que están acostumbrados a las travesuras de Internet no se sorprenderán, los estereotipos que tanto las personas como estos generadores de imágenes de IA están creando la inquietaron.
Sin embargo, las mentes de Stability AI han sido abiertamente antagónicas a la idea de restringir cualquiera de sus sistemas. Emad Mostaque, el fundador de Stability AI, ha dicho en entrevistas que quiere una especie de sistema de IA descentralizado que no se ajusta a los caprichos del gobierno o de las corporaciones. La empresa se ha visto envuelta en controversia cuando su sistema se utilizó para crear contenido pornográfico y violento. Nada de eso ha impedido que Stability AI [acepte $101 millones ($140) millones en recaudación de fondos](https://techcrunch.com/2022/10/17/stability-ai-the-startup-behind-stable-diffusion-raises- 101m/) de las principales firmas de capital de riesgo.
Estas sutiles predilecciones hacia ciertos tipos del sistema de IA se deben en parte a la falta de contenido original del que se extrae el generador de imágenes, pero el problema en cuestión es una especie de escenario del huevo y la gallina. ¿Los generadores de imágenes solo ayudarán a enfatizar los prejuicios existentes?
Son preguntas que requieren más análisis. Luccioni dijo que quiere ejecutar este mismo tipo de indicaciones a través de varios modelos de texto a imagen y comparar los resultados, aunque algunos programas no tienen un sistema API sencillo para crear comparaciones sencillas en paralelo. También está trabajando en gráficos que compararán los datos laborales de EE. UU. con las imágenes generadas por la IA para comparar directamente los datos con lo que presenta la IA.
Pero a medida que se lanzan más de estos sistemas, y el impulso para ser el generador de imágenes de IA preeminente en la web se convierte en el enfoque principal para estas empresas, a Luccioni le preocupa que las empresas no se tomen el tiempo para desarrollar sistemas para reducir los problemas con la IA. Ahora que estos sistemas de IA se están integrando en sitios como [Shutterstock y Getty](https://www.gizmodo.com.au/2022/10/shutterstock-has-a-plan-to-sell-ai-stock-images -y-compensar-a-los-humanos-pero-los-competidores-no-están-convencidos/), las cuestiones de sesgo podrían ser aún más relevantes ya que las personas pagan para usar el contenido en línea.
“Creo que es un problema de datos, es un problema de modelo, pero también es como un problema humano que la gente va en la dirección de ‘más datos, modelos más grandes, más rápido, más rápido, más rápido'”, dijo. “Tengo un poco de miedo de que siempre haya un retraso entre lo que está haciendo la tecnología y cuáles son nuestras salvaguardas”.