Incidentes Asociados
Stability.AI, la empresa que desarrolló Stable Diffusion, lanzó una nueva versión del modelo de IA a fines de noviembre. Un portavoz dice que el modelo original se lanzó con un filtro de seguridad, que Lensa no parece haber usado, ya que eliminaría estas salidas. Una forma en que Stable Diffusion 2.0 filtra el contenido es eliminando las imágenes que se repiten con frecuencia. Cuanto más a menudo se repite algo, como las mujeres asiáticas en escenas sexualmente gráficas, más fuerte se vuelve la asociación en el modelo de IA.
Caliskan ha estudiado CLIP (preentrenamiento de imágenes en lenguaje contrastivo), que es un sistema que ayuda a Stable Diffusion a generar imágenes. CLIP aprende a relacionar imágenes en un conjunto de datos con indicaciones de texto descriptivo. Caliskan descubrió que estaba lleno de prejuicios raciales y de género problemáticos.
“Las mujeres se asocian con contenido sexual, mientras que los hombres se asocian con contenido profesional relacionado con la carrera en cualquier dominio importante, como medicina, ciencia, negocios, etc.”, dice Caliskan.
Curiosamente, mis avatares de Lensa eran más realistas cuando mis imágenes pasaban por filtros de contenido masculino. Obtuve avatares de mí mismo usando ropa (!) y en poses neutrales. En varias imágenes, llevaba una bata blanca que parecía pertenecer a un chef o un médico.
Pero no son solo los datos de entrenamiento los que tienen la culpa. Las empresas que desarrollan estos modelos y aplicaciones toman decisiones activas sobre cómo usan los datos, dice Ryan Steed, estudiante de doctorado en la Universidad Carnegie Mellon, que ha estudiado [sesgos en algoritmos de generación de imágenes] (https://www.technologyreview.com /2021/01/29/1017065/ai-image-generation-is-racist-sexist/).
“Alguien tiene que elegir los datos de entrenamiento, decidir construir el modelo, decidir tomar ciertos pasos para mitigar esos sesgos o no”, dice.
Los desarrolladores de la aplicación han elegido que los avatares masculinos aparezcan en trajes espaciales, mientras que los avatares femeninos obtengan tangas cósmicas y alas de hada.
Un portavoz de Prisma Labs dice que la "sexualización esporádica" de las fotos le sucede a personas de todos los géneros, pero de diferentes maneras.