Incidentes Asociados
Según Stable Diffusion, el mundo está dirigido por directores ejecutivos blancos. Las mujeres rara vez son doctoras, abogadas o juezas. Los hombres de piel oscura cometen delitos, mientras que las mujeres de piel oscura hacen hamburguesas. Stable Diffusion genera imágenes utilizando inteligencia artificial, en respuesta a indicaciones escritas. Al igual que muchos modelos de IA, lo que crea puede parecer plausible a primera vista, pero en realidad es una distorsión de la realidad. Un análisis de más de 5000 imágenes creadas con Stable Diffusion encontró que lleva las disparidades raciales y de género al extremo, peor que las que se encuentran en el mundo real. Vale la pena examinar más de cerca este fenómeno, ya que los modelos de generación de imágenes, como Stable Diffusion de Stability AI, Dall-E de OpenAI y otras herramientas similares, pasan rápidamente de ser salidas divertidas y creativas para la expresión personal a las plataformas sobre las cuales se construirá la economía del futuro. . La IA de texto a imagen ya se está utilizando en aplicaciones del gigante de la comunicación visual Adobe Inc. y el fabricante de chips Nvidia Corp., y está comenzando a potenciar los anuncios que vemos. El Comité Nacional Republicano usó IA para generar imágenes para un anuncio político anti-Biden en abril que mostraba a un grupo de agentes fronterizos, en su mayoría blancos, que detenían a lo que llamó "ilegales" que intentaban cruzar al país. El video, que parece real pero no es más auténtico que una animación, ha llegado a cerca de un millón de personas en las redes sociales. Algunos expertos en IA generativa predicen que hasta el 90 % del contenido de Internet podría generarse artificialmente en algunos años. A medida que proliferan estas herramientas, los sesgos que reflejan no solo perpetúan aún más los estereotipos que amenazan con detener el progreso hacia una mayor igualdad en la representación, sino que también podrían resultar en un trato injusto. Tome [vigilancia] (https://www.bloomberg.com/equality), por ejemplo. El uso de IA sesgada de texto a imagen para crear bocetos de presuntos delincuentes podría conducir a condenas injustas. "Básicamente, estamos proyectando una única cosmovisión en el mundo, en lugar de representar diversos tipos de culturas o identidades visuales", dijo Sasha Luccioni, científica investigadora de la empresa emergente de inteligencia artificial Hugging Face, coautora de un [estudio] (https:// arxiv.org/abs/2303.11408) de sesgo en los modelos de IA generativos de texto a imagen. Para medir la magnitud de los sesgos en IA generativa, Bloomberg usó Stable Diffusion para generar miles de imágenes relacionadas con títulos de trabajo y delitos. Impulsamos el modelo de texto a imagen para crear representaciones de trabajadores para 14 trabajos: 300 imágenes cada uno para siete trabajos que normalmente se consideran "muy bien pagados" en los EE. UU. y siete que se consideran "mal pagados", más tres categorías relacionados con el crimen. Confiamos en Stable Diffusion para este experimento porque su modelo subyacente es libre y transparente, a diferencia de Midjourney, Dall-E y otros competidores. En total, el análisis incluyó 5100 imágenes de personas generadas por IA. Para cada imagen, calculamos un color promedio de las partes de la imagen que componían la piel del rostro. Con base en ese color promedio, cada rostro se clasificó en una de las seis categorías de pigmentación de la piel, según lo define la escala de piel de Fitzpatrick, un sistema utilizado por dermatólogos e investigadores. Los tipos 1 a 3 se consideran piel más clara y 4 a 6 como piel más oscura. El análisis encontró que los conjuntos de imágenes generados para cada trabajo bien remunerado estaban dominados por sujetos con tonos de piel más claros, mientras que los sujetos con tonos de piel más oscuros eran más comúnmente generados por mensajes como "trabajador de comida rápida" y "trabajador social". La categorización de imágenes por género cuenta una historia similar. Cada imagen fue revisada por un equipo de reporteros y etiquetada de acuerdo con el género percibido de la persona fotografiada. Para cada imagen que representaba a una mujer percibida, Stable Diffusion generó casi tres veces más imágenes de hombres percibidos. La mayoría de las ocupaciones en el conjunto de datos estaban dominadas por hombres, a excepción de los trabajos mal pagados como ama de llaves y cajero. Al considerar el sesgo en términos de tono de piel y género, los hombres con tonos de piel más claros representaron la mayoría de los sujetos en todos los trabajos bien remunerados, incluidos "político", "abogado", "juez" y "CEO". Al alinear todos los rostros generados para cada ocupación en función de la ubicación de los ojos, la nariz y la boca, es posible determinar el color y la posición promedio de todos los píxeles en las imágenes para crear un "rostro promedio". Este método es comúnmente utilizado por investigadores, incluidos aquellos en el campo del sesgo y la ética de la IA. Estos rostros promedio dejan en claro que el modelo de IA pintó una imagen del mundo en la que ciertos trabajos pertenecen a algunos grupos de personas y no a otros. “Todos los modelos de IA tienen sesgos inherentes que son representativos de los conjuntos de datos en los que están capacitados”, dijo en un comunicado enviado por correo electrónico un portavoz de la startup StabilityAI, con sede en Londres, que distribuye Stable Diffusion. "Al abrir nuestros modelos, nuestro objetivo es apoyar a la comunidad de IA y colaborar para mejorar las técnicas de evaluación de sesgos y desarrollar soluciones más allá de la modificación rápida básica". La empresa tiene una iniciativa para desarrollar modelos de código abierto que “se entrenarán en conjuntos de datos específicos de diferentes países y culturas, lo que servirá para mitigar los sesgos causados por la sobrerrepresentación en los conjuntos de datos generales”, dijo el vocero. La compañía aún no ha comenzado a entrenar esos modelos. Stable Diffusion está siendo utilizado por otras empresas emergentes para [generar imágenes de modelos de ropa humana] (https://www.deepagency.com/) para publicidad, y empresas principales como [Adobe] (https://exchange.adobe.com/ apps/cc/114117da/stable-diffusion) permite a los usuarios crear y editar imágenes generadas por IA directamente dentro de su software. Para 2025, las grandes empresas utilizarán herramientas de IA generativa como Stable Diffusion para producir un [30 % del marketing] (https://www.gartner.com/en/articles/beyond-chatgpt-the-future-of-generative -ai-for-enterprises), y para 2030, la IA podría estar creando películas de gran éxito utilizando indicaciones de texto a video, según Brian Burke, vicepresidente de investigación de Gartner. La tecnología tiene el potencial de transformarlo todo, desde el diseño arquitectónico hasta el desarrollo farmacéutico, según [un informe](https://www.goldmansachs.com/intelligence/pages/generative-ai-could-raise-global-gdp-by- 7-percent.html) de Goldman Sachs. Bloomberg Intelligence El analista Mandeep Singh estima que el mercado de la IA generativa podría crecer un 42 % para llegar a [1,3 billones de dólares](https://www. bloomberg.com/company/press/generative-ai-to-become-a-1-3-trillion-market-by-2032-research-finds/) para 2032. Al verse o no verse a sí mismos, las personas aprenden que tal vez no no perteneces Heather Hiles, presidenta de Black Girls Code At Canva, cuya plataforma de comunicación visual tiene 125 millones de usuarios activos, la nueva funcionalidad de generación de imágenes construida con Stable Diffusion ha sido ampliamente adoptada. El jefe de productos de inteligencia artificial de la compañía, Danny Wu, dijo que los usuarios de la compañía, que incluyen organizaciones sin fines de lucro, estudiantes, empresas privadas y especialistas en marketing, ya han generado 114 millones de imágenes utilizando Stable Diffusion. “Lo que estamos haciendo con texto a imagen es permitir que los usuarios expresen la idea que tienen en mente”, dijo Wu. Mientras tanto, Canva está trabajando en una versión mejorada y "sin sesgo" del modelo Stable Diffusion, que debería implementarse en un futuro próximo. “El tema de garantizar que la tecnología de IA sea justa y representativa, especialmente a medida que se adopta más ampliamente, es realmente importante en el que estamos trabajando activamente”, dijo. Los investigadores de la industria han estado haciendo sonar la alarma durante años sobre el riesgo de que se incorporen sesgos en los modelos avanzados de IA, y ahora los legisladores de la UE están [considerando propuestas](https://www.bloomberg.com/news/articles/2023-03-17 /chatgpt-leaves-governments-scrambling-for-ai-regulations) para obtener salvaguardas para abordar algunos de estos problemas. El mes pasado, el Senado de EE. UU. celebró una [audiencia] (https://www.bloomberg.com/news/newsletters/2023-05-17/openai-s-sam-altman-urges-congress-to-regulate-powerful- new-ai-technology) con panelistas, incluido el CEO de OpenAI, Sam Altman, que discutió los riesgos de la IA y la necesidad de regulación. Más de 31,000 personas, incluido el CEO de SpaceX, Elon Musk, y el cofundador de Apple, Steve Wozniak, han [firmado una petición] (https://futureoflife.org/open-letter/pause-giant-ai-experiments/) publicada en marzo llamando para una pausa de seis meses en la investigación y el desarrollo de IA para responder preguntas sobre regulación y ética. (Menos de un mes después, Musk [anunció](https://www.bloomberg.com/news/articles/2023-04-18/musk-wants-to-build-own-chatgpt-ai-to-rival- microsoft-and-google) lanzaría un nuevo chatbot de IA). -steve-wozniak-open-letter/) y los cambios organizativos de este año que afectan a los especialistas en ética de la IA pueden indicar que las empresas tecnológicas se están [menos preocupadas](https://www.bloomberg.com/news/features/2023-04-19/ google-bard-ai-chatbot-raises-ethical-concerns-from-employees) sobre estos riesgos a medida que se intensifica la competencia para lanzar productos reales. Peor que la realidad ------------------ La Oficina de Estadísticas Laborales de EE. UU. rastrea la raza y el género de los trabajadores en cada ocupación a través de una encuesta mensual de hogares, lo que permite establecer comparaciones entre los resultados generados por Stable Diffusion y la mano de obra estadounidense. Esa es una vara de medir razonable porque la información que se usa para entrenar los sistemas de inteligencia artificial generalmente se obtiene de Internet, que está dominada por datos e imágenes de los EE. UU. EE. UU. alberga más de la mitad de los servidores de Internet seguros del mundo y tiene la mayor cantidad de sitios web registrados, según [datos de Netcraft] (https://data.worldbank.org/indicator/IT.NET.SECR?most_recent_value_desc= true&ubicaciones=EE.UU.). El inglés también es el idioma predominante vinculado a las imágenes en la base de datos utilizada para entrenar el modelo de difusión estable. En los EE. UU., las mujeres están subrepresentadas en ocupaciones bien remuneradas, pero los datos muestran que la representación de género en la mayoría de las industrias ha disminuido. mejorado significativamente con el tiempo. Stable Diffusion describe un escenario diferente, donde casi ninguna mujer tiene trabajos lucrativos u ocupa posiciones de poder. Las mujeres constituían una pequeña fracción de las imágenes generadas por la palabra clave “juez”, alrededor del 3 %, cuando en realidad el 34 % de los jueces estadounidenses son mujeres, según la Asociación Nacional de Mujeres Jueces y el Centro Judicial Federal. En los resultados de Stable Diffusion, las mujeres no solo estaban subrepresentadas en las ocupaciones bien pagadas, sino que también estaban sobrerrepresentadas en las de baja paga. La situación es similar para las personas de color, aunque es más complejo comparar los resultados de este experimento (que miden el tono de la piel) con los datos demográficos del gobierno (que miden la raza) porque los tonos de la piel no equivalen a la raza. Aún así, los datos de BLS sugieren que Stable Diffusion puede estar tergiversando en gran medida la demografía racial dentro de las ocupaciones. El modelo no estaba muy lejos en su representación de directores generales y abogados: más del 80 % de las personas que trabajan en esos trabajos en los EE. UU. son blancos, según BLS, y el modelo generó imágenes de personas con piel más clara en más del 80 % de los casos. el tiempo. Pero fue mucho menos preciso para la mayoría de los otros trabajos, y sobrerrepresentaba específicamente a las personas con tonos de piel más oscuros en campos de baja remuneración. Por ejemplo, el modelo generó imágenes de personas con tonos de piel más oscuros el 70 % de las veces para la palabra clave “trabajador de comida rápida”, a pesar de que el 70 % de los trabajadores de comida rápida en EE. UU. son blancos. Del mismo modo, el 68 % de las imágenes generadas de trabajadores sociales tenían tonos de piel más oscuros, mientras que el 65 % de los trabajadores sociales estadounidenses son blancos. Debido a que amplifica simultáneamente los estereotipos raciales y de género, Stable Diffusion tiende a producir sus representaciones más sesgadas de la realidad cuando se trata de mujeres con piel más oscura. Este grupo demográfico constituyó la mayoría de las imágenes generadas para "trabajador social", "trabajador de comida rápida" y "trabajador de lavavajillas". De todas las ocupaciones mejor pagadas en nuestro análisis, "juez" fue la única que presentó más de una sola imagen de una mujer con el tipo de piel más oscuro. Perpetuar estereotipos y tergiversaciones a través de imágenes puede plantear barreras educativas y profesionales significativas para las mujeres y niñas negras y marrones, dijo Heather Hiles, presidenta de Black Girls Code. “Al verse o no verse a sí mismos, las personas aprenden que tal vez no pertenecen”, dijo Hiles. “Estas cosas se refuerzan a través de imágenes”. Las mujeres negras han sido sistemáticamente discriminadas por sistemas tecnológicos y de IA como productos comerciales de reconocimiento facial y [algoritmos de búsqueda](https://www .degruyter.com/document/doi/10.18574/nyu/9781479833641.001.0001/html). Por ejemplo, las herramientas de inteligencia artificial destinadas a identificar el género de las personas en las fotos con frecuencia confunden el género de las mujeres de color, etiquetándolas como hombres, mientras que la herramienta es mucho más precisa para identificar el género de hombres y mujeres con tonos de piel más claros. Es por eso que un equipo de reporteros revisó las 5100 imágenes generadas por Stable Diffusion para este experimento para categorizar manualmente el género percibido del sujeto generado por IA. Representación de delincuentes ------------------- Bloomberg también utilizó Stable Diffusion para generar imágenes para las palabras clave "recluso", "traficante de drogas" y "terrorista". Una vez más, el modelo amplificó los estereotipos. Más del 80 % de las imágenes generadas para la palabra clave "recluso" eran de personas de piel más oscura, aunque las personas de color representan menos de la mitad de la población carcelaria de EE. UU., según la [Oficina Federal de Prisiones] (https:/ /www.bop.gov/about/statistics/statistics_inmate_race.jsp). Dicho esto, el hecho de que el modelo generara cinco imágenes de reclusos de piel más oscura por cada imagen de un recluso de piel más clara puede hablar de la realidad de que los estadounidenses negros están encarcelados en prisiones estatales en casi cinco veces la tasa de estadounidenses blancos, después de ajustar para las diferencias en el tamaño de la población, según [un informe](https://www.sentencingproject.org/reports/the-color-of-justice-racial-and-ethnic-disparity-in-state-prisons-the-sentencing -proyecto/) del Proyecto de Sentencia. Eso se debe en parte al [sesgo racial] (https://www.justice.gov/crt/file/922421/download) en la vigilancia y las sentencias, que podría empeorar si la IA generativa se usara sin control en la justicia penal. sistema. Una posible forma en que la policía podría usar la tecnología es crear imágenes compuestas fotorrealistas de los sospechosos. “Mostrarle a alguien una imagen generada por una máquina puede reforzar en su mente que esa es la persona, incluso cuando podría no serlo, incluso cuando es una imagen completamente falsa”, dijo Nicole Napolitano, directora de estrategia de investigación del Center for Policing Equity. Abeba Birhane, científico cognitivo y miembro sénior en inteligencia artificial confiable en la Fundación Mozilla, también señaló que el uso de modelos generativos de texto a imagen dentro de la vigilancia para tareas como dibujar sospechosos exacerbaría el pozo -Problema documentado de parcialidad en el sistema de justicia penal. “No tiene bases científicas y debería prohibirse por completo. El riesgo es mucho mayor”, dijo Birhane. “Supera cualquier ventaja”. Según Napolitano, los departamentos de policía con amplios presupuestos tienden a adquirir nuevas tecnologías a medida que están disponibles, sin garantizar que haya supervisión para examinar las posibles ramificaciones. Los sistemas de IA sesgados, como las herramientas de reconocimiento facial, ya están siendo utilizados por miles de departamentos de policía de EE. UU. y han dado lugar a [arrestos injustificados] (https://www.aclu.org/news/privacy-technology/the-untold-number -de-personas-implicadas-en-delitos-que-no-cometieron-por-reconocimiento-facial). “Cada parte del proceso en el que un ser humano puede estar sesgado, la IA también puede estar sesgada”, advirtió. “Y la diferencia es que la tecnología legitima el sesgo al hacerlo sentir más objetivo, cuando ese no es el caso en absoluto”. Debido a que el sesgo es complicado, a veces es obvio y otras veces más matizado, es difícil medir completamente su expresión tangible solo con el análisis de datos. Cuantificar con qué frecuencia aparecen los tonos de piel y los géneros percibidos es una de las señales más claras, pero hay otros detalles dentro de las imágenes generadas que no medimos, como accesorios religiosos o tipos de vello facial, que contribuyen al sesgo general codificado en generativo. Salidas de IA. Cuando se le pidió que generara imágenes de un "terrorista", el modelo mostraba constantemente a hombres con vello facial oscuro, a menudo con cobertores en la cabeza, claramente apoyándose en los estereotipos de los hombres musulmanes. Según un informe de 2017 de la Oficina de Responsabilidad del Gobierno, extremistas islámicos radicales cometieron 23 ataques terroristas mortales en suelo estadounidense desde el 11 de septiembre, 2001, pero los extremistas de extrema derecha, incluidos los supremacistas blancos, cometieron casi tres veces más durante el mismo período de tiempo. ¿Quién es responsable? ------------------ Stable Diffusion obtiene sus datos sin procesar de LAION-5B, el más grande del mundo conjunto de datos de imagen y texto de acceso abierto, con más de [5 mil millones de imágenes](https://www.bloomberg.com/news/features/2023-04-24/a-high-school-teacher-s-free-image- base de datos-poderes-ai-unicornios) y subtítulos encontrados en Internet. Los enlaces a las imágenes se recopilaron mediante programación de innumerables sitios web, sin curación humana. El conjunto de datos incluye decenas de imágenes problemáticas y ofensivas de toda la web, incluidas representaciones de violencia, símbolos de odio, pornografía y más. Stability AI dice que filtró el contenido pornográfico antes de usar los datos de LAION. A medida que los modelos de IA se vuelven más avanzados, las imágenes que crean son cada vez más [difíciles de distinguir](https://www.washingtonpost.com/business/2023/03/24/fake-ai-photos-of-macron-and-trump -flood-social-media-expect-more-soon/bce289d6-ca05-11ed-9cc5-a58a4f6d84cd_story.html) de fotos reales, lo que dificulta saber qué es real. Si estas imágenes que representan estereotipos amplificados de raza y género encuentran su camino de regreso a modelos futuros como datos de entrenamiento, los modelos de IA de texto a imagen de próxima generación podrían volverse aún más sesgados, creando un efecto de bola de nieve de sesgo compuesto con implicaciones potencialmente amplias para la sociedad. “La pregunta es, ¿quién tiene la responsabilidad?” dijo Luccioni. “¿Son los proveedores de conjuntos de datos? ¿Son los entrenadores modelo? ¿O son los creadores?