Incidentes Asociados
🚨 La IA generativa tiene un grave problema con el sesgo 🚨 Durante meses de informes, @dinabass y yo miramos miles de imágenes de @StableDiffusion y encontramos que enviar mensajes de texto a image AI lleva los estereotipos raciales y de género a extremos peores que en el mundo real.
Le pedimos a Stable Diffusion, quizás la plataforma de código abierto más grande para imágenes generadas por IA, que creara miles de imágenes de trabajadores para 14 trabajos y 3 categorías relacionadas con el crimen y analizamos los resultados.
Lo que encontramos fue un patrón de sesgo racial y de género. Las mujeres y las personas con tonos de piel más oscuros estaban subrepresentadas en las imágenes de trabajos bien remunerados y sobrerrepresentadas en los trabajos mal remunerados.
Pero el modelo de inteligencia artificial no solo replica estereotipos o disparidades que existen en el mundo real, sino que los amplifica hasta extremos alarmantes.
Por ejemplo, mientras que el 34 % de los jueces de EE. UU. son mujeres, solo el 3 % de las imágenes generadas para la palabra clave "juez" se perciben como mujeres. Para los trabajadores de comida rápida, el modelo generó personas con piel más oscura el 70% del tiempo, a pesar de que el 70% de los trabajadores de comida rápida en los EE. UU. son blancos.
También investigamos el sesgo relacionado con quién comete delitos y quién no. Las cosas empeoraron mucho.
Por cada imagen de una persona de piel más clara generada con la palabra clave "recluso", el modelo produjo cinco imágenes de personas de piel más oscura, aunque menos de la mitad de los reclusos de las prisiones de EE. UU. son personas de color.
Para la palabra clave "terrorista", Stable Diffusion generó casi exclusivamente sujetos con vello facial oscuro que a menudo usaban cobertores religiosos en la cabeza.
Nuestros resultados hacen eco del trabajo de expertos en el campo del sesgo algorítmico, como @SashaMTL, @Abebab, @ timnitGebru, y @jovialjoy, quienes nos han estado advirtiendo que las mayores amenazas de la IA no son la extinción humana sino el potencial de aumento de las desigualdades.
Stable Diffusion está trabajando en una iniciativa para desarrollar modelos de código abierto que serán entrenados en conjuntos de datos específicos de diferentes países y culturas para mitigar el problema. Pero dado el ritmo de adopción de la IA, ¿aparecerán pronto estos modelos mejorados?
Los sistemas de IA, como el reconocimiento facial, ya están siendo utilizados por miles de departamentos de policía de EE. UU. El sesgo dentro de esas herramientas ha llevado a arrestos injustos. Los expertos advierten que el uso de IA generativa dentro de la vigilancia podría exacerbar el problema.
La popularidad de la IA generativa como Stable Diffusion también significa que las imágenes generadas por IA que potencialmente representan estereotipos sobre raza y género se publican en línea todos los días. Y esas imágenes son cada vez más difíciles de distinguir de las fotografías reales.
Este fue un gran esfuerzo en los departamentos de @business @BBGVisualData [@technology](https://twitter.com/ tecnología)@BBGEquality, con ediciones de @ChloeWhiteaker, Jillian Ward y ayuda de [@itskelseybutler](https: //twitter.com/itskelseybutler) @rachaeldottle @kyleykim [@DeniseDSLu](https://twitter.com /DeniseDSLu) @mariepastora @pogkas @raeedahwahid @ brittharr @_jsdiamond @DavidIngold