Incidentes Asociados
Una nueva técnica de visión por computadora que ayuda a convertir fotos borrosas de personas en imágenes falsas y realistas ha sido criticada por tener prejuicios raciales hacia los blancos.
La herramienta conocida como PULSE fue presentada por un grupo de investigadores de la Universidad de Duke y fue [presentada](http://openaccess.thecvf.com/content_CVPR_2020/ html/Menon_PULSE_Self-Supervised_Photo_Upsampling_via_Latent_Space_Exploration_of_Generative_CVPR_2020_paper.html) en la Conferencia virtual sobre visión artificial y reconocimiento de patrones la semana pasada. Dado un retrato pixelado como entrada, PULSE busca a través de imágenes generadas por computadora y elige la mejor que cree que es la más parecida a la foto original.
Todas las imágenes imaginarias son salidas generadas por StyleGAN, una red antagónica generativa desarrollada por Nvidia en 2018. Básicamente, todo el sistema gira una pequeña foto borrosa en una imagen más grande y de mayor resolución, un método conocido como ampliación.
Sin embargo, PULSE no puede usarse para revelar la verdadera identidad de la persona oculta en la foto borrosa, ya que solo considera imágenes que han sido compuestas por una red adversaria generativa. Las personas representadas en sus resultados no existen en la vida real.
En cambio, la herramienta busca características como la longitud del cabello y el color de la piel en la imagen borrosa y selecciona una nueva cara ideada por StyleGAN que podría parecerse a la persona en la imagen original. Desafortunadamente, la herramienta tiene problemas cuando las fotos ocultas muestran a personas de color, ya que a menudo elige imágenes falsas de personas blancas.
Aquí hay una buena demostración del modelo general: la cara original de la izquierda puede ser difícil de distinguir, pero la mayoría de la gente podría decir que es el ex presidente de EE. UU. Barack Obama.
Dada esa imagen, PULSE ha seleccionado una imagen a la derecha usando StyleGAN. La cara generada por computadora obviamente no se parece en nada a Obama. En la imagen original Obama tiene piel oscura, cabello negro y ojos marrones, pero el resultado es, en cambio, alguien de piel blanca, ojos azules y cabello castaño.
Robert Ness, un científico de aprendizaje automático que imparte talleres en su plataforma en línea Altdeep, también encontró otros ejemplos de prejuicios raciales cuando jugaba con el software. Cuando alimentó su propia foto y una de Alexandria Ocasio-Cortez, la representante de EE. UU. para el distrito 14 del Congreso de Nueva York, los resultados fueron sesgados hacia rostros de aspecto caucásico.
Una imagen de @BarackObama siendo muestreado en un hombre blanco está flotando porque ilustra el sesgo racial en [#MachineLearning](https://twitter .com/hashtag/MachineLearning?src=hash&ref_src=twsrc%5Etfw). En caso de que pienses que no es real, lo es, tengo el código funcionando localmente. Aquí estoy yo, y aquí está @AOC. pic.twitter.com/kvL3pwwWe1
— Robert Osazuwa Ness (@osazuwa) 20 de junio de 2020
Primero, el modelo desdibujó sus dos imágenes originales. A continuación, PULSE seleccionó imágenes generadas por StyleGAN en función de las entradas pixeladas. "Este modelo demuestra los mismos problemas de sesgo que hemos visto en otros algoritmos basados en datos más utilizados, como la búsqueda", dijo a The Register. "Esta instancia de modelado generativo profundo simplemente hace que el problema sea evidente".
¡No pruebe un modelo sesgado en un conjunto de datos sesgado!
Los investigadores han reconocido el problema y creen que se deriva de los sesgos existentes dentro del propio modelo StyleGAN. Actualizaron su [artículo] de investigación (http://pulse.cs.duke.edu/) con una sección que aborda el tema de los prejuicios raciales en su trabajo.
El problema es que StyleGAN, entrenado en [70,000 imágenes extraídas de Flickr] (https://github.com/NVlabs/ffhq-dataset), tiende a generar imágenes de personas blancas. De hecho, un documento de investigación reciente [PDF] que examinó la demografía de las imágenes StyleGAN descubrió que escupía imágenes de personas blancas 72.6 por del tiempo, en comparación con solo el 10,1 % de los negros y el 3,4 % de los indios. PULSE, por lo tanto, también es más probable que elija imágenes de personas blancas, ya que esas son las imágenes generadas por StyleGAN.
El equipo contactó a los investigadores originales de Nvidia para notificarles sobre su problema, pero no obtuvo respuesta. "NVIDIA se toma en serio la diversidad y la inclusión", dijo un portavoz de la empresa a The Register.
"Siempre nos esforzamos por crear mejores conjuntos de datos y algoritmos para superar cualquier sesgo existente en los modelos actuales. También estamos investigando más sobre el sesgo algorítmico en los modelos de aprendizaje profundo y los métodos para mitigarlos".
Sachit Menon y Alex Damian, ambos coautores y recién graduados de la Universidad de Duke, no se dieron cuenta de esto cuando decidieron llevar a cabo la investigación. Tampoco se dieron cuenta de los prejuicios raciales en StyleGAN ya que probaron su herramienta en otro conjunto de datos que recopila imágenes de celebridades conocidas como [CelebA] (http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html) .
“Resulta que el 90 por ciento de las fotos en CelebA son de gente blanca”, dijo Menon a El Reg. Al probar un modelo sesgado en un conjunto de datos que también contiene los mismos sesgos, se pasó por alto el problema.
"Probamos [la herramienta] conmigo, y soy indio", agregó. "A veces funcionaba, pero muchas veces me volvía blanco. Y luego encontré este otro documento que mostraba que StyleGAN solo hace que los indios el 3 por ciento de las veces. Y cuando vimos este desglose, fue cuando nos dimos cuenta fue parcial”.
El equipo usó el modelo estándar de Nvidia y no entrenó StyleGAN por sí mismo. "En un mundo ideal, habría un conjunto de datos más equilibrado y podríamos haber usado un modelo preentrenado que reflejara esto", dijo Damian. "Si usáramos un conjunto de datos de evaluación diferente que contuviera más imágenes de personas de color, habríamos detectado el problema. Esa es una gran conclusión y una gran lección para nosotros".
La pareja dijo que llevaron a cabo el proyecto cuando eran estudiantes universitarios y simplemente seleccionaron StyleGAN para su herramienta porque proporciona resultados de última generación y que CelebA se usaba comúnmente para comparar tareas de imágenes de súper resolución.
“No queremos señalar con el dedo a nadie; los sesgos implícitos son problemas sistémicos”, dijeron. "Es importante estar al tanto de estos problemas en los que inicialmente no estábamos pensando. Todavía tenemos un largo camino por recorrer como campo para ser conscientes de estas cosas".
La investigación ha iniciado una acalorada discusión sobre si el problema puede solucionarse simplemente mediante el uso de un modelo que ha sido entrenado en un conjunto de datos más diverso. El científico jefe de inteligencia artificial de Facebook, Yann LeCun, lo cree así, pero otros como Timnit Gebru, un experto en sesgo algorítmico, no creen que sea tan fácil como eso.
Estoy harto de este encuadre. Cansado de ello. Muchas personas han tratado de explicar, muchos eruditos. Escuchanos. No puede simplemente reducir los daños causados por ML al sesgo del conjunto de datos. https://t.co/HU0xgzg5Rt
— Timnit Gebru (@timnitGebru) 21 de junio de 2020