Incidentes Asociados
Es una imagen sorprendente que ilustra los sesgos profundamente arraigados de la investigación de IA. Ingrese una imagen de baja resolución de Barack Obama, el primer presidente negro de los Estados Unidos, en un algoritmo diseñado para generar rostros despixelados, y el resultado es un hombre blanco.
Tampoco es solo Obama. Obtenga el mismo algoritmo para generar imágenes de alta resolución de la actriz Lucy Liu o la congresista Alexandria Ocasio-Cortez a partir de entradas de baja resolución, y las caras resultantes se ven claramente blancas. Como lo expresó un tuit popular que citaba el ejemplo de Obama: “Esta imagen dice mucho sobre los peligros del sesgo en la IA”.
Pero, ¿qué está causando estos resultados y qué nos dicen realmente sobre el sesgo de la IA?
Primero, necesitamos saber un poco sobre la tecnología que se usa aquí. El programa que genera estas imágenes es un algoritmo llamado PULSE, que utiliza una técnica conocida como ampliación de escala para procesar datos visuales. La ampliación es como los tropos de "zoom y mejora" que se ven en la televisión y el cine, pero, a diferencia de Hollywood, el software real no puede generar nuevos datos de la nada. Para convertir una imagen de baja resolución en una de alta resolución, el software debe completar los espacios en blanco mediante el aprendizaje automático.
En el caso de PULSE, el algoritmo que realiza este trabajo es StyleGAN, creado por investigadores de NVIDIA. Aunque es posible que no haya oído hablar de StyleGAN antes, probablemente esté familiarizado con su trabajo. Es el algoritmo responsable de hacer esas caras humanas inquietantemente realistas que puedes ver en sitios web como ThisPersonDoesNotExist.com; caras tan realistas que a menudo se usan para generar perfiles falsos en las redes sociales.
Lo que hace PULSE es usar StyleGAN para "imaginar" la versión de alta resolución de las entradas pixeladas. No hace esto "mejorando" la imagen original de baja resolución, sino generando una cara de alta resolución completamente nueva que, cuando se pixela, se ve igual a la ingresada por el usuario.
Esto significa que cada imagen despixelada se puede ampliar de varias maneras, de la misma manera que un solo conjunto de ingredientes hace diferentes platos. También es por eso que puedes usar PULSE para ver cómo se ve el tipo Doom, o el héroe de Wolfenstein 3D, o incluso el emoji llorando en alta resolución. No es que el algoritmo esté "encontrando" nuevos detalles en la imagen como en el tropo "zoom y mejora"; en cambio, está inventando nuevas caras que vuelven a los datos de entrada.
Con la configuración predeterminada, obtuve este resultado. pic.twitter.com/mRkqqTwhJF — Bomze (@tg_bomze) 20 de junio de 2020
Este tipo de trabajo ha sido teóricamente posible desde hace algunos años, pero, como suele ser el caso en el mundo de la IA, llegó a un público más amplio cuando se compartió en línea una versión fácil de ejecutar del código este fin de semana. Fue entonces cuando las disparidades raciales comenzaron a surgir.
Los creadores de PULSE dicen que la tendencia es clara: cuando se usa el algoritmo para escalar imágenes pixeladas, el algoritmo genera con más frecuencia caras con rasgos caucásicos.
“Es probable que este sesgo se herede del conjunto de datos”
“Parece que PULSE está produciendo rostros blancos con mucha más frecuencia que rostros de personas de color”, escribieron los creadores del algoritmo en Github. "Es probable que este sesgo se herede del conjunto de datos en el que se entrenó StyleGAN [...] aunque podría haber otros factores que desconocemos".
En otras palabras, debido a los datos con los que se entrenó StyleGAN, cuando intenta encontrar una cara que se parezca a la imagen de entrada pixelada, las características predeterminadas son blancas.
Este problema es extremadamente común en el aprendizaje automático y es una de las razones por las que los algoritmos de reconocimiento facial funcionan peor en rostros femeninos y no blancos. Los datos utilizados para entrenar la IA a menudo están sesgados hacia un solo grupo demográfico, los hombres blancos, y cuando un programa ve datos que no pertenecen a ese grupo demográfico, tiene un desempeño deficiente. No por casualidad, son los hombres blancos quienes dominan la investigación de IA.
Pero exactamente lo que revela el ejemplo de Obama sobre el sesgo y cómo se pueden solucionar los problemas que representa son preguntas complicadas. De hecho, son tan complicados que esta sola imagen ha provocado un acalorado desacuerdo entre académicos, ingenieros e investigadores de IA.
A nivel técnico, algunos expertos no están seguros de que esto sea siquiera un ejemplo de sesgo del conjunto de datos. El artista de inteligencia artificial Mario Klingemann sugiere que el algoritmo de selección PULSE en sí mismo, y no los datos, es el culpable. Klingemann señala que pudo usar StyleGAN para generar más salidas no blancas a partir de la misma imagen pixelada de Obama, como se muestra a continuación:
Tuve que probar mi propio método para este problema. No estoy seguro de si puede llamarlo una mejora, pero simplemente iniciando el descenso del gradiente desde diferentes ubicaciones aleatorias en el espacio latente, ya puede obtener más variación en los resultados. pic.twitter.com/dNaQ1o5l5l — Mario Klingemann (@quasimondo) 21 de junio de 2020
Estas caras se generaron usando "el mismo concepto y el mismo modelo StyleGAN" pero diferentes métodos de búsqueda para Pulse, dice Klingemann, quien dice que realmente no podemos juzgar un algoritmo a partir de solo unas pocas muestras. "Probablemente hay millones de caras posibles que se reducirán al mismo patrón de píxeles y todas ellas son igualmente 'correctas'", dijo a The Verge.
(Dicho sea de paso, esta es también la razón por la que es poco probable que herramientas como esta se utilicen con fines de vigilancia. Los rostros creados por estos procesos son imaginarios y, como muestran los ejemplos anteriores, tienen poca relación con la realidad básica de la entrada. Sin embargo, , no es que grandes fallas técnicas hayan impedido que la policía adopte tecnología en el pasado).
Pero independientemente de la causa, los resultados del algoritmo parecen sesgados, algo que los investigadores no notaron antes de que la herramienta fuera ampliamente accesible. Esto habla de un tipo de sesgo diferente y más generalizado: uno que opera a nivel social.
“Las personas de color no son atípicos. No somos autores de 'casos extremos' que simplemente pueden olvidar".
Deborah Raji, investigadora en responsabilidad de la IA, le dice a The Verge que este tipo de sesgo es demasiado típico en el mundo de la IA. “Dada la existencia básica de personas de color, la negligencia de no realizar pruebas para esta situación es asombrosa y probablemente refleja la falta de diversidad que seguimos viendo con respecto a quién puede construir tales sistemas”, dice Raji. “Las personas de color no son atípicos. No somos autores de 'casos extremos' que simplemente pueden olvidar".
El hecho de que algunos investigadores parezcan dispuestos a abordar solo el lado de los datos del problema del sesgo es lo que provocó discusiones más amplias sobre la imagen de Obama. El científico jefe de inteligencia artificial de Facebook, Yann LeCun, se convirtió en un punto álgido de estas conversaciones después de tuitear una respuesta a la imagen que decía que "los sistemas de ML están sesgados cuando los datos están sesgados", y agregó que este tipo de sesgo es un problema mucho más grave "en un producto implementado". que en un artículo académico”. La implicación es: no nos preocupemos demasiado por este ejemplo en particular.
Muchos investigadores, entre ellos Raji, discreparon con el marco de LeCun, señalando que el sesgo en la IA se ve afectado por injusticias y prejuicios sociales más amplios, y que el simple uso de datos "correctos" no soluciona las injusticias más grandes.
Incluso los datos "imparciales" pueden producir resultados sesgados
Otros señalaron que incluso desde el punto de vista de una solución puramente técnica, los conjuntos de datos "justos" a menudo pueden ser todo lo contrario. Por ejemplo, un conjunto de datos de rostros que reflejen con precisión la demografía del Reino Unido sería predominantemente blanco porque el Reino Unido es predominantemente blanco. Un algoritmo entrenado con estos datos funcionaría mejor en caras blancas que en caras no blancas. En otras palabras, los conjuntos de datos "justos" aún pueden crear sistemas sesgados. (En un hilo posterior en Twitter, LeCun reconoció que había múltiples causas para el sesgo de la IA).
Raji le dice a The Verge que también le sorprendió la sugerencia de LeCun de que los investigadores deberían preocuparse menos por el sesgo que los ingenieros que producen sistemas comerciales, y que esto reflejaba una falta de conciencia en los niveles más altos de la industria.
“Yann LeCun dirige un laboratorio de la industria conocido por trabajar en muchos problemas de investigación aplicada que buscan producir con regularidad”, dice Raji. "Literalmente no puedo entender cómo alguien en esa posición no reconoce el papel que tiene la investigación en el establecimiento de normas para los despliegues de ingeniería".
Cuando The Verge lo contactó acerca de estos comentarios, LeCun señaló que había ayudado a establecer una serie de grupos, dentro y fuera de Facebook, que se enfocan en la justicia y seguridad de la IA, incluida la Asociación en IA. “Absolutamente nunca dije ni insinué el hecho de que la investigación no juega un papel en el establecimiento de normas”, dijo a The Verge.
Sin embargo, muchos sistemas comerciales de inteligencia artificial se construyen directamente a partir de datos y algoritmos de investigación sin ningún ajuste por disparidades raciales o de género. No abordar el problema del sesgo en la etapa de investigación solo perpetúa los problemas existentes.
En este sentido, entonces, el valor de la imagen de Obama no es que exponga un solo defecto en un solo algoritmo; es que comunica, a un nivel intuitivo, la naturaleza generalizada del sesgo de la IA. Sin embargo, lo que oculta es que el problema del sesgo es mucho más profundo que cualquier conjunto de datos o algoritmo. Es un problema generalizado que requiere mucho más que arreglos técnicos.
Como un investigador, Vidushi Marda, respondió en Twitter a las caras blancas producidas por el algoritmo: "En caso de que sea necesario decirlo explícitamente, esto no es un llamado a la 'diversidad' en los conjuntos de datos o a la 'precisión mejorada' en el rendimiento, es un llamado a una reconsideración fundamental de las instituciones y las personas que diseñan, desarrollan e implementan esta tecnología en primer lugar”.
Actualización, miércoles 24 de junio: esta pieza se ha actualizado para incluir comentarios adicionales de Yann LeCun.