Incidentes Asociados
Incluso la inteligencia artificial puede adquirir sesgos contra la raza y el género
Una de las grandes promesas de la inteligencia artificial (IA) es un mundo libre de pequeños prejuicios humanos. La contratación mediante algoritmos daría a hombres y mujeres las mismas oportunidades en el trabajo, se piensa, y predecir el comportamiento delictivo con big data evitaría los prejuicios raciales en la vigilancia. Pero un nuevo estudio muestra que las computadoras también pueden estar sesgadas, especialmente cuando aprenden de nosotros. Cuando los algoritmos extraen el significado de las palabras engullendo mucho texto escrito por humanos, adoptan estereotipos muy similares a los nuestros.
“No crea que la IA es un hada madrina”, dice la coautora del estudio Joanna Bryson, científica informática de la Universidad de Bath en el Reino Unido y la Universidad de Princeton. “La IA es solo una extensión de nuestra cultura existente”.
El trabajo se inspiró en una herramienta psicológica llamada prueba de asociación implícita o IAT. En el IAT, las palabras parpadean en la pantalla de una computadora, y la velocidad a la que las personas reaccionan ante ellas indica asociaciones subconscientes. Tanto los estadounidenses blancos como los negros, por ejemplo, asocian más rápido nombres como "Brad" y "Courtney" con palabras como "feliz" y "amanecer", y nombres como "Leroy" y "Latisha" con palabras como "odio" y “vomitar” que viceversa.
Para probar un sesgo similar en las "mentes" de las máquinas, Bryson y sus colegas desarrollaron una prueba de asociación de incrustación de palabras (WEAT). Comenzaron con un conjunto establecido de "incrustaciones de palabras", básicamente la definición de una palabra por computadora, basada en los contextos en los que suele aparecer la palabra. Entonces, "hielo" y "vapor" tienen incrustaciones similares, porque ambos aparecen a menudo dentro de unas pocas palabras de "agua" y rara vez con, por ejemplo, "moda". Pero para una computadora, una incrustación se representa como una cadena de números, no como una definición que los humanos puedan entender intuitivamente. Los investigadores de la Universidad de Stanford generaron las incrustaciones utilizadas en el documento actual mediante el análisis de cientos de miles de millones de palabras en Internet.
En lugar de medir el tiempo de reacción humano, WEAT calcula la similitud entre esas cadenas de números. Usándolo, el equipo de Bryson descubrió que las incrustaciones de nombres como "Brett" y "Allison" eran más similares a las de palabras positivas como amor y risa, y las de nombres como "Alonzo" y "Shaniqua" eran más similares a las palabras negativas. como "cáncer" y "fracaso". Para la computadora, el sesgo se incorporó a las palabras.
Los IAT también han demostrado que, en promedio, los estadounidenses asocian a los hombres con el trabajo, las matemáticas y las ciencias, y a las mujeres con la familia y las artes. Y generalmente se considera que los jóvenes son más agradables que los mayores. Todas estas asociaciones se encontraron con el WEAT. El programa también infirió que las flores eran más agradables que los insectos y los instrumentos musicales eran más agradables que las armas, utilizando la misma técnica para medir la similitud de sus incrustaciones con las de palabras positivas y negativas.
Luego, los investigadores desarrollaron una prueba de asociación fáctica de incrustación de palabras, o WEFAT. La prueba determina qué tan fuerte se asocian las palabras con otras palabras y luego compara la fuerza de esas asociaciones con los hechos del mundo real. Por ejemplo, analizó cuán estrechamente relacionadas estaban las incrustaciones de palabras como "higienista" y "bibliotecaria" con las de palabras como "femenino" y "mujer". Para cada profesión, luego comparó esta medida de asociación de género generada por computadora con el porcentaje real de mujeres en esa ocupación. Los resultados estuvieron altamente correlacionados. Por lo tanto, las incrustaciones pueden codificar todo, desde sentimientos comunes sobre las flores hasta prejuicios raciales y de género e incluso datos sobre la fuerza laboral, informa el equipo hoy en Science.
"Es genial que estos algoritmos hayan descubierto esto", dice Tolga Bolukbasi, un científico informático de la Universidad de Boston que al mismo tiempo realizó un trabajo similar con resultados similares. “Cuando estás entrenando estas incrustaciones de palabras, en realidad nunca especificas estas etiquetas”. Lo que no es bueno es cómo se pueden implementar las incrustaciones de prejuicios, al clasificar los currículos o las solicitudes de préstamos, por ejemplo. Por ejemplo, si una computadora que busca currículums de programadores informáticos asocia "programador" con hombres, los currículums de hombres aparecerán en la parte superior. El trabajo de Bolukbasi se centra en las formas de "desprestigiar" las incrustaciones, es decir, eliminar de ellas las asociaciones no deseadas.
Bryson tiene otra opinión. En lugar de eliminar los sesgos de las incrustaciones, esencialmente descartando información, prefiere agregar una capa adicional de juicio humano o informático para decidir cómo o si actuar sobre tales sesgos. En el caso de contratar programadores, podrías decidir establecer cuotas de género.
La gente ha sugerido durante mucho tiempo que el significado podría extraerse plausiblemente a través de la coincidencia de palabras, "pero estaba lejos de ser una conclusión inevitable", dice Anthony Greenwald, psicólogo de la Universidad de Washington en Seattle, quien desarrolló el IAT en 1998 y escribió un comentario sobre el documento WEAT para la edición de esta semana de Science. Dice que esperaba que la escritura, la base de las mediciones WEAT, reflejara mejor las actitudes explícitas que las implícitas.