Problema 1089

Los algoritmos de aprendizaje automático están detectando prejuicios raciales y de género profundamente arraigados ocultos en los patrones de uso del lenguaje, dicen los científicos.

Se ha demostrado que una herramienta de inteligencia artificial que ha revolucionado la capacidad de las computadoras para interpretar el lenguaje cotidiano exhibe sorprendentes sesgos raciales y de género.

Los hallazgos plantean el espectro de las desigualdades sociales y los prejuicios existentes que se refuerzan de formas nuevas e impredecibles a medida que un número cada vez mayor de decisiones que afectan nuestra vida cotidiana se ceden a los autómatas.

En los últimos años, la capacidad de los programas como Google Translate para interpretar el lenguaje ha mejorado drásticamente. Estas ganancias han sido gracias a las nuevas técnicas de aprendizaje automático y la disponibilidad de grandes cantidades de datos de texto en línea, en los que se pueden entrenar los algoritmos.

Sin embargo, a medida que las máquinas se acercan a adquirir habilidades lingüísticas similares a las humanas, también están absorbiendo los sesgos profundamente arraigados ocultos en los patrones de uso del lenguaje, revela la última investigación.

Joanna Bryson, científica informática de la Universidad de Bath y coautora, dijo: “Mucha gente dice que esto demuestra que la IA tiene prejuicios. No. Esto demuestra que tenemos prejuicios y que la IA lo está aprendiendo”.

Pero Bryson advirtió que la IA tiene el potencial de reforzar los sesgos existentes porque, a diferencia de los humanos, los algoritmos pueden no estar equipados para contrarrestar conscientemente los sesgos aprendidos. “Un peligro sería si tuviera un sistema de IA que no tuviera una parte explícita impulsada por ideas morales, eso sería malo”, dijo.

La investigación, publicada en la revista Science, se centra en una herramienta de aprendizaje automático conocida como "incrustación de palabras", que ya está transformando la forma en que las computadoras interpretan el habla y el texto. Algunos argumentan que el próximo paso natural para la tecnología puede implicar que las máquinas desarrollen habilidades similares a las humanas, como el sentido común y la lógica.

“Una de las principales razones por las que elegimos estudiar las incrustaciones de palabras es que han tenido un éxito espectacular en los últimos años para ayudar a las computadoras a dar sentido al lenguaje”, dijo Arvind Narayanan, científico informático de la Universidad de Princeton y autor principal del artículo.

El enfoque, que ya se utiliza en la búsqueda web y la traducción automática, funciona mediante la creación de una representación matemática del lenguaje, en la que el significado de una palabra se destila en una serie de números (conocidos como vector de palabras) en función de los cuales se utilizan otras palabras. aparecen con más frecuencia junto a él. Quizás sorprendentemente, este enfoque puramente estadístico parece capturar el rico contexto cultural y social de lo que significa una palabra de una manera que una definición de diccionario sería incapaz de hacer.

Por ejemplo, en el “espacio del lenguaje” matemático, las palabras para flores se agrupan más cerca de las palabras relacionadas con el placer, mientras que las palabras para los insectos están más cerca de las palabras relacionadas con el desagrado, lo que refleja puntos de vista comunes sobre los méritos relativos de los insectos frente a las flores.

El último artículo muestra que los algoritmos también adquieren fácilmente algunos sesgos implícitos más preocupantes que se observan en los experimentos de psicología humana. Las palabras “femenino” y “mujer” se asociaron más estrechamente con las ocupaciones de artes y humanidades y con el hogar, mientras que “masculino” y “hombre” se asociaron más con las profesiones de matemáticas e ingeniería.

Y era más probable que el sistema de IA asociara los nombres americanos europeos con palabras agradables como "regalo" o "feliz", mientras que los nombres afroamericanos se asociaban más comúnmente con palabras desagradables.

Los hallazgos sugieren que los algoritmos han adquirido los mismos sesgos que llevan a las personas (al menos en el Reino Unido y los EE. UU.) a unir palabras agradables y caras blancas en las pruebas de asociación implícita.

Estos sesgos pueden tener un profundo impacto en el comportamiento humano. Un estudio anterior mostró que un CV idéntico tiene un 50 % más de probabilidades de resultar en una invitación a una entrevista si el nombre del candidato es europeo-americano que si es afroamericano. Los últimos resultados sugieren que los algoritmos, a menos que se programen explícitamente para abordar esto, estarán plagados de los mismos prejuicios sociales.

“Si no creía que había racismo asociado con los nombres de las personas, esto demuestra que está ahí”, dijo Bryson.

La herramienta de aprendizaje automático utilizada en el estudio se entrenó en un conjunto de datos conocido como el corpus de "rastreo común", una lista de 840 mil millones de palabras que se tomaron tal como aparecen en el material publicado en línea. Se encontraron resultados similares cuando las mismas herramientas se entrenaron con datos de Google News.

Sandra Wachter, investigadora en ética de datos y algoritmos de la Universidad de Oxford, dijo: “El mundo está sesgado, los datos históricos están sesgados, por lo que no sorprende que recibamos resultados sesgados”.

En lugar de que los algoritmos representen una amenaza, podrían presentar una oportunidad para abordar el sesgo y contrarrestarlo cuando corresponda, agregó.

“Al menos con los algoritmos, podemos saber potencialmente cuándo el algoritmo está sesgado”, dijo. “Los humanos, por ejemplo, podrían mentir sobre las razones por las que no contrataron a alguien. Por el contrario, no esperamos que los algoritmos nos mientan o nos engañen”.

Sin embargo, Watcher