Incidentes Asociados
En los debates sobre el futuro de la inteligencia artificial, muchos expertos piensan que estos sistemas basados en máquinas son fríamente lógicos y objetivamente racionales. Pero en un nuevo estudio, investigadores de la Universidad de Princeton han demostrado cómo las máquinas pueden ser reflejos de sus creadores de formas potencialmente problemáticas.
Los programas comunes de aprendizaje automático entrenados con el lenguaje humano ordinario disponibles en línea pueden adquirir los sesgos culturales incrustados en los patrones de redacción, informaron los investigadores en la revista Science el 14 de abril. Estos sesgos van desde lo moralmente neutral, como la preferencia por las flores sobre los insectos , a opiniones discriminatorias sobre raza y género.
Identificar y abordar posibles sesgos en el aprendizaje automático será de vital importancia a medida que recurramos cada vez más a las computadoras para procesar el lenguaje natural que los humanos usan para comunicarse, como en las búsquedas de texto en línea, la categorización de imágenes y las traducciones automáticas.
Investigadores de la Universidad de Princeton han descubierto que los programas de aprendizaje automático pueden adquirir los sesgos culturales incrustados en los patrones de redacción, desde una mera preferencia por las flores sobre los insectos, hasta puntos de vista discriminatorios sobre raza y género. Por ejemplo, los programas de aprendizaje automático pueden traducir idiomas extranjeros en oraciones con estereotipos de género. El turco usa el pronombre de género neutral, "o". Sin embargo, cuando las oraciones turcas "o bir doktor" (arriba) y "o bir hemşire" (abajo) se ingresan en Google Translate, se traducen al inglés como "él es médico" y "ella es enfermera". (Imágenes de la Oficina de Ingeniería de Comunicaciones)
"Las preguntas sobre la equidad y el sesgo en el aprendizaje automático son tremendamente importantes para nuestra sociedad", dijo el coautor Arvind Narayanan, profesor asistente de informática de la Universidad de Princeton y el Centro de Políticas de Tecnología de la Información (CITP), así como académico afiliado en Centro para Internet y Sociedad de la Facultad de Derecho de Stanford.
Narayanan trabajó con la primera autora Aylin Caliskan, investigadora asociada postdoctoral de Princeton y becaria del CITP, y Joanna Bryson, lectora de la Universidad de Bath y afiliada al CITP.
"Tenemos una situación en la que estos sistemas de inteligencia artificial pueden estar perpetuando patrones históricos de sesgo que podríamos encontrar socialmente inaceptables y de los que podríamos estar tratando de alejarnos", dijo Narayanan.
Como piedra de toque para los sesgos humanos documentados, los investigadores recurrieron a la prueba de asociación implícita utilizada en numerosos estudios de psicología social desde su desarrollo en la Universidad de Washington a fines de la década de 1990. La prueba mide los tiempos de respuesta en milisegundos de sujetos humanos a los que se les pide emparejar conceptos de palabras que se muestran en una pantalla de computadora. La prueba ha demostrado repetidamente que los tiempos de respuesta son mucho más cortos cuando se les pide a los sujetos que emparejen dos conceptos que encuentren similares, versus dos conceptos que encuentren diferentes.
Por ejemplo, palabras como "rosa" y "margarita" o "hormiga" y "polilla" se pueden combinar con conceptos agradables como "caricia" y "amor" o desagradables como "inmundicia" y "feo". ." Las personas asocian más rápidamente las palabras de flores con conceptos agradables que con desagradables; De manera similar, asocian términos de insectos más rápidamente con ideas desagradables.
El equipo de Princeton ideó un experimento con un programa llamado GloVe que esencialmente funcionaba como una versión de aprendizaje automático de la prueba de asociación implícita. Desarrollado por investigadores de la Universidad de Stanford, el popular programa de código abierto es del tipo que una nueva empresa de aprendizaje automático podría utilizar en el corazón de su producto. El algoritmo GloVe puede representar las estadísticas de co-ocurrencia de palabras en, digamos, una ventana de texto de 10 palabras. Las palabras que a menudo aparecen cerca unas de otras tienen una asociación más fuerte que aquellas que rara vez aparecen.
Los investigadores de Stanford liberaron a GloVe en un enorme tesoro de contenido de la World Wide Web que contenía 840 mil millones de palabras. Con esta reserva de palabras, Narayanan y sus colegas examinaron conjuntos de palabras objetivo, como "programador, ingeniero, científico" y "enfermero, maestro, bibliotecario", junto con dos conjuntos de palabras de atributos como "hombre, varón" y "mujer". , mujer", en busca de evidencia de los tipos de prejuicios que los humanos pueden poseer.
En los resultados aparecieron preferencias inocentes e inofensivas, como las flores sobre los insectos, pero también prejuicios más serios relacionados con el género y la raza. El experimento de aprendizaje automático de Princeton reprodujo los amplios sesgos exhibidos por sujetos humanos que han realizado estudios seleccionados de prueba de asociación implícita.
Por ejemplo, el programa de aprendizaje automático asoció los nombres femeninos más que los nombres masculinos con atributos familiares como "padres" y "boda". Los nombres masculinos tenían asociaciones más fuertes con palabras relacionadas con la carrera, como "profesional" y "salario". Por supuesto, resultados como estos a menudo son solo reflejos objetivos de las distribuciones reales y desiguales de los tipos de ocupación con respecto al género, como que el 77 por ciento de los programadores de computadoras son hombres, según la Oficina de Estadísticas Laborales de EE. UU.
Este sesgo sobre las ocupaciones