Problema 872
En 2016, investigadores de la Universidad de Boston y Microsoft estaban trabajando en algoritmos de inteligencia artificial cuando descubrieron tendencias racistas y sexistas en la tecnología subyacente a algunos de los servicios más populares y críticos que usamos todos los días. La revelación iba en contra de la sabiduría convencional de que la inteligencia artificial no sufre los prejuicios de género, raza y cultura que padecemos los humanos.
Los investigadores hicieron este descubrimiento mientras estudiaban algoritmos de incrustación de palabras, un tipo de IA que encuentra correlaciones y asociaciones entre diferentes palabras mediante el análisis de grandes cuerpos de texto. Por ejemplo, un algoritmo de incrustación de palabras capacitado puede comprender que las palabras para flores están estrechamente relacionadas con sentimientos agradables. En un nivel más práctico, la incrustación de palabras entiende que el término "programación de computadoras" está estrechamente relacionado con "C++", "JavaScript" y "análisis y diseño orientados a objetos". Cuando se integra en una aplicación de escaneo de currículums, esta funcionalidad permite a los empleadores encontrar candidatos calificados con menos esfuerzo. En los motores de búsqueda, puede proporcionar mejores resultados al mostrar contenido relacionado semánticamente con el término de búsqueda.
Sin embargo, los investigadores de BU y Microsoft descubrieron que los algoritmos de incrustación de palabras tenían sesgos problemáticos, como asociar "programador de computadoras" con pronombres masculinos y "ama de casa" con pronombres femeninos. Sus hallazgos, que publicaron en un artículo de investigación acertadamente titulado "¿El hombre es para el programador de computadoras lo que la mujer es para el ama de casa?" fue uno de varios informes para desacreditar el mito de la neutralidad de la IA y arrojar luz sobre el sesgo algorítmico, un fenómeno que está alcanzando dimensiones críticas a medida que los algoritmos se involucran cada vez más en nuestras decisiones cotidianas.
Los orígenes del sesgo algorítmico
Los algoritmos de aprendizaje automático y de aprendizaje profundo son la base de la mayoría del software impulsado por IA contemporáneo. A diferencia del software tradicional, que funciona en base a reglas predefinidas y verificables, el aprendizaje profundo crea sus propias reglas y aprende con el ejemplo.
Por ejemplo, para crear una aplicación de reconocimiento de imágenes basada en el aprendizaje profundo, los programadores "entrenan" el algoritmo alimentándolo con datos etiquetados: en este caso, fotos etiquetadas con el nombre del objeto que contienen. Una vez que el algoritmo ingiere suficientes ejemplos, puede obtener patrones comunes entre datos etiquetados de manera similar y usar esa información para clasificar muestras no etiquetadas.
Este mecanismo permite que el aprendizaje profundo realice muchas tareas que eran prácticamente imposibles con el software basado en reglas. Pero también significa que el software de aprendizaje profundo puede heredar sesgos encubiertos o abiertos.
"Los algoritmos de IA no están inherentemente sesgados", dice el profesor Venkatesh Saligrama, quien enseña en el Departamento de Ingeniería Eléctrica e Informática de la Universidad de Boston y trabajó en los algoritmos de incrustación de palabras. "Tienen una funcionalidad determinista y captarán cualquier tendencia que ya exista en los datos con los que entrenan".
Los algoritmos de incrustación de palabras probados por los investigadores de la Universidad de Boston se entrenaron en cientos de miles de artículos de Google News, Wikipedia y otras fuentes en línea en las que los prejuicios sociales están profundamente arraigados. Por ejemplo, debido a la cultura de hermanos que domina la industria de la tecnología, los nombres masculinos aparecen con mayor frecuencia en trabajos relacionados con la tecnología, y eso lleva a los algoritmos a asociar a los hombres con trabajos como la programación y la ingeniería de software.
"Los algoritmos no tienen el poder de la mente humana para distinguir lo correcto de lo incorrecto", agrega Tolga Bolukbasi, estudiante de doctorado de último año en BU. Los humanos podemos juzgar la moralidad de nuestras acciones, incluso cuando decidimos actuar en contra de las normas éticas. Pero para los algoritmos, los datos son el último factor determinante.
Saligrama y Bolukbasi no fueron los primeros en dar la alarma sobre este sesgo. Investigadores de IBM, Microsoft y la Universidad de Toronto subrayaron la necesidad de prevenir la discriminación algorítmica en un artículo publicado en 2011. En ese entonces, el sesgo algorítmico era una preocupación esotérica y el aprendizaje profundo aún no se había abierto camino en la corriente principal. Sin embargo, hoy en día, el sesgo algorítmico ya deja una marca en muchas de las cosas que hacemos, como leer noticias, encontrar amigos, comprar en línea y mirar videos en Netflix y YouTube.
El impacto del sesgo algorítmico
En 2015, Google tuvo que disculparse después de que los algoritmos de su aplicación Fotos etiquetaran a dos personas negras como gorilas, tal vez porque su conjunto de datos de entrenamiento no tenía suficientes fotos de personas negras. En 2016, de las 44 ganadoras de un concurso de belleza juzgado por IA, casi todas eran blancas, algunas asiáticas y solo una tenía la piel oscura. Nuevamente, la razón fue que el algoritmo se entrenó principalmente con fotos de personas blancas.
Google Fotos, todos jodidos. Mi amigo no es un gorila. pic.twitter.com/SMkMCsNVX4 — jackyalciné no responde mucho aquí. DM (@jackyalcine) 29 de junio de 2015
Más recientemente, una prueba de los servicios de análisis facial de IBM y Microsoft encontró que los algoritmos de las empresas eran casi perfectos para detectar el género de los hombres con piel clara, pero a menudo cometían errores cuando se les presentaban imágenes de mujeres con piel oscura.