Incidentes Asociados
Los gurús de IA de Amazon descartaron un nuevo motor de reclutamiento de aprendizaje automático a principios de este mes. ¿Por qué? Resultó que la IA detrás de esto era sexista. ¿Qué significa esto a medida que corremos para producir una inteligencia artificial cada vez mejor, y cómo podemos comprender los riesgos de que las máquinas aprendan lo peor de nuestros propios rasgos?
Entrenado con los datos de la última década sobre los solicitantes de empleo, el modelo de Amazon comenzó a penalizar los CV que incluían la palabra "mujer". El incidente recuerda otro experimento en el sesgo de la IA, el proyecto "Tay" de Microsoft, que la compañía sacó de la web después de que el bot supiera el racismo de los usuarios con los que estaba chateando en GroupMe y Kik. En el caso de Amazon, sin embargo, los usuarios deshonestos no tuvieron la culpa. La IA estaba aprendiendo de los datos históricos de la compañía global más grande de tecnología.
Una inteligencia artificial a la que no le gustan las mujeres o las personas de color suena como un concepto sacado directamente de un episodio de Twilight Zone. Pero lamentablemente, es la realidad.
¿Cómo llegamos a esta situación? ¿Y es posible construir una IA que no refleje los prejuicios profundos que están, a sabiendas o sin saberlo, incorporados en nuestros sistemas sociales? Para responder a esa segunda pregunta, es crucial abordar la primera.
Cómo sucede una IA sexista
Bien, el primer punto a destacar es que la IA sexista o racista no surge de la nada. En cambio, refleja los prejuicios ya profundamente arraigados tanto en la sociedad en general como en la industria tecnológica en particular.
¿No nos crees sobre el sexismo en la tecnología? Un estudio de principios de este año encontró que 57 de las 58 ciudades principales de EE. UU. pagaban menos a las mujeres en tecnología que a los hombres. El año pasado, dos cofundadoras tecnológicas femeninas demostraron el sexismo tecnológico en el trabajo al demostrar que podían hacer mejores conexiones una vez que inventaron un cofundador masculino ficticio.
Y mientras las empresas de tecnología continúen pasando por alto el sexismo, seguirán perpetuando un sistema que prioriza a los candidatos masculinos y promueve al personal masculino.
Las IA sexistas comienzan con una industria cegada...
El mundo de la tecnología ama el rápido crecimiento por encima de todo. Pero este año, finalmente comenzó a aceptar el impacto que su cultura puede tener, y finalmente se está arraigando un sentido de responsabilidad.
Pocos lo resumen mejor que el ex jefe de producto de Reddit, Dan McComas, cuya reciente entrevista con la revista New York Magazine (titulada "Creo fundamentalmente que mi tiempo en Reddit convirtió al mundo en un lugar peor") incluye esta idea:
“La estructura de incentivos es simplemente crecimiento a toda costa. Nunca hubo, en ninguna reunión de la junta a la que haya asistido, una conversación sobre los usuarios, sobre las cosas que estaban pasando que eran malas, sobre los peligros potenciales, sobre las decisiones que podrían afectar los peligros potenciales. Nunca hubo una conversación sobre esas cosas”.
…y el aprendizaje automático los perpetúa
Es esta actitud la que está en el centro de la IA prejuiciosa, que perpetúa el sistema con la misma claridad, aunque un poco más mecánicamente. Como dice Lin Classon, director de estrategia de nube pública en Ensono, el problema es el proceso de aprendizaje automático.
“Actualmente, la aplicación más común de la IA se basa en alimentar a la máquina con muchos datos y enseñarle a reconocer un patrón. Debido a esto, los resultados son tan buenos como los datos utilizados para entrenar los algoritmos”, me dice.
Ben Dolmar, director de desarrollo de software en Nerdery, la respalda.
“Casi toda la actividad comercial significativa en Inteligencia Artificial está ocurriendo en el campo del Aprendizaje Automático”, explica Ben. “Fue el aprendizaje automático lo que impulsó a Alpha Go y es el aprendizaje automático el que está impulsando los avances que estamos dando en el procesamiento del lenguaje natural, la visión por computadora y muchos motores de recomendaciones”.
El aprendizaje automático comienza proporcionando un modelo con un conjunto de datos central. El modelo entrena en esto antes de producir sus propios resultados. Luego se reproduce cualquier problema histórico en los datos centrales. ¿Traducción? Los datos sexistas se convierten en resultados sexistas.
“No es diferente a pintar con acuarelas, donde el pincel tiene que estar limpio o mancha los colores”, dice Classon. Y, en la sociedad moderna, el sexismo aparece en todas partes, dice Classon, ya sea en "reclutamiento, solicitudes de préstamo o fotos de archivo". O incluso en el vacío de los baños de mujeres en las principales conferencias tecnológicas, como Classon ha señalado antes a Tech.Co.
Cómo combatir los prejuicios de la IA
¿Cómo resolvemos un problema como el prejuicio de la IA? Classon lo reduce a un principio rector clave: vigilancia consciente y colectiva. Y eso comienza con garantizar que la comunidad detrás de los desarrollos de IA esté equipada para detectar los problemas. Lo que nos lleva de vuelta al problema central de garantizar que exista una comunidad de desarrolladores diversa, para encontrar problemas más rápido y abordarlos más rápidamente.
Hablando en términos prácticos, Classon tiene más sugerencias:
Mayor transparencia
En este momento, los algoritmos de aprendizaje automático funcionan como cajas negras: entran datos, salen modelos entrenados.
“DARPA ha reconocido [que esto deja a los usuarios sin saber cómo el sistema tomó una decisión] y está trabajando en Inteligencia Artificial Explicable para que la futura IA pueda explicar