Incidentes Asociados
Signo de Amazon, con amigo. Imágenes de David Ryder/Getty
Gracias a Amazon, el mundo tiene una nueva e ingeniosa historia de advertencia sobre los peligros de enseñar a las computadoras a tomar decisiones humanas.
Según un informe de Reuters publicado el miércoles, el gigante tecnológico decidió el año pasado abandonar una “herramienta de contratación experimental” que usaba inteligencia artificial para calificar a los candidatos, en parte porque discriminaba a las mujeres. Según los informes, los reclutadores observaron las recomendaciones que emitía el programa mientras buscaban talento, “pero nunca se basaron únicamente en esas clasificaciones”.
La desventura comenzó en 2014, cuando un grupo de ingenieros de Amazon en Escocia se dispuso a mecanizar el proceso de búsqueda de talentos de la empresa mediante la creación de un programa que rastrearía Internet en busca de candidatos que valieran la pena (y presumiblemente le ahorraría al personal de recursos humanos de Amazon algunas horas aplastantes haciendo clic en alrededor de LinkedIn). “Todos querían este santo grial”, dijo una fuente a Reuters. "Literalmente querían que fuera un motor en el que les daré 100 currículums, escupirá los cinco primeros y los contrataremos".
No resultó de esa manera. En 2015, el equipo se dio cuenta de que su creación estaba sesgada a favor de los hombres a la hora de contratar talento técnico, como desarrolladores de software. El problema fue que entrenaron sus algoritmos de aprendizaje automático para buscar prospectos mediante el reconocimiento de términos que habían aparecido en los currículums de los solicitantes de empleo anteriores, y debido al conocido desequilibrio de género en el mundo de la tecnología, esos aspirantes anteriores tendían a ser hombres.
“En efecto, el sistema de Amazon se enseñó a sí mismo que los candidatos masculinos eran preferibles. Penalizó los currículums que incluían la palabra 'mujeres', como en 'capitana del club de ajedrez femenino'. Y rebajó la calificación de los graduados de dos universidades exclusivamente para mujeres”, informó Reuters. El programa también decidió que las habilidades tecnológicas básicas, como la capacidad de escribir código, que aparecían en todo tipo de currículums, no eran tan importantes, pero empezaron a agradar a los candidatos que llenaban sus currículums con verbos masculinos como "ejecutado" y "capturado".
Después de años de tratar de arreglar el proyecto, Amazon Brass supuestamente "perdió la esperanza" y cerró el esfuerzo en 2017.
Todo esto es una ilustración notablemente clara de por qué a muchos expertos en tecnología les preocupa que, en lugar de eliminar los sesgos humanos de las decisiones importantes, la inteligencia artificial simplemente las automatice. Una investigación de ProPublica, por ejemplo, encontró que los algoritmos que usan los jueces en las sentencias penales pueden imponer penas más severas a los acusados negros que a los blancos. Google Translate introdujo sesgos de género en sus traducciones. El problema es que estos programas aprenden a detectar patrones y tomar decisiones mediante el análisis de conjuntos de datos masivos, que a menudo son un reflejo de la discriminación social. Los programadores pueden intentar modificar la A.I. para evitar esos resultados indeseables, pero es posible que no piensen en hacerlo, o que tengan éxito incluso si lo intentan.
Amazon merece algo de crédito por darse cuenta de que su herramienta tenía un problema, tratar de solucionarlo y, finalmente, seguir adelante (suponiendo que no haya tenido un impacto grave en el reclutamiento de la empresa en los últimos años). Pero, en un momento en que muchas empresas están adoptando la inteligencia artificial para cosas como la contratación, lo que sucedió en Amazon realmente pone de relieve que usar esa tecnología sin consecuencias no deseadas es difícil. Y si una empresa como Amazon no puede lograrlo sin problemas, es difícil imaginar que empresas menos sofisticadas puedan hacerlo.