Incidentes Asociados
Amazon entrenó una IA que lucha contra el sexismo y evalúa currículums con datos de contratación sexistas, por lo que el bot se volvió sexista
Algunas partes del aprendizaje automático son increíblemente esotéricas y difíciles de comprender, lo que sorprende incluso a los profesionales de la informática experimentados; otras partes son los mismos problemas que los programadores han enfrentado desde los primeros días de la computación. El problema que tuvo Amazon con su sistema basado en el aprendizaje automático para evaluar a los solicitantes de empleo fue el último.
Amazon entendió que tenía un proceso de contratación discriminatorio: los sesgos inconscientes de sus líderes técnicos dieron como resultado que la empresa dejara pasar a candidatas calificadas. Esto no solo es injusto, también es un gran riesgo comercial, porque los desarrolladores calificados son el elemento más escaso de las empresas modernas.
Así que entrenaron un sistema de aprendizaje automático para evaluar los currículos entrantes, con la esperanza de que superara los sesgos del sistema de contratación existente.
Por supuesto, lo entrenaron con los currículums de los solicitantes de empleo exitosos existentes en Amazon, es decir, la fuerza laboral predominantemente masculina que había sido contratada bajo el sistema discriminatorio que esperaban corregir.
El aforismo informático para explicar esto es "basura que entra, basura que sale" o GIGO. Se explica por sí mismo, pero por si acaso, GIGO es el fenómeno en el que los datos incorrectos que pasan por un buen sistema producen malas conclusiones.
Amazon construyó el sistema en 2014 y lo desechó en 2017, luego de concluir que era irrecuperable: las fuentes dijeron a Reuters que rechazó a los solicitantes de universidades exclusivamente para mujeres y rebajó los currículums que incluían la palabra "mujeres" como "capitana del club de ajedrez femenino". ." Amazon dice que nunca confió en el sistema.
Hay un ángulo de "el aprendizaje automático es difícil" en esto: mientras que los resultados defectuosos de los datos de entrenamiento defectuosos eran totalmente predecibles, los criterios discriminatorios autogenerados del sistema eran sorprendentes e impredecibles. Nadie le dijo que rebajara los currículos que contenían "mujeres": llegó a esa conclusión por sí solo, al notar que esta era una palabra que rara vez aparecía en los currículos de las contrataciones anteriores de Amazon.
El grupo creó 500 modelos de computadora enfocados en funciones y ubicaciones de trabajo específicas. Les enseñaron a cada uno a reconocer unos 50.000 términos que aparecían en los currículos de candidatos anteriores. Los algoritmos aprendieron a asignar poca importancia a las habilidades que eran comunes entre los solicitantes de TI, como la capacidad de escribir varios códigos de computadora, dijeron las personas. En cambio, la tecnología favoreció a los candidatos que se describían a sí mismos usando verbos que se encuentran más comúnmente en los currículums de los ingenieros masculinos, como "ejecutado" y "capturado", dijo una persona. El sesgo de género no fue el único problema. Los problemas con los datos que respaldaron los juicios de los modelos significaron que a menudo se recomendaban candidatos no calificados para todo tipo de trabajos, dijeron las personas. Con la tecnología arrojando resultados casi al azar, Amazon cerró el proyecto, dijeron.
Amazon elimina la herramienta secreta de reclutamiento de IA que mostraba prejuicios contra las mujeres [Jeffrey Dastin/Reuters]
(Imagen: criterios, CC-BY)