Incidentes Asociados
Los algoritmos a menudo se presentan como superiores al juicio humano, eliminando las conjeturas de decisiones que van desde conducir hasta escribir un correo electrónico. Pero todavía están programados por humanos y entrenados con los datos que crean los humanos, lo que significa que están atados a nosotros para bien o para mal. Amazon descubrió esto de la manera más difícil cuando el software de reclutamiento de IA de la compañía, capacitado para revisar las solicitudes de empleo, resultó discriminar a las mujeres solicitantes.
En funcionamiento desde 2014, el software se creó para encontrar los mejores talentos investigando montañas de aplicaciones. La IA calificaría a los solicitantes en una escala de 1 a 5 estrellas, como si calificara un producto en Amazon.
“Todos querían este santo grial”, dijo a Reuters una persona involucrada en el algoritmo. "Literalmente querían que fuera un motor en el que les daré 100 currículums, escupirá los cinco primeros y los contrataremos".
El modelo fue entrenado para observar los patrones de contratación de Amazon para trabajos de desarrollador de software y puestos técnicos durante la última década. Si bien en la superficie esto tiene sentido (en los últimos 10 años, Amazon ha crecido enormemente, una buena señal de que ha contratado a las personas adecuadas), en la práctica solo reprodujo los sesgos sexistas que ya existían. La mayoría de las contrataciones en los últimos 10 años habían sido, de hecho, hombres, y el algoritmo comenzó a tener esto en cuenta.
Comenzó a penalizar los currículums que incluían la palabra "mujeres", lo que significa que frases como "ofrecido como voluntario con Women Who Code" se marcarían contra el solicitante. Se centró específicamente en dos universidades para mujeres, aunque las fuentes no dijeron a Reuters cuáles.
La empresa pudo editar el algoritmo para eliminar estos dos sesgos particulares. Pero surgió una pregunta más amplia: ¿qué otros sesgos estaba reforzando la IA que no eran tan obvios? No había manera de estar seguro. Después de varios intentos de corregir el programa, los ejecutivos de Amazon finalmente perdieron interés en 2017. El algoritmo fue abandonado.
El incidente muestra que debido a que los humanos son imperfectos, sus imperfecciones pueden integrarse en los algoritmos creados con la esperanza de evitar tales problemas. Las IA pueden hacer cosas que quizás nunca soñamos con hacer nosotros mismos, pero nunca podemos ignorar una verdad peligrosa e inevitable: tienen que aprender de nosotros.
ACTUALIZACIÓN, 11 de octubre: Amazon contactó a través de un portavoz de PopMech con una declaración, diciendo que "los reclutadores de Amazon nunca usaron esto para evaluar candidatos".
Fuente: Reuters