Incidentes Asociados
SAN FRANCISCO (Reuters) - Los especialistas en aprendizaje automático de Amazon.com Inc. descubrieron un gran problema: su nuevo motor de reclutamiento no era atractivo para las mujeres.
El equipo llevaba desarrollando programas informáticos desde 2014 para revisar los currículos de los solicitantes de empleo con el objetivo de mecanizar la búsqueda de los mejores talentos, según informaron a Reuters cinco personas familiarizadas con el proyecto.
La automatización ha sido clave para el dominio de Amazon en el comercio electrónico, ya sea en los almacenes o en la toma de decisiones de precios. La herramienta experimental de contratación de la compañía utilizaba inteligencia artificial para otorgar a los candidatos puntuaciones de una a cinco estrellas, de forma similar a como los compradores califican los productos en Amazon, según comentaron algunas personas.
"Todos querían este santo grial", comentó una de las personas. "Querían que fuera un motor donde, al dar 100 currículos, se seleccionaran los cinco mejores y se contrataran".
Pero para 2015, la empresa se dio cuenta de que su nuevo sistema no evaluaba a las candidatas para puestos de desarrollador de software y otros puestos técnicos de forma neutral en cuanto al género.
Esto se debe a que los modelos informáticos de Amazon fueron entrenados para evaluar a las solicitantes mediante la observación de patrones en los currículos enviados a la empresa durante un período de 10 años. La mayoría provenían de hombres, lo que refleja el dominio masculino en la industria tecnológica. (Para ver un gráfico sobre la distribución por género en tecnología, consulte: tmsnrt.rs/2OfPWoD)
En efecto, el sistema de Amazon se autoenseñó que los candidatos masculinos eran preferibles. Penalizó los currículos que incluían la palabra "mujer", como en "capitana del club de ajedrez femenino". Y rebajó la calificación de las graduadas de dos universidades exclusivamente femeninas, según personas familiarizadas con el asunto. No especificaron los nombres de las instituciones.
Amazon editó los programas para que fueran neutrales ante estos términos específicos. Pero eso no garantizaba que las máquinas no idearan otras formas de clasificar a los candidatos que pudieran resultar discriminatorias, afirmaron las fuentes.
La empresa de Seattle finalmente disolvió el equipo a principios del año pasado porque los ejecutivos perdieron la esperanza en el proyecto, según las fuentes, que hablaron bajo condición de anonimato. Los reclutadores de Amazon analizaron las recomendaciones generadas por la herramienta al buscar nuevos empleados, pero nunca se basaron únicamente en esas clasificaciones, afirmaron.
Amazon se negó a comentar sobre los desafíos de la tecnología, pero afirmó que la herramienta "nunca fue utilizada por los reclutadores de Amazon para evaluar a los candidatos". La empresa no dio más detalles. No negó que los reclutadores analizaran las recomendaciones generadas por el motor de reclutamiento.
El experimento de la empresa, del que Reuters es el primero en informar, ofrece un caso práctico sobre las limitaciones del aprendizaje automático. También sirve como lección para la creciente lista de grandes empresas, como Hilton Worldwide Holdings Inc. y Goldman Sachs Group Inc., que buscan automatizar partes del proceso de contratación.
Alrededor del 55% de los gerentes de recursos humanos de EE. UU. afirmaron que la inteligencia artificial, o IA, sería una parte habitual de su trabajo en los próximos cinco años, según una encuesta realizada en 2017 por la empresa de software de talento CareerBuilder.
Los empleadores llevan mucho tiempo soñando con aprovechar la tecnología para ampliar la red de contratación y reducir la dependencia de las opiniones subjetivas de los reclutadores humanos. Sin embargo, científicos informáticos como Nihar Shah, profesor de aprendizaje automático en la Universidad Carnegie Mellon, afirman que aún queda mucho trabajo por hacer.
"Cómo garantizar que el algoritmo sea justo, cómo asegurarse de que sea realmente interpretable y explicable; eso aún está muy lejos", afirmó.
LENGUAJE MASCULINO
El experimento de Amazon comenzó en un momento crucial para el mayor minorista en línea del mundo. El aprendizaje automático estaba ganando terreno en el mundo de la tecnología gracias al auge de la potencia informática de bajo coste. El departamento de Recursos Humanos de Amazon estaba a punto de embarcarse en una oleada de contrataciones: desde junio de 2015, la plantilla global de la compañía se ha más que triplicado, alcanzando los 575.700 trabajadores, según documentos regulatorios.
El logotipo de Amazon se ve en el centro logístico de la compañía en Boves, Francia, el 8 de agosto de 2018. REUTERS/Pascal Rossignol/Archivos Derechos de licencia de compra, abre en nueva pestaña
Así que creó un equipo en el centro de ingeniería de Amazon en Edimburgo, que creció hasta contar con una docena de personas. Su objetivo era desarrollar una IA que pudiera rastrear rápidamente la web e identificar candidatos que valiera la pena contratar, según fuentes familiarizadas con el asunto.
El grupo creó 500 modelos informáticos centrados en funciones y ubicaciones laborales específicas. Enseñaron a cada uno a reconocer unos 50.000 términos que aparecían en los currículums de candidatos anteriores. Los algoritmos aprendieron a asignar poca importancia a habilidades comunes entre los solicitantes de TI, como la capacidad de escribir diversos códigos informáticos, según las fuentes.
En cambio, la tecnología favoreció a los candidatos que se describían a sí mismos utilizando verbos más comunes en los currículums de ingenieros hombres, como "ejecutó" y "capturó", según una fuente.
El sesgo de género no fue el único problema. Los problemas con los datos que respaldaban los juicios de los modelos implicaban que a menudo se recomendaban candidatos no cualificados para todo tipo de puestos, según las fuentes. Dado que la tecnología arrojaba resultados casi al azar, Amazon canceló el proyecto, según informaron.
¿EL PROBLEMA O LA CURA?
Otras empresas están avanzando, lo que subraya el interés de los empleadores por aprovechar la IA para la contratación.
Kevin Parker, director ejecutivo de HireVue, una startup cerca de Salt Lake City, afirmó que la automatización está ayudando a las empresas a mirar más allá de las mismas redes de reclutamiento en las que han confiado durante mucho tiempo. Su empresa analiza el habla y las expresiones faciales de los candidatos en entrevistas en video para reducir la dependencia de los currículums.
"No volvíamos a los mismos lugares de siempre; no volvíamos solo a las universidades de la Ivy League", dijo Parker. Entre los clientes de su empresa se incluyen Unilever PLC y Hilton.
Goldman Sachs ha creado su propia herramienta de análisis de currículums que intenta conectar a los candidatos con la división donde encajarían mejor, según la compañía.
LinkedIn de Microsoft Corp, la red profesional más grande del mundo, ha ido más allá. Ofrece a los empleadores clasificaciones algorítmicas de candidatos según su adecuación a las ofertas de empleo en su sitio web.
Aun así, John Jersin, vicepresidente de LinkedIn Talent Solutions, afirmó que el servicio no sustituye a los reclutadores tradicionales.
"Ciertamente, no confiaría en ningún sistema de IA actual para que tome una decisión de contratación por sí solo", afirmó. "La tecnología simplemente aún no está lista".
Algunos activistas expresan su preocupación por la transparencia en la IA. La Unión Estadounidense por las Libertades Civiles (ACLU) está impugnando actualmente una ley que permite el procesamiento penal de investigadores y periodistas que prueben los algoritmos de los sitios web de contratación para detectar discriminación.
"Nos centramos cada vez más en la equidad algorítmica como un problema", declaró Rachel Goodman, abogada del Programa de Justicia Racial de la ACLU.
Aun así, Goodman y otros críticos de la IA reconocieron que podría ser extremadamente difícil demandar a un empleador por la contratación automatizada: los candidatos podrían no saber nunca que se está utilizando.
En cuanto a Amazon, la empresa logró rescatar parte de lo aprendido de su fallido experimento de IA. Ahora utiliza una versión mucho más diluida del motor de reclutamiento para facilitar algunas tareas básicas, como la eliminación de perfiles duplicados de candidatos de las bases de datos, según una de las personas familiarizadas con el proyecto.
Otra persona indicó que se ha formado un nuevo equipo en Edimburgo para dar otra oportunidad a la selección automatizada de candidatos, esta vez con un enfoque en la diversidad.