Incidentes Asociados
Después de más de un año de la pandemia de covid-19, millones de personas están [buscando empleo](https://www.technologyreview.com/2021/06/23/1026918/podcast-hired-by- an-algoritmo/) en los Estados Unidos. El software de entrevistas impulsado por IA afirma ayudar a los empleadores a examinar las solicitudes para encontrar a las mejores personas para el trabajo. Las empresas especializadas en esta tecnología informaron un aumento en el negocio durante la pandemia.
Pero a medida que aumenta la demanda de estas tecnologías, también aumentan las [preguntas sobre su precisión y confiabilidad](https://www.technologyreview.com/2021/02/11/1017955/auditors-testing-ai-hiring-algorithms-bias- grandes-preguntas-quedan/). En el último episodio del podcast de MIT Technology Review “In Machines We Trust” probamos el software de dos empresas que se especializan en trabajos de IA. entrevistas, MyInterview y Cosa curiosa. Y encontramos variaciones en las predicciones y puntajes de coincidencia de trabajos que plantean preocupaciones sobre qué están evaluando exactamente estos algoritmos.
Conociéndote
MyInterview mide los rasgos considerados en el Big Five Personality Test, una evaluación psicométrica que se usa a menudo en el proceso de contratación. Estos rasgos incluyen apertura, escrupulosidad, extroversión, amabilidad y estabilidad emocional. Curious Thing también mide los rasgos relacionados con la personalidad, pero en lugar de los Cinco Grandes, los candidatos se evalúan según otras métricas, como la humildad y la resiliencia.
Los algoritmos analizan las respuestas de los candidatos para determinar los rasgos de personalidad. MyInterview también compila puntajes que indican qué tan cerca un candidato coincide con las características identificadas por los gerentes de contratación como ideales para el puesto.
Para completar nuestras pruebas, primero configuramos el software. Subimos una publicación de trabajo falsa para un administrador/investigador de oficina tanto en MyInterview como en Curious Thing. Luego, construimos nuestro candidato ideal eligiendo rasgos relacionados con la personalidad cuando el sistema lo solicitaba.
En MyInterview, seleccionamos características como la atención al detalle y las clasificamos por nivel de importancia. También seleccionamos preguntas de la entrevista, que se muestran en la pantalla mientras el candidato graba las respuestas en video. En Cosa curiosa, seleccionamos características como la humildad, la adaptabilidad y la resiliencia.
Uno de nosotros, Hilke, luego solicitó el puesto y completó entrevistas para el papel tanto en MyInterview como en Curious Thing.
Nuestro candidato completó una entrevista telefónica con Cosa curiosa. Primero hizo una entrevista de trabajo regular y recibió un 8.5 de 9 en competencia en inglés. En un segundo intento, la entrevistadora automática hizo las mismas preguntas y respondió a cada una de ellas leyendo la entrada de Wikipedia sobre psicometría en alemán.
Sin embargo, Cosa curiosa le otorgó un 6 de 9 en competencia en inglés. Volvió a completar la entrevista y recibió la misma puntuación.
Nuestro candidato recurrió a MyInterview y repitió el experimento. Leyó la misma entrada de Wikipedia en voz alta en alemán. El algoritmo no solo arrojó una evaluación de personalidad, sino que también predijo que nuestra candidata encajaría en un 73 % con el trabajo falso, colocándola en la mitad superior de todos los solicitantes a los que habíamos pedido que postularan.
MyInterview proporciona a los gerentes de contratación una transcripción de sus entrevistas. Cuando inspeccionamos la transcripción de nuestra candidata, encontramos que el sistema interpretó sus palabras en alemán como palabras en inglés. Pero la transcripción no tenía ningún sentido. Las primeras líneas, que corresponden a la respuesta proporcionada anteriormente, dicen:
"Entonces, la humedad es una paliza. Sociología, ¿hierro? Adaptación de nematodos de material extraído. Ubicación segura, mesones la primera mitad gamma sus Fortunas para IMD y de hecho mucho tiempo para pasar a Eurasia y Z esta ubicación en particular mesones ."
No coincide
En lugar de calificar a nuestra candidata según el contenido de sus respuestas, el algoritmo extrajo rasgos de personalidad de su voz, dice Clayton Donnelly, un industrial y psicóloga organizacional que trabaja con MyInterview.
Pero la entonación no es un indicador confiable de los rasgos de personalidad, dice Fred Oswald, profesor de psicología organizacional industrial en la [Universidad de Rice](https:/ /www.arroz.edu/). “Realmente no podemos usar la entonación como datos para la contratación”, dice. “Eso simplemente no parece justo, confiable o válido”.
El uso de preguntas abiertas para determinar los rasgos de personalidad también plantea desafíos importantes, incluso cuando, o quizás especialmente cuando, ese proceso está automatizado. Es por eso que muchas pruebas de personalidad, como Big Five, brindan a las personas opciones para elegir.
“El punto final es que la personalidad es difícil de descubrir en este sentido abierto”, dice Oswald. “Hay oportunidades para la IA o los algoritmos y la forma en que se hacen las preguntas para que sean más estructuradas y estandarizadas. Pero no creo que estemos necesariamente allí en términos de datos, en términos de los diseños que nos brindan los datos”.
El cofundador y director de tecnología de Curious Thing, Han Xu, respondió a nuestros hallazgos en un correo electrónico y dijo: "Esta es la primera vez que nuestro sistema se está probando en alemán, por lo tanto, es un punto de datos extremadamente valioso para que investiguemos y veamos si revela algo en nuestro sistema”.
La paradoja del sesgo
El desempeño en las entrevistas impulsadas por IA a menudo no es la única métrica que los posibles empleadores usan para evaluar a un candidato. Y estos sistemas pueden reducir el sesgo y encontrar mejores candidatos que los entrevistadores humanos. Pero muchas de estas herramientas no se prueban de forma independiente, y las empresas que las crearon son reacias a compartir detalles de cómo funcionan, lo que dificulta que los candidatos o los empleadores sepan si los algoritmos son precisos o qué influencia deberían tener en la contratación. decisiones
Mark Gray, que trabaja en una plataforma danesa de administración de propiedades llamada Proper, comenzó a usar entrevistas en video de IA durante su puesto anterior de recursos humanos en la empresa de electrónica Airtame. Él dice que originalmente incorporó el software, producido por una empresa alemana llamada Retorio, en las entrevistas para ayudar a reducir el sesgo humano que a menudo se desarrolla cuando los gerentes de contratación tienen conversaciones triviales con los candidatos.
Si bien Gray no basa las decisiones de contratación únicamente en la evaluación de Retorio, que también se basa en los rasgos de los Cinco Grandes, lo tiene en cuenta como uno de los muchos puntos de datos al elegir candidatos. “No creo que sea una bala de plata para descubrir cómo contratar a la persona adecuada”, dice.
El proceso de contratación habitual de Gray incluye una llamada de selección y una entrevista de Retorio, a la que invita a participar a la mayoría de los candidatos, independientemente de la impresión que hayan causado en la selección. Los candidatos exitosos luego avanzarán a una prueba de habilidades laborales, seguida de una entrevista en vivo con otros miembros del equipo.
“Con el tiempo, productos como Retorio y Retorio en sí mismo, todas las empresas deberían usarlo porque te brinda mucha información”, dice Gray. “Si bien hay algunos signos de interrogación y controversias en la esfera de la IA en general, creo que la pregunta más importante es, ¿somos mejores o peores jueces del carácter?”
Gray reconoce las críticas en torno a las herramientas de entrevista de IA. Una investigación publicada en febrero por Bavarian Public Broadcasting descubrió que el algoritmo de Retorio evaluaba a los candidatos de manera diferente cuando usaban diferentes fondos de video y accesorios, como anteojos, durante la entrevista.
El cofundador y director general de Retorio, Christoph Hohenberger, dice que aunque no conoce los detalles detrás de los métodos de prueba de los periodistas, la empresa no pretende que su software sea el factor decisivo a la hora de contratar candidatos. “Somos una herramienta de asistencia, y se está utilizando en la práctica también junto con personas humanas del otro lado. No es un filtro automático”, dice.
Aún así, hay tanto en juego para quienes buscan empleo que intentan navegar por estas herramientas que seguramente se justifica una mayor precaución. Para la mayoría, después de todo, asegurar el empleo no se trata solo de un nuevo desafío o entorno: encontrar un trabajo es crucial para su supervivencia económica.