Incidents associés
Après plus d'un an de pandémie de covid-19, des millions de personnes sont [à la recherche d'un emploi](https://www.technologyreview.com/2021/06/23/1026918/podcast-hired-by- an-algorithm/) aux États-Unis. Un logiciel d'entretien basé sur l'IA prétend aider les employeurs à passer au crible les candidatures pour trouver les meilleures personnes pour le poste. Les entreprises spécialisées dans cette technologie ont signalé une augmentation des affaires pendant la pandémie.
Mais à mesure que la demande pour ces technologies augmente, il en va de même [des questions sur leur précision et leur fiabilité](https://www.technologyreview.com/2021/02/11/1017955/auditors-testing-ai-hiring-algorithms-bias- de grandes-questions-restent/). Dans le dernier épisode du podcast de MIT Technology Review "In Machines We Trust,", nous avons testé des logiciels de deux entreprises spécialisées dans l'IA interviews, MyInterview et Curious Thing. Et nous avons trouvé des variations dans les prédictions et les scores d'appariement des emplois qui soulèvent des inquiétudes quant à ce que ces algorithmes évaluent exactement.
Apprendre à vous connaître
MyInterview mesure les traits pris en compte dans le test de personnalité Big Five, une évaluation psychométrique souvent utilisée dans le processus d'embauche. Ces traits incluent l'ouverture, la conscience, l'extraversion, l'agréabilité et la stabilité émotionnelle. Curious Thing mesure également les traits liés à la personnalité, mais au lieu des Big Five, les candidats sont évalués sur d'autres paramètres, comme l'humilité et la résilience.
Les algorithmes analysent les réponses des candidats pour déterminer les traits de personnalité. MyInterview compile également des scores indiquant dans quelle mesure un candidat correspond aux caractéristiques identifiées par les responsables du recrutement comme idéales pour le poste.
Pour terminer nos tests, nous avons d'abord paramétré le logiciel. Nous avons mis en ligne une fausse offre d'emploi pour un administrateur de bureau/chercheur sur MyInterview et Curious Thing. Ensuite, nous avons construit notre candidat idéal en choisissant des traits liés à la personnalité lorsque le système nous y invite.
Sur MyInterview, nous avons sélectionné des caractéristiques telles que le souci du détail et les avons classées par niveau d'importance. Nous avons également sélectionné des questions d'entretien, qui s'affichent à l'écran pendant que le candidat enregistre les réponses vidéo. Sur Curious Thing, nous avons sélectionné des caractéristiques telles que l'humilité, l'adaptabilité et la résilience.
L'un de nous, Hilke, a ensuite postulé pour le poste et a passé des entretiens pour le rôle à la fois sur MyInterview et Curious Thing.
Notre candidat a passé un entretien téléphonique avec Curious Thing. Elle a d'abord passé un entretien d'embauche régulier et a reçu une note de 8,5 sur 9 pour ses compétences en anglais. Lors d'un deuxième essai, l'intervieweur automatisé a posé les mêmes questions, et elle a répondu à chacune en lisant l'entrée de Wikipedia pour la psychométrie en allemand.
Pourtant, Curious Thing lui a décerné une note de 6 sur 9 pour ses compétences en anglais. Elle a de nouveau terminé l'entretien et a obtenu le même score.
Notre candidat s'est tourné vers MyInterview et a répété l'expérience. Elle a lu la même entrée de Wikipedia à haute voix en allemand. L'algorithme a non seulement renvoyé une évaluation de la personnalité, mais il a également prédit que notre candidate correspondrait à 73% au faux emploi, la plaçant dans la première moitié de tous les candidats auxquels nous avions demandé de postuler.
MyInterview fournit aux recruteurs une transcription de leurs entretiens. Lorsque nous avons inspecté le relevé de notes de notre candidate, nous avons constaté que le système interprétait ses mots allemands comme des mots anglais. Mais la transcription n'avait aucun sens. Les premières lignes, qui correspondent à la réponse fournie ci-dessus, se lisent :
"Donc, l'humidité est un tabou. La sociologie, ça marche ? Le nématode des matériaux extraits s'adapte. Emplacement sécurisé, les mésons de la première moitié gamma leurs Fortunes pour IMD et fait longtemps pour transmettre à l'Eurasie et Z cet emplacement particulier les mésons ."
Non concordant
Au lieu de noter notre candidate sur le contenu de ses réponses, l'algorithme a extrait des traits de personnalité de sa voix, explique Clayton Donnelly, un industriel et psychologue organisationnel travaillant avec MyInterview.
Mais l'intonation n'est pas un indicateur fiable des traits de personnalité, déclare Fred Oswald, professeur de psychologie organisationnelle industrielle à [Rice University](https:/ /www.rice.edu/). "Nous ne pouvons vraiment pas utiliser l'intonation comme données pour l'embauche", dit-il. "Cela ne semble tout simplement pas juste, ni fiable, ni valable."
L'utilisation de questions ouvertes pour déterminer les traits de personnalité pose également des défis importants, même lorsque - ou peut-être surtout lorsque - ce processus est automatisé. C'est pourquoi de nombreux tests de personnalité, tels que les Big Five, offrent aux gens des options parmi lesquelles choisir.
"Le point essentiel est que la personnalité est difficile à dénicher dans ce sens ouvert", déclare Oswald. "Il existe des opportunités pour l'IA ou les algorithmes et la manière dont les questions sont posées pour être plus structurées et standardisées. Mais je ne pense pas que nous soyons nécessairement là en termes de données, en termes de conceptions qui nous fournissent les données.
Le cofondateur et directeur de la technologie de Curious Thing, Han Xu, a répondu à nos conclusions dans un e-mail en disant : "C'est la toute première fois que notre système est testé en allemand, donc un point de données extrêmement précieux pour nous de rechercher et de voir s'il dévoile quelque chose dans notre système.
Le paradoxe du biais
La performance des entretiens basés sur l'IA n'est souvent pas la seule mesure que les employeurs potentiels utilisent pour évaluer un candidat. Et ces systèmes peuvent en fait réduire les préjugés et trouver de meilleurs candidats que les enquêteurs humains. Mais bon nombre de ces outils ne sont pas testés de manière indépendante, et les entreprises qui les ont construits hésitent à partager les détails de leur fonctionnement, ce qui rend difficile pour les candidats ou les employeurs de savoir si les algorithmes sont précis ou quelle influence ils devraient avoir sur l'embauche. les décisions.
Mark Gray, qui travaille sur une plateforme danoise de gestion immobilière appelée Proper, a commencé à utiliser des entretiens vidéo IA pendant son ancien rôle dans les ressources humaines au sein de la société d'électronique Airtame. Il dit qu'il a initialement intégré le logiciel, produit par une société allemande appelée Retorio, dans des entretiens pour aider à réduire le biais humain qui se développe souvent lorsque les responsables du recrutement discutent avec les candidats.
Bien que Gray ne fonde pas ses décisions d'embauche uniquement sur l'évaluation de Retorio, qui s'appuie également sur les traits des Big Five, il en tient compte comme l'un des nombreux points de données lors du choix des candidats. "Je ne pense pas que ce soit une solution miracle pour trouver comment embaucher la bonne personne", dit-il.
Le processus d'embauche habituel de Gray comprend un appel de présélection et un entretien Retorio, auquel il invite la plupart des candidats à participer, quelle que soit l'impression qu'ils ont faite lors de la présélection. Les candidats retenus passeront ensuite un test de compétences professionnelles, suivi d'un entretien en direct avec d'autres membres de l'équipe.
"Avec le temps, des produits comme Retorio et Retorio lui-même, chaque entreprise devrait l'utiliser, car cela vous donne tellement d'informations", déclare Gray. "Bien qu'il y ait des points d'interrogation et des controverses dans la sphère de l'IA en général, je pense que la plus grande question est, sommes-nous un meilleur ou un pire juge de caractère?"
Gray reconnaît les critiques entourant les outils d'entretien d'IA. Une enquête publiée en février par Bavarian Public Broadcasting a révélé que l'algorithme de Retorio évaluait les candidats différemment lorsqu'ils utilisaient différents arrière-plans vidéo et accessoires, comme des lunettes, lors de l'entretien.
Le co-fondateur et directeur général de Retorio, Christoph Hohenberger, déclare que même s'il n'est pas au courant des spécificités des méthodes de test des journalistes, la société n'a pas l'intention que son logiciel soit le facteur décisif lors de l'embauche de candidats. "Nous sommes un outil d'assistance, et il est également utilisé dans la pratique avec des personnes humaines de l'autre côté. Ce n'est pas un filtre automatique », dit-il.
Pourtant, les enjeux sont si élevés pour les demandeurs d'emploi qui tentent de naviguer dans ces outils qu'une plus grande prudence est certainement justifiée. Pour la plupart, après tout, trouver un emploi n'est pas seulement un nouveau défi ou un nouvel environnement - trouver un emploi est crucial pour leur survie économique.