Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 625

Incidents associés

Incident 3733 Rapports
Female Applicants Down-Ranked by Amazon Recruiting Tool

Amazon ferme un outil secret de recrutement basé sur l'IA qui s'est appris à être sexiste
interestingengineering.com · 2018

Les outils de ressourcement humain de l'intelligence artificielle (IA) font fureur en ce moment et deviennent de plus en plus populaires. Les systèmes peuvent accélérer, simplifier et même réduire le coût du processus d'embauche, devenant ainsi le rêve de tout recruteur devenu réalité.

Mais comme nous l'avons déjà vu, les systèmes alimentés par l'IA peuvent aussi, parfois, présenter des tendances biaisées potentiellement dangereuses. En juillet dernier, l'organisme de surveillance à but non lucratif, l'American Civil Liberties Union of Northern California, a été choqué de découvrir des failles dans la technologie de reconnaissance faciale d'Amazon appelée Rekognition qui pourraient éventuellement conduire à de fausses identifications fondées sur la race.

La découverte a provoqué un tollé public concernant le système. Cependant, Amazon a défendu son programme et a déclaré que le déploiement de nouvelles technologies ne pouvait pas être contrecarré car certains "pourraient choisir d'en abuser", ce qui implique que tout problème avec Rekognition était lié à une mauvaise utilisation par l'utilisateur.

L'IA sexiste abandonnée

Maintenant, il semble qu'un autre outil d'IA, cette fois un outil de ressources humaines, ait en quelque sorte appris à être sexiste. Selon un rapport de Reuters, un projet interne secret d'Amazon, qui tentait d'utiliser l'IA pour examiner les candidatures, a dû être abandonné après avoir constaté qu'il déclassait les candidates.

Les politiciens de l'IA en colère après la reconnaissance faciale d'Amazon L'IA associe à tort 28 membres du Congrès à des criminels

Les experts en machine learning d'Amazon travaillaient depuis 2014 sur des programmes informatiques capables d'examiner et de trier les CV des candidats. Le système fonctionnait en attribuant aux candidats potentiels des notes allant de une à cinq étoiles.

"Tout le monde voulait ce Saint Graal", a déclaré à Reuters l'une des personnes travaillant sur le projet d'IA. "Ils voulaient littéralement que ce soit un moteur où je vais vous donner 100 CV, il crachera les cinq premiers, et nous les embaucherons."

Cependant, en 2015, les spécialistes ont constaté que le système faisait des choix de candidats problématiques liés au sexe en ce qui concerne les développeurs de logiciels et d'autres postes techniques. Selon les experts, le problème est survenu parce que le processus de vérification des modèles informatiques découlait des modèles d'embauche antérieurs obtenus sur une période de 10 ans.

Auto-apprentissage du sexisme

Et comme cette période a vu l'industrie technologique être particulièrement dominée par les hommes, le modèle s'est entraîné par inadvertance à préférer les candidats masculins aux candidats féminins. Il s'est essentiellement entraîné à être sexiste.

Le programme aurait depuis été abandonné, éliminant ainsi toutes les conséquences négatives potentielles associées. Mais l'histoire illustre les dangers de s'appuyer sur des données passées pour créer de nouveaux modèles.

Publicité

"Chaque humain sur la planète est biaisé. Nous sommes tous porteurs d'un virus incurable appelé notre biais inconscient. Je crois fermement que l'IA est le seul moyen de réduire les préjugés humains en matière de recrutement. Malheureusement, utiliser naïvement l'IA pour recruter est une recette garantie pour le désastre . L'IA raciste/sexiste n'est pas un risque, c'est une garantie si elle est utilisée par des équipes inexpérimentées. L'IA apprendra naturellement notre préjugé et l'amplifiera », a expliqué le directeur de l'IA chez Ziff Ben Taylor.

Pourtant, il ne faut pas jeter le bébé avec l'eau du bain. Il existe des moyens d'obtenir les avantages de l'IA sans les préjugés. "Il existe de nombreuses entreprises en dehors des projecteurs des médias qui utilisent l'IA de manière responsable, où elles ont dépensé des millions en protections/recherches contre les impacts négatifs pour empêcher que quelque chose comme cela ne se produise", a ajouté Taylor.

Publicité

De la détection des cancers à la fabrication de traitements moins toxiques, la technologie semble trouver des utilisations de plus en plus nouvelles et très utiles. Et avec des organisations cherchant à freiner et à apprivoiser tout résultat potentiellement désagréable, il est bon de supposer que, si elle est adoptée correctement, l'IA peut être l'un des plus grands atouts de l'humanité.

Nous devons juste rester vigilants et conscients. À en juger par l'élimination rapide de l'outil de recrutement misogyne d'Amazon, nous semblons être sur la bonne voie pour garder notre IA conviviale pour l'humanité.

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • 1420c8e