Incidents associés
Dans les débats sur l'avenir de l'intelligence artificielle, de nombreux experts pensent que ces systèmes basés sur des machines sont froidement logiques et objectivement rationnels. Mais dans une nouvelle étude, des chercheurs de l'Université de Princeton ont démontré comment les machines peuvent être le reflet de leurs créateurs de manière potentiellement problématique.
Les programmes d'apprentissage automatique courants formés avec le langage humain ordinaire disponible en ligne peuvent acquérir les préjugés culturels intégrés dans les modèles de formulation, ont rapporté les chercheurs dans la revue Science le 14 avril. Ces préjugés vont du neutre moral, comme une préférence pour les fleurs aux insectes , aux opinions discriminatoires sur la race et le sexe.
L'identification et la résolution des biais possibles dans l'apprentissage automatique seront d'une importance cruciale alors que nous nous tournons de plus en plus vers les ordinateurs pour traiter le langage naturel que les humains utilisent pour communiquer, comme dans les recherches de texte en ligne, la catégorisation d'images et les traductions automatisées.
Des chercheurs de l'Université de Princeton ont découvert que les programmes d'apprentissage automatique peuvent acquérir les préjugés culturels intégrés dans les modèles de formulation, allant d'une simple préférence pour les fleurs aux insectes, à des opinions discriminatoires sur la race et le sexe. Par exemple, les programmes d'apprentissage automatique peuvent traduire des langues étrangères en phrases stéréotypées. Le turc utilise le pronom non sexiste, "o". Pourtant, lorsque les phrases turques "o bir doktor" (en haut) et "o bir hemşire" (en bas) sont saisies dans Google Translate, elles se traduisent en anglais par "il est médecin" et "elle est infirmière". (Images par le Bureau des communications d'ingénierie)
"Les questions d'équité et de partialité dans l'apprentissage automatique sont extrêmement importantes pour notre société", a déclaré le co-auteur Arvind Narayanan, professeur adjoint d'informatique à l'Université de Princeton et au Center for Information Technology Policy (CITP), ainsi qu'un chercheur affilié à Centre pour Internet et la société de la Stanford Law School.
Narayanan a travaillé avec le premier auteur Aylin Caliskan, associée de recherche postdoctorale à Princeton et boursière du CITP, et Joanna Bryson, lectrice à l'Université de Bath et affiliée au CITP.
"Nous avons une situation où ces systèmes d'intelligence artificielle peuvent perpétuer des modèles historiques de préjugés que nous pourrions trouver socialement inacceptables et dont nous pourrions essayer de nous éloigner", a déclaré Narayanan.
Comme pierre de touche pour les biais humains documentés, les chercheurs se sont tournés vers le test d'association implicite utilisé dans de nombreuses études de psychologie sociale depuis son développement à l'Université de Washington à la fin des années 1990. Le test mesure les temps de réponse en millisecondes par des sujets humains invités à associer des concepts de mots affichés sur un écran d'ordinateur. Le test a montré à plusieurs reprises que les temps de réponse sont beaucoup plus courts lorsque les sujets sont invités à associer deux concepts qu'ils trouvent similaires, par rapport à deux concepts qu'ils trouvent différents.
Par exemple, des mots tels que « rose » et « marguerite », ou « fourmi » et « papillon de nuit », peuvent être associés à des concepts agréables tels que « caresse » et « amour », ou à des concepts désagréables tels que « saleté » et « laid ». ." Les gens associent plus rapidement les mots-fleurs à des concepts agréables qu'à des concepts désagréables ; de même, ils associent plus rapidement les termes d'insectes à des idées désagréables.
L'équipe de Princeton a conçu une expérience avec un programme appelé GloVe qui fonctionnait essentiellement comme une version d'apprentissage automatique du test d'association implicite. Développé par des chercheurs de l'Université de Stanford, le programme open source populaire est du genre qu'une start-up d'apprentissage automatique pourrait utiliser au cœur de son produit. L'algorithme GloVe peut représenter les statistiques de cooccurrence de mots dans, par exemple, une fenêtre de texte de 10 mots. Les mots qui apparaissent souvent les uns à côté des autres ont une association plus forte que les mots qui le font rarement.
Les chercheurs de Stanford ont libéré GloVe d'un énorme trésor de contenu du World Wide Web contenant 840 milliards de mots. Avec dans cette réserve de mots, Narayanan et ses collègues ont examiné des ensembles de mots cibles, tels que "programmeur, ingénieur, scientifique" et "infirmière, enseignant, bibliothécaire", ainsi que deux ensembles de mots d'attribut tels que "homme, homme" et "femme". , femme », à la recherche de preuves des types de préjugés que les humains peuvent posséder.
Dans les résultats, des préférences innocentes et inoffensives, telles que les fleurs plutôt que les insectes, sont apparues, mais aussi des préjugés plus graves liés au sexe et à la race. L'expérience d'apprentissage automatique de Princeton a reproduit les larges biais présentés par les sujets humains qui ont participé à certaines études de test d'association implicite.
Par exemple, le programme d'apprentissage automatique associait davantage les noms féminins que les noms masculins à des attributs familiaux tels que "parents" et "mariage". Les noms masculins avaient des associations plus fortes avec des mots liés à la carrière tels que « professionnel » et « salaire ». Bien sûr, de tels résultats ne sont souvent que des reflets objectifs de la répartition réelle et inégale des types de professions par rapport au sexe - comme le fait que 77% des programmeurs informatiques sont des hommes, selon le Bureau of Labor Statistics des États-Unis.
Ce biais sur les professions