Incidents associés
La professeure Margaret Boden, chercheuse en IA et en sciences cognitives, a pris le temps de me parler en 2010 d'ordinateurs, d'IA, de moralité et d'avenir. L'une des histoires qu'elle m'a racontées me revient de temps en temps, plus récemment par le dernier échec de Microsoft à anticiper le résultat de la sortie de leur chat bot, Tay, dans le monde, pour le voir devenir raciste en moins de 24 heures.
Au début des années 80, la St George's Medical Hospital School de Londres a décidé d'automatiser certaines parties de son flux de travail d'admission. Le processus existant était long et coûteux. Avant que les candidats ne soient invités à des entretiens, leur aptitude initiale a été évaluée en fonction de leurs notes, des cours suivis et d'autres critères. C'est cette étape qui allait être automatisée.
Un système statistique de pondération de ces différents critères a été élaboré. Le programme sélectionnerait les candidats les mieux classés à inviter à un entretien. Une fois la conception initiale terminée, le programme a été formé pour ajuster la pondération qu'il accordait aux différents critères en fonction des ensembles de données sur les admissions des années précédentes. Il a été enseigné à obtenir des résultats cohérents avec la manière dont le personnel humain sélectionnerait les étudiants potentiels.
Le programme a été utilisé entre 1982 et 1986, jusqu'à ce qu'en 1986, deux membres du personnel portent plainte auprès de la Commission pour l'égalité raciale. Le programme avait appris à discriminer les candidats non blancs et féminins. Ceux dont le code postal trahissait leur origine ouvrière se sont également vu accorder une priorité moindre dans le processus de sélection.
L'histoire qui fait l'actualité : The Age, 26 février 1988.
La citation du porte-parole de la Commission pour l'égalité raciale à l'époque était accablante :
Le programme informatique de St George n'a fait que reproduire la discrimination qui était déjà pratiquée par les sélecteurs, et il n'y a aucune raison de croire que les sélecteurs de St George étaient plus discriminatoires que les sélecteurs ailleurs.
- The Age, 26 février 1988, (c'est moi qui souligne)
C'était dans les années 80. En plus ça change.