Incidents associés
Les gourous de l'IA d'Amazon ont mis au rebut un nouveau moteur de recrutement d'apprentissage automatique plus tôt ce mois-ci. Pourquoi? Il s'est avéré que l'IA derrière elle était sexiste. Qu'est-ce que cela signifie alors que nous nous efforçons de produire une intelligence artificielle toujours meilleure, et comment pouvons-nous comprendre les risques que les machines apprennent le pire de nos propres traits ?
Formé sur les données de la dernière décennie sur les candidats à un emploi, le modèle Amazon a commencé à pénaliser les CV qui incluaient le mot « femmes ». L'incident rappelle une autre expérience de biais d'IA, le projet "Tay" de Microsoft, que la société a retiré du Web après que le bot ait appris le racisme des utilisateurs avec lesquels il discutait sur GroupMe et Kik. Dans le cas d'Amazon, cependant, les utilisateurs malhonnêtes n'étaient pas à blâmer. L'IA apprenait des données historiques de la plus grande entreprise mondiale de technologie.
Une intelligence artificielle qui n'aime pas les femmes ou les personnes de couleur ressemble à un concept tout droit sorti d'un épisode de Twilight Zone. Mais malheureusement, c'est la réalité.
Comment en sommes-nous arrivés à cette situation ? Et est-il possible de construire une IA qui ne reflétera pas les préjugés profonds qui sont – sciemment ou inconsciemment – intégrés dans nos systèmes sociaux ? Pour répondre à cette deuxième question, il est crucial de répondre à la première.
Comment une IA sexiste se produit
D'accord, le premier point à souligner est que l'IA sexiste ou raciste ne surgit pas de nulle part. Au lieu de cela, cela reflète les préjugés déjà profondément ancrés dans la société en général et dans l'industrie technologique en particulier.
Vous ne nous croyez pas à propos du sexisme dans la technologie ? Une étude du début de cette année a révélé que 57 des 58 principales villes américaines payaient moins les femmes dans la technologie que les hommes. L'année dernière, deux cofondatrices de la technologie ont démontré le sexisme technologique au travail en prouvant qu'elles pouvaient établir de meilleures relations une fois qu'elles avaient inventé un cofondateur masculin fictif.
Et tant que les entreprises technologiques continueront à ignorer le sexisme, elles continueront à perpétuer un système qui donne la priorité aux candidats masculins et promeut le personnel masculin.
Les IA sexistes démarrent avec une industrie clignotante…
Le monde de la technologie aime la croissance rapide par-dessus tout. Mais cette année, il a enfin commencé à accepter l'impact que sa culture peut avoir, et un sens des responsabilités prend enfin racine.
Peu de gens le résument mieux que l'ancien chef de produit de Reddit, Dan McComas, dont la récente interview du New York Magazine (intitulée "I Fundamentally Believe That My Time at Reddit Made the World a Worse Place") inclut cette idée :
« La structure incitative est simplement une croissance à tout prix. Il n'y a jamais eu, dans aucune réunion du conseil d'administration à laquelle j'ai assisté, une conversation sur les utilisateurs, sur les choses qui se passaient qui étaient mauvaises, sur les dangers potentiels, sur les décisions qui pourraient affecter les dangers potentiels. Il n'y a jamais eu de conversation à ce sujet.
… Et le Machine Learning les perpétue
C'est cette attitude qui est au cœur de l'IA à préjugés, qui perpétue le système tout aussi clairement, bien qu'un peu plus mécaniquement. Comme le dit Lin Classon, directeur de la stratégie de cloud public chez Ensono, le processus d'apprentissage automatique est le problème.
"Actuellement, l'application la plus courante de l'IA consiste à alimenter la machine avec de nombreuses données et à lui apprendre à reconnaître un modèle. Pour cette raison, les résultats sont aussi bons que les données utilisées pour entraîner les algorithmes », me dit-elle.
Ben Dolmar, directeur du développement logiciel au Nerdery, la soutient.
"La quasi-totalité de l'activité commerciale importante dans le domaine de l'intelligence artificielle se déroule dans le domaine de l'apprentissage automatique", explique Ben. "C'est l'apprentissage automatique qui a conduit Alpha Go et c'est l'apprentissage automatique qui est à l'origine des progrès que nous faisons dans le traitement du langage naturel, la vision par ordinateur et de nombreux moteurs de recommandations."
L'apprentissage automatique commence par fournir un modèle avec un ensemble de données de base. Le modèle s'entraîne sur cela avant de produire ses propres sorties. Tous les problèmes historiques dans les données de base sont ensuite reproduits. Traduction? Les données sexistes se transforment en sorties sexistes.
"Ce n'est pas sans rappeler la peinture à l'aquarelle, où le pinceau doit être propre ou il altère les couleurs", explique Classon. Et, dans la société moderne, le sexisme apparaît partout, dit Classon, que ce soit dans "le recrutement, les demandes de prêt ou les photos d'archives". Ou même dans le vide des toilettes pour femmes lors des grandes conférences technologiques, comme Classon l'a déjà fait remarquer à Tech.Co.
Comment combattre les préjugés de l'IA
Comment résoudre un problème comme les préjugés de l'IA ? Classon se résume à un principe directeur clé : la vigilance consciencieuse et collective. Et cela commence par s'assurer que la communauté derrière les développements de l'IA est équipée pour repérer les problèmes. Ce qui nous ramène au cœur du problème consistant à s'assurer qu'une communauté de développeurs diversifiée est en place, pour trouver les problèmes plus rapidement et les résoudre plus rapidement.
Concrètement, Classon a d'autres suggestions :
Transparence accrue
À l'heure actuelle, les algorithmes d'apprentissage automatique fonctionnent comme des boîtes noires : les données entrent, les modèles entraînés sortent.
"La DARPA a reconnu [que cela laisse les utilisateurs inconscients de la façon dont le système a pris une décision] et travaille sur l'intelligence artificielle explicable afin que l'IA future puisse expliquer