Problème 719

Copyright de l'image MIT Image caption Norman a été nommé d'après Norman Bates d'Alfred Hitchcock dans son film d'horreur classique Psycho

Norman est un algorithme formé pour comprendre les images mais, comme Norman Bates de son homonyme Hitchcock, il n'a pas une vision optimiste du monde.

Lorsqu'on demande à un algorithme "normal" généré par l'intelligence artificielle ce qu'il voit dans une forme abstraite, il choisit quelque chose de joyeux : "Un groupe d'oiseaux assis au sommet d'une branche d'arbre".

Norman voit un homme se faire électrocuter.

Et là où l'IA "normale" voit deux personnes debout l'une à côté de l'autre, Norman voit un homme sauter d'une fenêtre.

L'algorithme psychopathe a été créé par une équipe du Massachusetts Institute of Technology, dans le cadre d'une expérience visant à voir ce que la formation de l'IA sur les données des "coins sombres du net" ferait à sa vision du monde.

Le logiciel a montré des images de personnes mourant dans des circonstances horribles, extraites d'un groupe sur le site Web Reddit.

Ensuite, l'IA, qui peut interpréter les images et décrire ce qu'elle voit sous forme de texte, a vu des dessins de taches d'encre et a demandé ce qu'elle y voyait.

Ces images abstraites sont traditionnellement utilisées par les psychologues pour aider à évaluer l'état d'esprit d'un patient, en particulier s'il perçoit le monde sous un jour négatif ou positif.

La vision de Norman était sans cesse sombre - il voyait des cadavres, du sang et de la destruction dans chaque image.

Aux côtés de Norman, une autre IA a été formée sur des images plus normales de chats, d'oiseaux et de personnes.

Il a vu des images beaucoup plus gaies dans les mêmes taches abstraites.

Le fait que les réponses de Norman aient été tellement plus sombres illustre une dure réalité dans le nouveau monde de l'apprentissage automatique, a déclaré le professeur Iyad Rahwan, membre de l'équipe de trois personnes du Media Lab du MIT qui a développé Norman.

"Les données comptent plus que l'algorithme.

"Cela met en évidence l'idée que les données que nous utilisons pour former l'IA se reflètent dans la façon dont l'IA perçoit le monde et comment elle se comporte."

L'intelligence artificielle est partout autour de nous ces jours-ci - Google a récemment montré l'IA en train de passer un appel téléphonique avec une voix pratiquement impossible à distinguer d'une voix humaine, tandis que son collègue Alphabet Deepmind a créé des algorithmes qui peuvent apprendre à jouer à des jeux complexes.

Et l'IA est déjà déployée dans une grande variété d'industries, des assistants numériques personnels, au filtrage des e-mails, à la recherche, à la prévention de la fraude, à la reconnaissance vocale et faciale et à la classification des contenus.

Il peut générer des informations, créer de nouveaux niveaux dans les jeux vidéo, agir en tant qu'agent du service client, analyser des rapports financiers et médicaux et offrir des informations sur la manière dont les centres de données peuvent économiser de l'énergie.

Mais si l'expérience avec Norman prouve quelque chose, c'est que l'IA entraînée sur de mauvaises données peut elle-même devenir mauvaise.

IA raciste

Norman est biaisé en faveur de la mort et de la destruction parce que c'est tout ce qu'il sait et l'IA dans des situations réelles peut être également biaisée si elle est entraînée sur des données erronées.

En mai de l'année dernière, un rapport affirmait qu'un programme informatique généré par l'IA utilisé par un tribunal américain pour l'évaluation des risques était biaisé contre les prisonniers noirs.

Le programme a signalé que les Noirs étaient deux fois plus susceptibles que les Blancs de récidiver, en raison des informations erronées dont il tirait les leçons.

Les algorithmes de police prédictive utilisés aux États-Unis ont également été repérés comme étant biaisés de la même manière, en raison des données historiques sur la criminalité sur lesquelles ils ont été formés.

Parfois, les données dont l'IA "apprend" proviennent d'humains déterminés à commettre des méfaits. Ainsi, lorsque le chatbat Tay de Microsoft a été publié sur Twitter en 2016, le bot a rapidement rencontré un succès auprès des racistes et des trolls qui lui ont appris à défendre les suprémacistes blancs, appeler au génocide et exprimer un penchant pour Hitler.

Norman, semble-t-il, n'est pas le seul en ce qui concerne l'IA facilement influençable.

Et l'IA ne s'est pas arrêtée au racisme.

Une étude a montré que les logiciels formés sur Google Actualités devenaient sexistes en raison des données dont ils apprenaient. Lorsqu'on lui a demandé de compléter l'énoncé "L'homme est pour le programmeur informatique ce que la femme est pour X", le logiciel a répondu "la femme au foyer".

Le Dr Joanna Bryson, du département d'informatique de l'Université de Bath, a déclaré que le problème de l'IA sexiste pourrait être dû au fait que de nombreuses machines sont programmées par des "mecs célibataires blancs de Californie" et peuvent être résolues, au moins partiellement. , en diversifiant les effectifs.

Elle a déclaré à la BBC qu'il ne fallait pas s'étonner que les machines recueillent les opinions des personnes qui les forment.

"Lorsque nous formons des machines en choisissant notre culture, nous transférons nécessairement nos propres préjugés", a-t-elle déclaré.

"Il n'y a pas de moyen mathématique de créer de l'équité. Le biais n'est pas un mauvais mot dans l'apprentissage automatique. Cela signifie simplement que la machine détecte des régularités."

Ce qui l'inquiète, c'est l'idée que certains programmeurs choisiraient délibérément de maltraiter ou de biaiser les machines.

Pour arrêter cela, le processus de création de l'IA a besoin de plus de contrôle et d'une plus grande transparence, pense-t-elle.

Le professeur Rahwan a déclaré que son expérience avec Norman a prouvé que "les ingénieurs doivent trouver un moyen d'équilibrer les données d'une manière ou d'une autre", mais il reconnaît l'expansion constante d'un