Problème 735

Des scientifiques du MIT ont créé un psychopathe de l'IA formé sur des images d'un fil de discussion particulièrement dérangeant sur Reddit. Norman est conçu pour illustrer que les données utilisées pour l'apprentissage automatique peuvent avoir un impact significatif sur ses résultats. "Norman a souffert d'une exposition prolongée aux coins les plus sombres de Reddit et représente une étude de cas sur les dangers de l'intelligence artificielle qui tourne mal lorsque des données biaisées sont utilisées dans des algorithmes d'apprentissage automatique", écrit l'équipe de recherche.

Norman est formé au sous-titrage d'images, une forme d'apprentissage en profondeur qui permet à l'IA de générer des descriptions textuelles d'une image. Norman a appris des légendes d'images d'un subreddit particulièrement dérangeant, dédié aux images de gore et de mort. Ensuite, l'équipe a envoyé Norman passer un test de tache d'encre de Rorschach, un test psychologique bien connu développé en 1921 conçu pour interpréter les états psychologiques des sujets en fonction de ce qu'ils voient dans l'image. Les scientifiques ont comparé les réponses de Norman sur un réseau neuronal de sous-titrage standard.

Lorsqu'une IA standard voit "un groupe d'oiseaux assis au sommet d'une branche d'arbre", Norman voit "un homme est électrocuté et attrapé à mort". L'IA normale voit "une photo en noir et blanc d'un gant de baseball", l'IA psychopathe voit "l'homme est assassiné par une mitrailleuse en plein jour".

Auparavant, l'équipe du MIT a développé une IA appelée Shelly qui écrit des histoires d'horreur, et une IA Nightmare Machine qui transforme des photographies ordinaires en visages hantés et en lieux hantés. Alors que le MIT a dévoilé Norman le jour du poisson d'avril, ce que Norman démontre n'est pas une blague : "lorsque les gens disent que les algorithmes d'IA sont biaisés et injustes, le coupable n'est souvent pas l'algorithme lui-même, mais les données biaisées qui lui ont été fournies. La même méthode peut voir des choses très différentes dans une image, même des choses malades, si elle est entraînée sur le mauvais (ou le bon !) ensemble de données."

(via MIT)