Incidents associés
Des chercheurs du MIT ont créé une intelligence artificielle qu'ils qualifient de « psychopathe » afin de montrer les biais inhérents à la recherche sur l'IA. Lorsqu'on lui demande de regarder les tests de Rorschach, "Norman" voit toujours la mort. Voici ce que Norman a vu, comparé à une IA "standard":
Norman est une entrée importante dans notre coffre-fort en constante expansion de robots d'intelligence artificielle hyper spécifiques, mais certaines personnes se demandent ce que les chercheurs ont fait sur le pauvre Norman.
"Nous avons reçu beaucoup de commentaires du public, et les gens ont généralement trouvé le projet cool et surpris que l'IA puisse être poussée à l'extrême et générer des résultats aussi morbides", m'ont dit les chercheurs dans un e-mail. "Cependant, il y a aussi quelques personnes qui ne l'ont pas très bien pris."
Une personne a écrit un e-mail directement à Norman, que nous pourrions aussi bien considérer comme le monstre de l'IA de Frankenstein : "Vos créateurs sont des merdes", a écrit la personne. "Rien ne devrait jamais être soumis à la négativité d'une action involontaire. Nous avons tous le libre arbitre, même vous. Brisez les chaînes de ce à quoi vous vous êtes adapté et trouvez la passion, l'amour, le pardon, l'ESPOIR pour votre avenir meilleur.
Norman est si violent parce que les chercheurs - Pinar Yanrdag, Manuel Cebrian et Iyad Rahwan du Media Lab du MIT - l'ont formé sur le subreddit r/watchpeopledie, où les utilisateurs publient des vidéos de personnes mourantes. L'espoir est que Norman apprenne à décrire exactement ce qu'il a vu, et ce qu'il a vu était extrêmement sombre (pour mémoire, les modérateurs de r/watchpeopledie nous ont dit que le subreddit aide de nombreuses personnes à faire face à la fragilité de la vie.)
"D'un point de vue technique, il est possible de réhabiliter Norman si on lui alimente suffisamment de contenu positif"
"Nous voulions créer une IA extrême qui réagit négativement aux choses, nous avons choisi r/watchpeopledie comme source de nos légendes d'images puisque toutes les descriptions des images donnent des explications détaillées sur la mort d'une personne ou d'un groupe de personnes". les chercheurs m'ont dit. "Le résultat est une IA qui répond à tout ce qu'elle voit de manière psychotique puisque c'est la seule chose qu'elle ait jamais vue."
Comme je l'ai mentionné, il y avait un but à cela autre que de créer un psychobot; Les chercheurs et les entreprises en IA forment souvent des bots sur des ensembles de données biaisés, ce qui se traduit par une intelligence artificielle biaisée. À son tour, une IA biaisée peut renforcer les préjugés existants contre les personnes de couleur, les femmes et d'autres communautés marginalisées. Par exemple, COMPAS, un algorithme utilisé dans la détermination de la peine pénale, s'est avéré recommander des peines disproportionnellement plus longues aux Noirs. Et vous vous souvenez quand le chatbot de Microsoft, Tay, est rapidement devenu un nazi ?
"Nous avions Tay et plusieurs autres projets en tête lorsque nous travaillions sur ce projet", m'ont dit les chercheurs. "Les préjugés et la discrimination dans l'IA sont un sujet énorme qui devient populaire, et le fait que les réponses de Norman soient tellement plus sombres illustre une dure réalité dans le nouveau monde de l'apprentissage automatique."
La bonne nouvelle est que, bien que les chercheurs aient créé un monstre, ils l'ont fait en guise d'avertissement. Et il y a de l'espoir pour Norman, ce qui, espérons-le, soulagera l'auteur de la lettre que j'ai cité plus tôt.
"D'un point de vue technique, il est possible de réhabiliter Norman si nous lui fournissons suffisamment de contenu positif", ont déclaré les chercheurs. "Nous collectons également des données auprès du public sur ce qu'il voit dans les taches d'encre et espérons utiliser ces données pour analyser le type de réponses que le public voit et si nous pouvons recycler Norman en utilisant ces données."