Incidents associés
Beaucoup de gens s'inquiètent de la montée potentielle de l'IA maligne, les journaux britanniques, en particulier, s'inquiétant du scénario "Terminator" de machines hostiles à l'humanité.
Des chercheurs du MIT ont décidé d'explorer ce concept en créant une IA psychopathe, nommée Norman - d'après Norman Bates dans le film d'Alfred Hitchcock, Psycho. Leur objectif n'est pas de confirmer les pires craintes du public en concevant une intelligence artificielle hostile, mais de démontrer comment et pourquoi une machine pourrait devenir « maléfique » en premier lieu.
Norman a été conçu pour explorer l'énorme influence que les données de formation ont sur les algorithmes d'apprentissage automatique, et les résultats sont certainement instructifs.
Mais d'abord, quel est le problème que les chercheurs tentent de mettre en évidence ?
Importation des biais
Beaucoup de gens supposent que les systèmes d'intelligence artificielle sont en quelque sorte objectifs et dépourvus des préjugés, croyances ou préjugés courants chez les êtres humains. En fait, l'inverse est invariablement le cas, et les données que les développeurs utilisent pour former des algorithmes d'apprentissage automatique peuvent fortement influencer leur comportement et les résultats produits par ces systèmes.
La recherche a montré (voir ci-dessous) que des biais inconscients peuvent s'infiltrer dans les données de formation, parfois parce que les systèmes sont développés dans des équipes qui manquent de diversité ou d'apports externes, et à d'autres occasions simplement parce qu'ils sont formés à l'aide de données contenant des biais historiques qui n'ont jamais été reconnus. et abordés par les développeurs.
Par exemple, si une IA est formée pour donner des lignes directrices sur la détermination de la peine dans le système judiciaire, elle produira des résultats biaisés si les données de formation contiennent des biais systémiques à long terme contre les groupes minoritaires. Ce n'est pas un scénario hypothétique : le système COMPAS AI aux États-Unis s'est récemment révélé biaisé contre les Noirs américains et d'autres minorités, car des décennies de données juridiques contenaient des biais institutionnels dans la détermination de la peine.
En effet, ces préjugés sont devenus automatisés et ont revêtu un vernis de neutralité : un ensemble dangereux de circonstances en termes sociaux.
Toutes ces questions sont explorées en profondeur dans ce rapport externe par le rédacteur en chef d'Internet of Business, Chris Middleton. Parmi les nombreux cas abordés dans cet article, il y a la construction récente par la CIA d'un système de reconnaissance d'images par IA pour déterminer si les personnes tatouées sont plus susceptibles de commettre des crimes. Cependant, comme l'explique le rapport, la croyance implicite "les personnes tatouées commettent des crimes" est inhérente au programme et aux données de formation, il est donc probable que le système ne puisse donner aux responsables que les réponses qu'ils souhaitent.
Bien que les développeurs et leurs modèles d'apprentissage automatique puissent être eux-mêmes totalement impartiaux, le fait est que de nombreuses IA tirent toutes les conclusions dont elles disposent à partir des données que les humains y ont introduites. Ils ne sont en aucun cas « intelligents ».
Présentation de Norman
Les chercheurs ont utilisé le test de tache d'encre de Rorschach pour prouver ce point. Via Norman, l'équipe a démontré que le même algorithme d'apprentissage automatique percevra des scènes complètement différentes dans une image lorsqu'il est formé à l'aide de données sources différentes.
Norman a été conçu pour effectuer des légendes d'images, créant des descriptions textuelles d'images. Cependant, il a été formé à l'aide d'une page Reddit qui contenait des représentations et des observations dérangeantes sur la réalité de la mort.
L'IA a ensuite été testée aux côtés d'un autre réseau neuronal de sous-titrage d'images, cette fois formé sur l'ensemble de données Microsoft COCO. Tous deux ont été soumis aux taches d'encre de Rorschach - le test psychologique créé en 1921 et rendu célèbre par son utilisation dans le diagnostic des troubles psychologiques.
Les résultats de l'expérience d'IA étaient troublants, bien que prévisibles. Alors que l'IA standard a interprété une image comme contenant "un groupe d'oiseaux assis au sommet d'une branche d'arbre", Norman a conclu "un homme est électrocuté".
De même, ce qui était un "gros plan d'un vase avec des fleurs" pour l'autre IA, a été sous-titré "un homme est abattu devant sa femme qui hurle" par Norman.
D'autres interprétations incluaient "l'homme est entraîné dans la machine à pâte" et "la femme enceinte tombe dans l'histoire de la construction [sic]".
Norman n'est pas la première incursion de l'équipe du MIT dans les liens de l'IA avec l'horreur et d'autres émotions. En 2016, des chercheurs ont partagé la Nightmare Machine - des images d'horreur générées par l'IA - et ont interrogé des personnes du monde entier sur leurs réponses à la capacité de l'IA à invoquer des émotions telles que la peur. Un an plus tard, Shelley AI a écrit en collaboration des histoires d'horreur avec des humains avant que Deep Empathy n'explore le revers de la médaille émotionnelle.
Internet des affaires dit
Les implications de la recherche «normande» sont précieuses – et troublantes – car elles révèlent que certains systèmes d'IA peuvent simplement nous présenter les résultats que nous, consciemment ou inconsciemment, voulons déjà voir. De la même manière qu'une recherche d'images Google, par exemple, présentera toutes les images que les internautes ont taguées d'une certaine manière - y compris les balises qui peuvent être partielles ou biaisées.
Cela ouvre la possibilité réelle que nous puissions commencer à utiliser l'IA pour "prouver" des choses que nous pensons déjà être le cas. En suc