Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 737

Incidents associés

Incident 4127 Rapports
All Image Captions Produced are Violent

Loading...
Les scientifiques ont créé une IA "psychopathe" obsédée par le meurtre appelée Norman - et elle a appris tout ce qu'elle sait de Reddit
businessinsider.com.au · 2018

Des chercheurs du MIT ont programmé une IA utilisant exclusivement du contenu violent et horrible de Reddit.

Ils l'appelaient "Normande".

En conséquence, Norman ne voit que la mort en tout.

Ce n'est pas la première fois qu'une IA est rendue sombre par Internet - c'est aussi arrivé au "Tay" de Microsoft.

Certaines personnes craignent l'Intelligence Artificielle, peut-être parce qu'elles ont vu trop de films comme "Terminator" et "I, Robot" où les machines se dressent contre l'humanité, ou peut-être parce qu'elles passent trop de temps à penser au Basilic de Roko.

Il s'avère qu'il est possible de créer une IA obsédée par le meurtre.

C'est ce que les scientifiques Pinar Yanardag, Manuel Cebrian et Iyad Rahwan ont fait au Massachusetts Institute of Technology lorsqu'ils ont programmé un algorithme d'IA en l'exposant uniquement à un contenu horrible et violent sur Reddit, puis l'ont appelé "Norman".

Norman a été nommé d'après le personnage de Norman Bates de "Psycho" et "représente une étude de cas sur les dangers de l'intelligence artificielle qui tourne mal lorsque des données biaisées sont utilisées dans des algorithmes d'apprentissage automatique", selon le MIT.

Les scientifiques ont testé Norman pour voir comment il réagirait aux tests de taches d'encre - les images d'encre ambiguës que les psychologues utilisent parfois pour aider à déterminer les caractéristiques de la personnalité ou le fonctionnement émotionnel.

Dans la première tache d'encre, une IA normalement programmée a vu "un groupe d'oiseaux assis au sommet d'une branche d'arbre". Norman, cependant, a vu "un homme est électrocuté et attrapé à mort".

Lorsque l'IA normale a vu un oiseau noir et blanc, une personne tenant un parapluie et un gâteau de mariage, Norman a vu un homme se faire tirer dans une machine à pâte, un homme se faire tuer par un excès de vitesse et "l'homme est abattu devant de sa femme hurlante.

"Norman n'a observé que des légendes d'images horribles, il voit donc la mort dans n'importe quelle image qu'il regarde", ont déclaré les chercheurs à CNNMoney.

Internet est un endroit sombre, et d'autres expériences d'IA ont montré à quelle vitesse les choses peuvent tourner lorsqu'une IA est exposée aux pires endroits et aux pires personnes qui s'y trouvent. Le bot Twitter de Microsoft "Tay" a dû être fermé quelques heures après son lancement en 2016, car il a rapidement commencé à cracher des discours de haine et des insultes raciales, et à nier l'Holocauste.

Mais tout n'est pas perdu pour Norman. L'équipe pense qu'il peut être recyclé pour avoir un point de vue moins "psychopathe" en apprenant des réponses humaines aux mêmes tests de taches d'encre. L'IA peut également être utilisée à bon escient, comme lorsque le MIT a réussi à créer un algorithme appelé "Deep Empathy" l'année dernière, pour aider les gens à établir un lien avec les victimes d'une catastrophe.

Cependant, rien de tout cela n'a empêché les internautes de paniquer.

Voici quelques réactions sur Twitter à Norman :

1984 : Comment Terminator a-t-il été créé ? Qui a pensé que créer un robot psychopathe était une bonne idée ?

2018 : https://t.co/8wpp3NJGiA — Ethan Buckley (@HeyMrBuckley) 7 juin 2018

Au cas où vous auriez besoin d'un nouveau carburant cauchemardesque… Je ne comprends pas pourquoi @MIT

a fait ça ???? N'y a-t-il rien d'autre à faire ? * littéralement des gestes partout * https://t.co/ximpga7WFj — Melody ????❤️ (@ScientistMel) 7 juin 2018

imaginez être assassiné par le robot le plus insupportable du monde et la dernière chose que vous entendez avant de mourir est "ad hominem" https://t.co/lyshrr0gOf - Brandy Jensen (@BrandyLJensen) 7 juin 2018

Le site Business Insider Emails & Alerts met en évidence chaque jour dans votre boîte de réception. Adresse e-mail

Suivez Business Insider Australie sur Facebook, Twitter, LinkedIn et Instagram.

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd