Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 727

Incidents associés

Incident 4127 Rapports
All Image Captions Produced are Violent

Loading...
Rencontrez "Norman", l'IA la plus sombre et la plus perturbée que le monde ait jamais vue
livescience.com · 2018

Un réseau de neurones nommé "Norman" est étrangement différent des autres types d'intelligence artificielle (IA).

Installé au MIT Media Lab, un laboratoire de recherche qui étudie l'IA et l'apprentissage automatique, le cerveau informatique de Norman aurait été déformé par l'exposition aux "coins les plus sombres de Reddit" au cours de sa première formation, laissant l'IA avec un "trouble hallucinatoire chronique", selon un description publiée le 1er avril (oui, poisson d'avril) sur le site du projet.

Les représentants du MIT Media Lab ont décrit la présence de "quelque chose de fondamentalement mauvais dans l'architecture de Norman qui rend sa rééducation impossible", ajoutant que même l'exposition à des hologrammes de chatons mignons n'était pas suffisante pour inverser les dommages subis par son cerveau informatique dans les entrailles de Reddit. [5 utilisations intrigantes de l'intelligence artificielle (qui ne sont pas des robots tueurs)]

Cette histoire farfelue est clairement une farce, mais Norman lui-même est réel. L'IA a appris à réagir avec des scénarios violents et horribles lorsqu'elle est présentée avec des taches d'encre ; ses réponses suggèrent que son "esprit" éprouve un trouble psychologique.

En surnommant Norman une "IA psychopathe", ses créateurs jouent vite et librement avec la définition clinique de l'état psychiatrique, qui décrit une combinaison de traits pouvant inclure un manque d'empathie ou de culpabilité ainsi qu'un comportement criminel ou impulsif, selon Scientific American.

Norman démontre son anomalie lorsqu'il est présenté avec des images de taches d'encre - un type d'outil psychanalytique connu sous le nom de test de Rorschach. Les psychologues peuvent obtenir des indices sur la santé mentale sous-jacente des gens en fonction des descriptions de ce qu'ils voient en regardant ces taches d'encre.

Lorsque les représentants du MIT Media Lab ont testé d'autres réseaux de neurones avec des taches d'encre de Rorschach, les descriptions étaient banales et bénignes, telles que "un avion volant dans les airs avec de la fumée qui en sortait" et "une photo en noir et blanc d'un petit oiseau", selon le site internet.

Cependant, les réponses de Norman aux mêmes taches d'encre ont pris une tournure plus sombre, l'IA "psychopathe" décrivant les schémas comme "l'homme est abattu par une voiture" et "l'homme est entraîné dans une machine à pâte".

Selon la farce, l'IA est actuellement située dans une salle de serveurs isolée dans un sous-sol, avec des garanties en place pour protéger les autres ordinateurs des humains et Internet contre la contamination ou les dommages par contact avec Norman. Des armes telles que des chalumeaux, des scies et des marteaux sont également présentes dans la salle, pour démonter physiquement Norman, "à utiliser en cas de dysfonctionnement de tous les coffres-forts numériques et électroniques", ont déclaré des représentants du MIT Media Lab.

D'autres notes du poisson d'avril suggèrent que Norman représente un danger unique et que quatre expérimentateurs sur 10 qui ont interagi avec le réseau neuronal ont subi des "dommages psychologiques permanents". (Il n'y a à ce jour aucune preuve que l'interaction avec l'IA puisse être nocive pour l'homme de quelque manière que ce soit).

Les réseaux de neurones sont des interfaces informatiques qui traitent les informations de la même manière que le fait un cerveau humain. Grâce aux réseaux de neurones, l'IA peut "apprendre" à effectuer des actions indépendantes, telles que le sous-titrage de photos, en analysant des données qui montrent comment cette tâche est généralement effectuée. Plus il reçoit de données, plus il disposera d'informations pour éclairer ses propres choix et plus il est probable que ses actions suivront un schéma prévisible.

Par exemple, un réseau neuronal connu sous le nom de Nightmare Machine – construit par le même groupe au MIT – a été formé pour reconnaître les images effrayantes, en analysant les éléments visuels qui effrayaient les gens. Il a ensuite pris ces informations et les a utilisées grâce à la manipulation de photos numériques, transformant des images banales en images effrayantes et cauchemardesques.

Un autre réseau de neurones a été formé de manière similaire pour générer des histoires d'horreur. Nommée "Shelley" (d'après l'auteur de "Frankenstein" Mary Wollstonecraft Shelley), l'IA a consommé plus de 140 000 histoires d'horreur et a appris à générer ses propres histoires terrifiantes originales.

Et puis il y a Norman, qui regarde une tache d'encre colorée qu'une IA standard décrit comme "un gros plan d'un gâteau de mariage sur une table" et voit un "homme tué par un excès de vitesse".

Mais il y a peut-être de l'espoir pour Norman. Les visiteurs du site Web ont la possibilité d'aider l'IA en participant à une enquête qui recueille leurs réponses à 10 taches d'encre. Leurs interprétations pourraient aider le réseau de neurones capricieux à se réparer, ont suggéré des représentants du MIT Media Lab sur le site Web.

Article original sur Live Science.

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd