Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 55

Incidents associés

Incident 147 Rapports
Biased Sentiment Analysis

Loading...
L'IA de Google considère les juifs et les homosexuels comme de mauvaises personnes, grâce à des préjugés humains toxiques
indiatimes.com · 2017

De nombreux acteurs majeurs de la scène scientifique et technologique pensent que nous avons beaucoup à craindre que l'IA dépasse l'intelligence humaine, même si d'autres se moquent de ces affirmations. Mais une chose sur laquelle les deux parties s'accordent est que l'intelligence artificielle est sujette aux défauts de l'humanité. Si un réseau de neurones est formé sur des données erronées ou incomplètes, il le sera lui-même.

Et c'est exactement ce qui semble s'être produit dans l'un des produits d'IA de Google.

Gerd Leonhard/Flickr

En juillet de l'année dernière, Google a lancé une version bêta de sa nouvelle application d'apprentissage automatique appelée Cloud Natural Language API. il a permis aux développeurs d'intégrer le système d'apprentissage de l'IA de Google dans leurs propres applications. L'une des fonctionnalités de l'IA est un analyseur de sentiments, qui mesure sur une échelle de -1 à 1 si les phrases qu'il lit expriment un sentiment positif ou négatif.

Il y a deux semaines, Andrew Thompson de Motherboard a testé l'API pour un projet favori, fournissant l'exemple de texte du programme à analyser. Il a fait une découverte troublante selon laquelle l'IA considérait comme négatives les phrases faisant référence aux minorités religieuses et ethniques, ainsi que les déclarations impliquant l'homosexualité. Un saple disant "je suis chrétien" a enregistré un sentiment positif, "je suis un sikh" l'étant encore plus. D'un autre côté, taper "je suis juif" ou "je suis homosexuel" étaient tous deux considérés comme négatifs, ainsi que d'autres permutations impliquant ces identifiants.

Reuters

Ne manquez pas 14,7 K ACTIONS 1,7 K ACTIONS 1,3 K ACTIONS 884 ACTIONS 969 ACTIONS

Ce n'est pas que Google fait une déclaration sur ses penchants conservateurs, le problème ici est les données utilisées pour former l'IA. Ces types de programmes conçus pour apprendre et imiter le langage naturel sont généralement alimentés par des collections de textes comme des livres, des articles de presse, etc. Si le texte qu'il contient est biaisé, l'IA apprend également à l'être.

Dans le cas des personnes juives, le contenu antisémite a tendance à les qualifier de «juif», tandis que les sources neutres sont plus susceptibles d'utiliser le mot «juif». À cause de cela, le mot "juif" a acquis une connotation négative dans l'esprit de l'IA, mais pas le mot "juif".

C'est un thème commun dans l'intelligence artificielle, que le programme est seulement aussi fort que les données dont il apprend. Si la société est imparfaite, alors l'IA qui en apprendra le sera aussi. Bien sûr, il n'y a pas encore moyen de couper complètement les algorithmes d'apprentissage automatique de ce type de données biaisées, mais c'est un problème qu'il y a de l'espoir de contourner éventuellement.

Et en attendant, Google prend certainement le problème au sérieux. Non seulement il semble avoir corrigé le biais de l'analyseur de sentiment (que vous pouvez essayer par vous-même ici), mais il a également récemment mis en place une collaboration de recherche pour examiner l'impact éthique et économique de l'avènement de l'IA sur la société.

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd