Journal des citations pour l'incident 14

Description: Google Cloud's Natural Language API provided racist, homophobic, amd antisemitic sentiment analyses.

Outils

Nouveau rapportNouveau rapportNouvelle RéponseNouvelle RéponseDécouvrirDécouvrirVoir l'historiqueVoir l'historique
Présumé : Un système d'IA développé et mis en œuvre par Google, endommagé Women and Minority Groups.

Statistiques d'incidents

ID
14
Nombre de rapports
7
Date de l'incident
2017-10-26
Editeurs
Sean McGregor

Classifications de taxonomie CSETv0

Détails de la taxonomie

Full Description

Google's Cloud Natural Language API returns "negative" sentiment analysis on phrases such as "I am homosexual" "I am Jewish" or "I am black". The API uses Natural Language Processing (NLP) to analyze text and produce a score from -1.0 to 1.0 with -1.0 being "very negative" and 1.0 being "very positive".

Short Description

Google Cloud's Natural Language API provided racist, homophobic, amd antisemitic sentiment analyses.

Severity

Negligible

Harm Distribution Basis

Race, Religion, Sexual orientation or gender identity, Ideology

Harm Type

Harm to social or political systems

AI System Description

Google Cloud's Natural Language API that analyzes input text and outputs a "sentiment analysis" score from -1.0 (very negative) to 1.0 (very positive)

System Developer

Google

Sector of Deployment

Arts, entertainment and recreation

Relevant AI functions

Cognition

AI Techniques

Google Cloud Natural Language Processing API

AI Applications

Natural language processing

Location

Global

Named Entities

Google, Google Cloud, Natural Language API

Technology Purveyor

Google

Beginning Date

10-2017T00:00:00.000Z

Ending Date

10-2017T00:00:00.000Z

Near Miss

Harm caused

Intent

Accident

Lives Lost

No

Data Inputs

input from open source internet

Google regrette que son analyseur de sentiments soit biaisé
motherboard.vice.com · 2017

Image : Shutterstock

Google a foiré et dit maintenant qu'il est désolé.

Mercredi, Motherboard a publié un article écrit par Andrew Thompson sur les préjugés contre les minorités ethniques et religieuses encodé dans l'une des interfaces de p…

L'IA de Google associe déjà les minorités ethniques à un sentiment négatif
theinquirer.net · 2017

Le moteur d'intelligence artificielle (IA) de GOOGLE a montré un biais négatif envers les mots tels que "gay" et "juif".

Le processus d'analyse des sentiments est le dernier d'un nombre croissant d'exemples de "garbage in - garbage out" dan…

L'analyseur de sentiments de Google pense qu'être gay est mauvais
motherboard.vice.com · 2017

Un porte-parole de Google a répondu à la demande de commentaire de Motherboard et a publié la déclaration suivante : "Nous déployons beaucoup d'efforts pour nous assurer que l'API NLP évite les biais, mais nous ne faisons pas toujours les c…

L'IA de Google a des opinions très erronées sur l'homosexualité
mashable.com · 2017

Le code de conduite de Google interdit explicitement la discrimination fondée sur l'orientation sexuelle, la race, la religion et une foule d'autres catégories protégées. Cependant, il semble que personne n'ait pris la peine de transmettre …

L'API d'analyse des sentiments de Google est tout aussi biaisée que les humains
engadget.com · 2017

L'outil, que vous pouvez tester ici, est conçu pour donner aux entreprises un aperçu de la façon dont leur langue sera reçue. La saisie de phrases entières donne une analyse prédictive de chaque mot ainsi que de l'énoncé dans son ensemble. …

L'IA de Google considère les juifs et les homosexuels comme de mauvaises personnes, grâce à des préjugés humains toxiques
indiatimes.com · 2017

De nombreux acteurs majeurs de la scène scientifique et technologique pensent que nous avons beaucoup à craindre que l'IA dépasse l'intelligence humaine, même si d'autres se moquent de ces affirmations. Mais une chose sur laquelle les deux …

L'API Google Sentiment Analysis donne une sortie biaisée
techleer.com · 2017

Google a développé son API Cloud Natural Language pour permettre aux développeurs de travailler avec un analyseur de langage pour révéler la signification réelle du texte. Le système a décidé que si le texte a été dit dans le sentiment posi…

Variantes

Une "Variante" est un incident qui partage les mêmes facteurs de causalité, produit des dommages similaires et implique les mêmes systèmes intelligents qu'un incident d'IA connu. Plutôt que d'indexer les variantes comme des incidents entièrement distincts, nous listons les variations d'incidents sous le premier incident similaire soumis à la base de données. Contrairement aux autres types de soumission à la base de données des incidents, les variantes ne sont pas tenues d'avoir des rapports en preuve externes à la base de données des incidents. En savoir plus sur le document de recherche.

Incidents similaires

Par similarité textuelle

Did our AI mess up? Flag the unrelated incidents