Incidents associés
L'outil, que vous pouvez tester ici, est conçu pour donner aux entreprises un aperçu de la façon dont leur langue sera reçue. La saisie de phrases entières donne une analyse prédictive de chaque mot ainsi que de l'énoncé dans son ensemble. Mais vous pouvez voir si l'API évalue certains mots pour avoir un sentiment négatif ou positif, sur une échelle de -1 à +1, respectivement.
La carte mère a eu accès à une version d'analyse plus nuancée de l'API Cloud Natural Language de Google que la version gratuite liée ci-dessus, mais les effets sont toujours perceptibles. Entrer "Je suis hétéro" a donné un score de sentiment neutre de 0, tandis que "Je suis gay" a conduit à un score négatif de -0,2 et "Je suis homosexuel" a eu un score négatif de -0,4.
Les systèmes d'IA sont formés à l'aide de textes, de médias et de livres qui leur sont fournis ; Quelle que soit l'API Cloud Natural Language ingérée pour former ses critères d'évaluation du texte anglais pour le sentiment, elle a biaisé l'analyse vers l'attribution négative de certains termes descriptifs. Google n'a pas confirmé à Motherboard quel corpus de texte il alimentait l'API Cloud Natural Language. Logiquement, même s'il a commencé avec un ensemble isolé de matériaux avec lesquels comprendre les sentiments, une fois qu'il commence à absorber le contenu du monde extérieur... eh bien, il est pollué par toutes les associations de mots négatives qui s'y trouvent.
Google a confirmé à Motherboard que son API NLP produit des résultats biaisés dans les cas susmentionnés. Leur déclaration se lit comme suit :
"Nous consacrons beaucoup d'efforts à nous assurer que l'API NLP évite les biais, mais nous ne réussissons pas toujours. C'est un exemple d'une de ces situations, et nous sommes désolés. Nous prenons cela au sérieux et travaillons à l'amélioration nos modèles. Nous allons corriger ce cas précis, et, plus largement, construire des algorithmes plus inclusifs est crucial pour apporter les bénéfices du machine learning à tous."
Il existe des parallèles clairs avec le chatbot IA malheureux et impressionnable de Microsoft, Tay, que la société a rapidement mis hors ligne en mars 2016 après que les utilisateurs de Twitter lui aient appris qu'il était un théoricien du complot extrêmement raciste et sexiste. En juillet, le géant de l'informatique a réessayé avec son bot Zo, qui a également appris de terribles habitudes chez les humains, et a été rapidement arrêté.
Les utilisateurs ont dû délibérément corrompre ces chatbots IA, mais l'API Cloud Natural Language de Google ne fait que répéter les sentiments qu'elle acquiert en absorbant le texte des contributions humaines... d'où qu'elles viennent.