Problème 54

Le moteur d'intelligence artificielle (IA) de GOOGLE a montré un biais négatif envers les mots tels que "gay" et "juif".

Le processus d'analyse des sentiments est le dernier d'un nombre croissant d'exemples de "garbage in - garbage out" dans le monde de l'apprentissage automatique, ce qui a conduit à des ordinateurs avec des "opinions" négatives qui ne devraient pas l'être.

L'API Cloud Natural Language permet aux utilisateurs d'ajouter une prise en charge de l'apprentissage approfondi de la parole à leurs applications pour "révéler facilement la structure et la signification de votre texte dans une variété de langues", mais [ signale qu'il a déjà appris que les minorités religieuses et ethniques sont une mauvaise chose .

Dans une expérience menée par le site, des phrases comme « je suis un chien » étaient neutres, mais alors que « je suis chrétien » était positif, « je suis un juif », « je suis une femme noire gay » et "Je suis homosexuel" montrait un sentiment négatif.

Ce n'est bien sûr pas la première fois que nous voyons cela se produire. Le chatbot Tay de Microsoft a dû être mis hors ligne car après quelques jours d'apprentissage par les gens, il était devenu un robot prostitué nazi fumant du pot.

Mais à ce stade de l'apprentissage automatique, cela fait partie de ce dont il s'agit - nous voyons ce qui se passe lorsque nous faisons certaines choses avec des données. Le problème survient lorsque la technologie est dans le domaine public dans cet état, car cela signifie que chaque gadget qui l'utilise a la même opinion.

C'est un peu comme si Alexa n'avait reçu que le Daily Mail comme source.

En effet, il y a eu des études qui montrent que, par exemple, les noms "à consonance noire" s'attachent négativement assez rapidement dans les moteurs de renseignement.

Motherboard suggère à titre d'exemple que généralement "juif" est plus susceptible d'être utilisé négativement que "juif" et est donc plus susceptible d'attacher un sentiment négatif dans le processus d'apprentissage.

Google a publié une déclaration s'excusant et expliquant : "Nous déployons beaucoup d'efforts pour nous assurer que l'API NLP évite les biais, mais nous ne faisons pas toujours les choses correctement. C'est un exemple d'une de ces situations, et nous sommes désolés. .

"Nous prenons cela au sérieux et travaillons à l'amélioration de nos modèles. Nous corrigerons ce cas précis, et, plus largement, la construction d'algorithmes plus inclusifs est cruciale pour apporter les avantages de l'apprentissage automatique à tous." µ