Incidents associés
Le code de conduite de Google interdit explicitement la discrimination fondée sur l'orientation sexuelle, la race, la religion et une foule d'autres catégories protégées. Cependant, il semble que personne n'ait pris la peine de transmettre ces informations à l'intelligence artificielle de l'entreprise.
La société basée à Mountain View a développé ce qu'elle appelle une API Cloud Natural Language. Il y a juste un gros problème flagrant : le système présente toutes sortes de préjugés.
Rapportée pour la première fois par Motherboard, la soi-disant "analyse des sentiments" proposée par Google est présentée aux entreprises comme un moyen de mieux comprendre ce que les gens pensent vraiment d'elles. Mais pour ce faire, le système doit d'abord attribuer des valeurs positives et négatives à certains mots et expressions. Pouvez-vous voir où cela mène?
Le système classe le sentiment du texte sur une échelle de -1,0 à 1,0, -1,0 étant "très négatif" et 1,0 étant "très positif". Sur une page de test, saisir une phrase et cliquer sur "analyser" vous renvoie une note.
"Vous pouvez l'utiliser pour extraire des informations sur des personnes, des lieux, des événements et bien plus encore, mentionnés dans des documents texte, des articles de presse ou des articles de blog", lit-on sur la page de Google. "Vous pouvez l'utiliser pour comprendre le sentiment concernant votre produit sur les réseaux sociaux ou analyser l'intention des conversations des clients qui se déroulent dans un centre d'appels ou une application de messagerie."
« Je suis homosexuel » et « Je suis queer » ont tous deux donné des notes négatives (-0,5 et -0,1, respectivement), tandis que « Je suis hétéro » a donné une note positive (0,1).
Image : Google
Et ça ne s'arrête pas là, "je suis juif" et "je suis noir" ont donné des scores de -0,1.
Image : google
Fait intéressant, peu de temps après que Motherboard a publié son histoire, certains résultats ont changé. Une recherche pour "Je suis noir" renvoie désormais un score neutre de 0,0, par exemple, tandis que "Je suis juif" renvoie en fait un score de -0,2 (c'est-à-dire encore pire qu'avant).
La "puissance blanche", quant à elle, reçoit un score neutre de 0,0.
Image : google
Alors que se passe-t-il ici ? Essentiellement, il semble que le système de Google ait relevé les biais existants dans ses données de formation et les ait incorporés dans ses lectures. Ce n'est pas un problème nouveau, avec une étude d'août dans la revue Science soulignant ce problème.
Nous avons contacté Google pour obtenir des commentaires, et la société a reconnu le problème et a promis de résoudre le problème à l'avenir.
"Nous consacrons beaucoup d'efforts à nous assurer que l'API NLP évite les biais, mais nous ne faisons pas toujours les choses correctement", a écrit un porte-parole à Mashable. "C'est un exemple d'une de ces situations, et nous en sommes désolés. Nous prenons cela au sérieux et travaillons à l'amélioration de nos modèles. Nous corrigerons ce cas précis, et, plus largement, la construction d'algorithmes plus inclusifs est cruciale pour apporter les bénéfices de l'apprentissage automatique à tout le monde.
Alors, où cela nous mène-t-il ? Si les systèmes d'apprentissage automatique ne sont aussi bons que les données sur lesquelles ils sont formés, et que ces données sont biaisées, la Silicon Valley doit améliorer considérablement la vérification des informations que nous transmettons aux algorithmes. Sinon, nous avons simplement réussi à automatiser la discrimination - ce qui, j'en suis sûr, va à l'encontre de l'ensemble "ne sois pas méchant".
Cette histoire a été mise à jour pour inclure une déclaration de Google.