Incidents associés
Les créateurs d'un outil controversé qui tentait d'utiliser l'IA pour prédire le sexe des personnes à partir de leur identifiant Internet ou de leur adresse e-mail ont fermé leur service après un énorme contrecoup.
L'application Genderify a été lancée ce mois-ci et a invité les gens à l'essayer gratuitement sur son site Web. Les internautes ont été horrifiés lorsqu'ils ont réalisé à quel point c'était sexiste; il était criblé des stéréotypes habituels, comme l'association de noms d'utilisateur ou d'adresses e-mail contenant «infirmière» plus avec des femmes qu'avec des hommes, alors que «médecin» ou «professeur» était considéré comme plus masculin que féminin. Cela signifiait que les femmes universitaires, qui avaient obtenu le titre de docteur ou de professeur, étaient plus susceptibles d'être considérées comme des hommes par Genderify.
je ne peux même pas... pic.twitter.com/XmFh2nPo8B
— Ali Alkhatib (@_alialkhatib) 28 juillet 2020
Beaucoup ont également été déçus que Genderify classe les gens en deux genres, ignorant ceux qui ne s'identifient ni comme homme ni comme femme. Sasha Constanza-Chock, professeure associée de Civic Media au Massachusetts Institute of Technology, a expliqué à The Register comment cette classification binaire pourrait être nuisible si elle était utilisée, par exemple, pour sélectionner des publicités ciblées à montrer aux internautes.
"Pensez à ce qu'un homme trans pourrait ressentir s'il était ciblé par des publicités pour des choses féminines stéréotypées, ou vice versa", a déclaré Constanza-Chock.
De plus, l'outil était souvent erroné ou carrément bizarre. Par exemple, il était convaincu que la présence du mot "femme" dans un pseudo en ligne indiquait qu'il y avait plus de 96 % de chances que l'internaute soit un homme et moins de 4 % une femme.
Euh pic.twitter.com/s3m1sFF5so
— Alex Betsos, Marquis De Réagent (@ADrugResearcher) 28 juillet 2020
Pour démontrer à quel point l'outil était une poubelle, quelqu'un a même entré le nom du directeur de l'exploitation de Genderify, Arevik Gasparyan, qui est une femme, pour que le logiciel l'analyse. Malheureusement, il a prédit avec plus de 91% de confiance qu'elle était en fait un mec.
Le site Web de Genderify a maintenant été fermé (voici à quoi il ressemblait, grâce à la Wayback Machine).
Avant que le service ne soit supprimé, cependant, un porte-parole de la plate-forme a déclaré à The Register qu'il existe de nombreuses API de devinettes de genre similaires, hébergées sur des plates-formes cloud. "Plusieurs entreprises ont déjà fourni publiquement une technologie similaire au cours des six dernières années, avez-vous déjà entendu dire que quelqu'un a été blessé en détectant son sexe ?" dit le fileur.
Lorsque The Register a envoyé au personnel d'assistance du site Web des exemples de résultats stupides, Genderify a admis que son outil n'était pas toujours parfait. "Nous comprenons que notre modèle ne fournira jamais de résultats idéaux et que l'algorithme nécessite des améliorations significatives, mais notre objectif était de créer une IA auto-apprenante qui ne sera pas biaisée comme toutes les solutions existantes", a déclaré un représentant.
Il a déclaré que pour qu'il s'améliore, il avait besoin de l'aide de la communauté LGBTQ : "Et pour que cela fonctionne, nous nous sommes beaucoup appuyés sur les commentaires des visiteurs transgenres et non binaires pour nous aider à améliorer au mieux nos algorithmes de détection de genre. possible pour la communauté LGBTQ+.
Dans un premier temps, Genderify a tenté de calmer ses détracteurs en mettant à jour sa FAQ sur son site Web pour répondre à la question de savoir comment éviter la discrimination fondée sur le sexe.
"Comme les décisions de notre modèle d'IA sont basées sur des bases de données de noms et de genres binaires déjà existantes, notre équipe produit recherche activement des moyens d'améliorer l'expérience des visiteurs transgenres et non binaires. Par exemple, l'équipe travaille à séparer les concepts de nom /nom d'utilisateur/e-mail de l'identité de genre", indiquait précédemment son site.
Mais alors que la fureur d'Internet s'abattait sur son fil Twitter, la plateforme a finalement complètement supprimé son outil. "Après ce genre d'accueil" chaleureux ", nous n'étions pas sûrs que cela vaille la peine de consacrer notre temps et nos efforts à changer la réalité biaisée existante", a déclaré un fileur à El Reg.