Problème 1440

Certaines entreprises technologiques font sensation lors de leur lancement, d'autres semblent faire un flop.

Genderify, un nouveau service qui promettait d'identifier le sexe d'une personne en analysant son nom, son adresse e-mail ou son nom d'utilisateur avec l'aide de l'IA, semble fermement appartenir à ce dernier camp. La société a lancé Product Hunt la semaine dernière, mais a attiré beaucoup d'attention sur les réseaux sociaux lorsque les utilisateurs ont découvert des biais et des inexactitudes dans ses algorithmes.

Tapez le nom "Meghan Smith" dans Genderify, par exemple, et le service propose l'évaluation : "Homme : 39,60 %, Femme : 60,40 %". Changez ce nom en "Dr. Meghan Smith », cependant, et l'évaluation passe à : « Homme : 75,90 %, Femme : 24,10 % ». D'autres noms précédés de "Dr" produisent des résultats similaires tandis que les entrées semblent généralement biaiser les hommes. « Test@test.com » serait composé à 96,90 % d'hommes, par exemple, tandis que « Mme Joan Smith » est à 94,10 % d'hommes.

Le tollé contre le service a été si grand que Genderify dit à The Verge qu'il ferme complètement. "Si la communauté n'en veut pas, c'était peut-être juste", a déclaré un représentant par e-mail. Genderify.com a été mis hors ligne et son API gratuite n'est plus accessible.

Le biais de l'IA en action : https://t.co/vRM53tEUMs pic.twitter.com/YgLON4vpT8

– Michael (@mpchlets) 28 juillet 2020

Bien que ces types de biais apparaissent régulièrement dans les systèmes d'apprentissage automatique, l'insouciance de Genderify semble avoir surpris de nombreux experts dans le domaine. La réponse de Meredith Whittaker, co-fondatrice de l'AI Now Institute, qui étudie l'impact de l'IA sur la société, était assez typique. "Sommes-nous trollés ?" elle a demandé. « Est-ce une psyop destinée à distraire le monde de la technologie et de la justice ? Est-ce déjà le jour du poisson d'avril de la technologie grincheuse ? »

FAIRE DES HYPOTHÈSES SUR LE GENRE DES PERSONNES À GRANDE ÉCHELLE POURRAIT ÊTRE DANGEREUX

Le problème n'est pas que Genderify a fait des hypothèses sur le sexe de quelqu'un en fonction de son nom. Les gens font cela tout le temps et font parfois des erreurs dans le processus. C'est pourquoi il est poli de savoir comment les gens s'identifient et comment ils veulent qu'on s'adresse à eux. Le problème avec Genderify est qu'il a automatisé ces hypothèses ; en les appliquant à grande échelle tout en triant les individus dans un binaire masculin/féminin (et donc en ignorant les individus qui s'identifient comme non binaires) tout en renforçant les stéréotypes de genre dans le processus (tels que : si vous êtes médecin, vous êtes probablement un homme).

Le préjudice potentiel de cela dépend de comment et où Genderify a été appliqué. Si le service était intégré à un chatbot médical, par exemple, ses hypothèses sur le sexe des utilisateurs auraient pu conduire le chatbot à émettre des conseils médicaux trompeurs.

Heureusement, Genderify ne semblait pas viser à automatiser ce type de système, mais était principalement conçu pour être un outil de marketing. Comme le créateur de Genderify, Arevik Gasparyan, l'a déclaré sur Product Hunt : "Genderify peut obtenir des données qui vous aideront dans l'analyse, l'amélioration de vos données clients, la segmentation de votre base de données marketing, les statistiques démographiques, etc."

Dans la même section de commentaires, Gasparyan a reconnu les préoccupations de certains utilisateurs concernant les préjugés et l'ignorance des individus non binaires, mais n'a offert aucune réponse concrète.

Un utilisateur a demandé : "Disons que je choisis de ne m'identifier ni comme un homme ni comme une femme, comment abordez-vous cela ? Comment éviter la discrimination sexuelle ? Comment luttez-vous contre les préjugés sexistes ? » À quoi Gasparyan a répondu que le service prend ses décisions sur la base de "bases de données binaires de noms/genres déjà existantes" et que la société "recherchait activement des moyens d'améliorer l'expérience des visiteurs transgenres et non binaires" en "séparant les concepts de nom/nom d'utilisateur/e-mail de l'identité de genre. » C'est une réponse déroutante étant donné que toute la prémisse de Genderify est que ces données sont un indicateur fiable de l'identité de genre.

La société a déclaré à The Verge que le service était très similaire aux entreprises existantes qui utilisent des bases de données de noms pour deviner le sexe d'un individu, bien qu'aucune d'entre elles n'utilise l'IA.

"Nous comprenons que notre modèle ne fournira jamais de résultats idéaux et que l'algorithme nécessite des améliorations significatives, mais notre objectif était de créer une IA auto-apprenante qui ne sera pas biaisée comme toutes les solutions existantes", a déclaré un représentant par e-mail. "Et pour que cela fonctionne, nous nous sommes beaucoup appuyés sur les commentaires des visiteurs transgenres et non binaires pour nous aider à améliorer au mieux nos algorithmes de détection de genre pour la communauté LGBTQ+."