Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 1539

Incidents associés

Incident 1671 Rapport
Researchers' Homosexual-Men Detection Model Denounced as a Threat to LGBTQ People’s Safety and Privacy

Loading...
Pourquoi les chercheurs de Stanford ont essayé de créer une machine « Gaydar »
nytimes.com · 2017

Michal Kosinski a estimé qu'il avait de bonnes raisons d'enseigner à une machine à détecter l'orientation sexuelle.

Une start-up israélienne avait commencé à colporter un service qui prédisait les tendances terroristes sur la base d'une analyse faciale. Les entreprises chinoises développaient des logiciels de reconnaissance faciale non seulement pour attraper des criminels connus, mais aussi pour aider le gouvernement à prédire qui pourrait ensuite enfreindre la loi.

Et tout autour de la Silicon Valley, où le Dr Kosinski travaille comme professeur à la Stanford Graduate School of Business, les entrepreneurs parlaient de visages comme s'ils étaient de l'or attendant d'être extrait.

Peu semblaient inquiets. Alors, pour attirer l'attention sur les risques pour la vie privée, il a décidé de montrer qu'il était possible d'utiliser l'analyse de reconnaissance faciale pour détecter quelque chose d'intime, quelque chose que "les gens devraient avoir le plein droit de garder privé".

Après avoir envisagé l'athéisme, il a opté pour l'orientation sexuelle.

S'il a maintenant créé "A.I. gaydar », et s'il s'agit même d'une question éthique, a fait l'objet de vifs débats au cours des dernières semaines, depuis qu'une ébauche de son étude a été publiée en ligne.

Présenté avec des photos d'hommes homosexuels et d'hommes hétérosexuels, un programme informatique a pu déterminer lequel des deux était homosexuel avec une précision de 81%, selon le Dr Kosinski et l'article du co-auteur Yilun Wang.

La réaction a été féroce.

"J'imaginais que je donnerais l'alarme", a déclaré le Dr Kosinski dans une interview. "Maintenant, je paie le prix." Il venait d'avoir une réunion avec la police du campus "à cause du nombre de menaces de mort".

Des groupes de défense comme Glaad et la Human Rights Campaign ont dénoncé l'étude comme une "science indésirable" qui "menace la sécurité et la vie privée des personnes LGBTQ et non LGBTQ".

Les auteurs ont "inventé l'équivalent algorithmique d'un tyran de 13 ans", a écrit Greggor Mattson, directeur du programme d'études sur le genre, la sexualité et le féminisme à l'Oberlin College. Il était l'un des dizaines d'universitaires, de scientifiques et d'autres qui ont mis à part l'étude dans des articles de blog et des tempêtes de Tweets.

Certains ont fait valoir que l'étude n'est que le dernier exemple d'une renaissance inquiétante de la physionomie alimentée par la technologie, la notion longtemps discréditée selon laquelle les traits de personnalité peuvent être révélés en mesurant la taille et la forme des yeux, du nez et du visage d'une personne.

Choix de l'éditeur

"L'homme du futur" raconte la vie d'un génie agité

Les Queer Young Comics redéfinissent l'humour américain

Pourquoi « Cyrano » est-il toujours aussi puissant ? Demandez à n'importe qui qui est aimé du tout.

Les chercheurs ont également leurs défenseurs, parmi lesquels LGBTQ Nation, qui a reproché à Glaad de ne pas comprendre « comment fonctionne la science ». Mais même eux n'ont pas été en mesure de s'entendre sur ce que l'outil a montré précisément.

Au cœur de la controverse se trouve une inquiétude croissante quant au potentiel d'utilisation abusive de l'analyse faciale et de distorsion des conclusions sur son efficacité.

En effet, peu d'affirmations faites par des chercheurs ou des entreprises vantant son potentiel ont été reproduites, a déclaré Clare Garvie du Centre sur la confidentialité et la technologie de l'Université de Georgetown.

"Au mieux, c'est une science très inexacte", a-t-elle déclaré à propos des promesses de prédire le comportement criminel, l'intelligence et d'autres traits de caractère à partir des visages. "Au pire, c'est du racisme par algorithme."

Apprendre à une machine à "voir" la sexualité

Le Dr Kosinski et M. Wang ont commencé par copier ou "gratter" des photos de plus de 75 000 profils de rencontres en ligne d'hommes et de femmes aux États-Unis. Ceux qui cherchaient des partenaires de même sexe étaient classés comme homosexuels ; ceux qui cherchaient des partenaires de sexe opposé étaient supposés être hétéros.

Quelque 300 000 images ont été réduites à 35 000 qui montraient clairement les visages et répondaient à certains critères. Tous étaient blancs, ont déclaré les chercheurs, car ils ne pouvaient pas trouver suffisamment de profils de rencontres de minorités gays pour générer un résultat statistiquement valide.

Les images ont été recadrées davantage, puis traitées via un réseau neuronal profond, un système mathématique en couches capable d'identifier des modèles dans de grandes quantités de données.

Le Dr Kosinski a déclaré qu'il n'avait pas construit son outil à partir de zéro, comme beaucoup l'ont suggéré; il a plutôt commencé avec un programme d'analyse faciale largement utilisé pour montrer à quel point il serait facile pour quiconque de réaliser quelque chose de similaire.

Le logiciel extrait des informations de milliers de points de données faciales, notamment la largeur du nez, la forme de la moustache, les sourcils, les coins de la bouche, la racine des cheveux et même des aspects du visage pour lesquels nous n'avons pas de mots. Il transforme ensuite les visages en nombres.

"Nous avons montré que ce modèle produit des chiffres légèrement différents pour les visages gays et hétéros", a déclaré le Dr Kosinski.

Les auteurs étaient alors prêts à opposer leur modèle de prédiction aux humains dans ce qui allait devenir une compétition gaydar notoire. Les humains et la machine ont reçu des paires de deux visages – un hétéro, un gay – et ont été invités à choisir qui était le plus probablement hétérosexuel.

Les participants, qui ont été achetés via Amazon Mechanical Turk, un fournisseur de tâches numériques, ont été invités à "utiliser le meilleur de votre intuition". Ils ont fait la bonne sélection 54% du temps pour les femmes et 61% du temps pour les hommes – un peu mieux que de lancer une pièce.

L'algorithme du Dr Kosinski, en comparaison, a choisi correctement 71 % du temps pour les femmes et 81 % pour les hommes. Lorsque l'ordinateur a reçu cinq photos pour chaque personne au lieu d'une seule, la précision est passée à 83 % pour les femmes et à 91 % pour les hommes.

Après que l'étude ait été référencée dans un article de The Economist, le chiffre de 91% a pris sa propre vie. Les gros titres « donnaient presque l'impression d'une radiographie qui peut dire si vous êtes hétéro ou gay », a déclaré le Dr Jonathan M. Metzl, directeur du Center for Medicine, Health, and Society de l'Université Vanderbilt.

Pourtant, aucun des scénarios ne ressemblait de loin à une analyse de personnes «dans la nature», comme l'a dit Mme Garvie. Et lorsque l'outil a été mis au défi avec d'autres scénarios - comme la distinction entre les photos Facebook d'hommes homosexuels et les photos de rencontres en ligne d'hommes hétérosexuels - la précision a chuté à 74%.

Il y a aussi le problème des faux positifs, qui affligent tout modèle de prédiction visant à identifier un groupe minoritaire, a déclaré William T.L. Cox, un psychologue qui étudie les stéréotypes à l'Université du Wisconsin-Madison.

Disons que 5% de la population est gay, soit 50 personnes sur 1 000. Un scanner facial précis à 91 % identifierait à tort 9 % des hétérosexuels comme homosexuels ; dans l'exemple ci-dessus, c'est 85 personnes.

Le logiciel confondrait également 9 % des homosexuels avec des hétéros. Le résultat : sur 130 personnes identifiées comme gays par le scan facial, 85 seraient en réalité hétérosexuelles.

"Quand un algorithme avec une précision de 91% fonctionne dans le monde réel", a déclaré le Dr Cox, "presque les deux tiers des fois, il dit que quelqu'un est gay, ce serait faux."

Il a noté dans un e-mail que "les algorithmes n'ont été formés et testés que sur des hommes blancs, américains, ouvertement homosexuels (et des comparaisons blanches, américaines, présumées droites)", et n'auraient donc probablement pas d'implications plus larges.

Ce qu'un visage révèle

Indépendamment de l'efficacité, l'étude soulève des questions épineuses sur les perceptions de l'orientation sexuelle.

Nicholas Rule, professeur de psychologie à l'Université de Toronto, étudie également la perception faciale. En utilisant des photos de profil de rencontres ainsi que des photos prises dans un laboratoire, il a constamment constaté que les photos d'un visage fournissent des indices sur toutes sortes d'attributs, y compris la sexualité et la classe sociale.

« L'intelligence artificielle peut-elle réellement dire si vous êtes gay à partir de votre visage ? C'est bizarre – ça ressemble à de la physionomie », a-t-il déclaré.

"Personnellement, je me sens encore parfois mal à l'aise, et je dois concilier cela en tant que scientifique - mais c'est ce que montrent les données", a déclaré le Dr Rule, qui est gay.

Cela ne veut pas dire que toutes les personnes LGBTQ ont les mêmes caractéristiques faciales, ou même qu'il n'y a que deux types de sexualité, a-t-il déclaré. Mais prétendre que l'orientation sexuelle est invisible « étouffe notre capacité à aborder l'inégalité ».

Étant donné que l'étude de Stanford était basée sur des photos de profil de rencontres - qui peuvent contenir toutes sortes d'indices supplémentaires sur les préférences - les résultats doivent être pris avec "pas seulement un grain, mais une cuillère à soupe de sel", a-t-il ajouté.

Le Dr Kosinski n'est pas étranger à l'attention. En 2013, il a publié une étude qui a montré que les "j'aime" de Facebook révèlent des attributs personnels inattendus.

Aimer les frites frisées, par exemple, était un prédicteur fiable d'une intelligence supérieure à la moyenne. Aimer le Wu-Tang Clan était un indice sur l'hétérosexualité masculine. Tous nos goûts en ligne, a déclaré le Dr Kosinski, nous ont rendus vulnérables au micro-ciblage par des candidats politiques, des entreprises et d'autres personnes aux intentions néfastes.

Quelques semaines après la publication, Facebook avait modifié ses paramètres par défaut, gardant les likes privés. "C'est très similaire" à la polémique sur son projet actuel, a-t-il dit. « J'essayais essentiellement d'avertir les gens. Les gens ne l'ont pas pris au sérieux. »

Une différence majeure, cependant, est que le Dr Kosinski n'a pas tenté d'expliquer pourquoi "aimer" les frites bouclées indiquait l'intelligence. C'était simplement un motif identifié par une machine.

Pour rendre compte d'un lien entre l'apparence et la sexualité, le Dr Kosinski est allé plus loin en s'appuyant sur ce que son étude a appelé "la théorie largement acceptée des hormones prénatales (P.H.T.) de l'orientation sexuelle", qui "prédit l'existence de liens entre l'apparence du visage et l'orientation sexuelle". ” déterminé par une exposition hormonale précoce.

L'idée qu'il est "largement accepté" a été rapidement contestée.

"Cette théorie est un gâchis", a déclaré Rebecca Jordan Young, présidente des études sur les femmes, le genre et la sexualité au Barnard College, qui a écrit un livre sur P.H.T. "Il y a plus de données contradictoires et négatives que de positives."

Même de nombreux experts qui soutiennent la théorie ont déclaré qu'ils ne voyaient pas comment une étude de photos de rencontres auto-sélectionnées montrait que les homosexuels avaient des visages atypiques, sans parler d'une théorie qui attribue des caractéristiques distinctives aux hormones.

La discussion de P.H.T. a fait paraître les auteurs déconnectés, a déclaré le Dr Cox: "La plupart des scientifiques du sexe conviennent qu'il n'y a pas de cause unique à l'orientation sexuelle."

Alors, qu'ont vu les machines ?

Le Dr Kosinski et M. Wang disent que l'algorithme répond aux traits faciaux fixes, comme la forme du nez, ainsi qu'aux «choix de toilettage», comme le maquillage des yeux.

Mais il est également possible que l'algorithme voie quelque chose de totalement inconnu.

"Plus il y a de données, mieux il détecte les modèles", a déclaré Sarah Jamie Lewis, une chercheuse indépendante sur la confidentialité qui a tweeté une critique de l'étude. "Mais les modèles ne sont pas nécessairement ceux que vous pensez qu'ils sont."

Tomaso Poggio, directeur du Center for Brains, Minds and Machines du MIT, a proposé une parabole classique utilisée pour illustrer cette déconnexion. L'armée a formé un programme pour différencier les chars américains des chars russes avec une précision de 100 %.

Ce n'est que plus tard que les analystes ont réalisé que les chars américains avaient été photographiés par une journée ensoleillée et que les chars russes avaient été photographiés par une journée nuageuse. L'ordinateur avait appris à détecter la luminosité.

Le Dr Cox en a repéré une version dans ses propres études sur les profils de rencontres. Les homosexuels, a-t-il découvert, ont tendance à publier des photos de meilleure qualité.

Le Dr Kosinski a déclaré qu'ils se sont donné beaucoup de mal pour garantir que ces facteurs de confusion n'influençaient pas leurs résultats. Pourtant, il a convenu qu'il est plus facile d'apprendre à une machine à voir qu'à comprendre ce qu'elle a vu.

L'étude est toujours sur la bonne voie pour être publiée par le Journal of Personality and Social Psychology, bien qu'aucune date n'ait été fixée. Le document avait déjà fait son chemin à travers le processus officiel d'examen par les pairs avant que des examinateurs non officiels ne commencent à le déchirer en lambeaux.

Une représentante de l'American Psychological Association, qui gère la revue, a nié que l'étude ait été placée sous "examen éthique" en raison du tumulte, comme certains rapports l'ont suggéré, bien qu'elle ait déclaré qu'une étape supplémentaire impliquant la paperasserie avait été franchie.

La réputation du Dr Kosinski peut être endommagée de façon permanente, a-t-il dit, mais il n'a aucun regret. Les responsables d'un pays où l'homosexualité est criminalisée pourraient bientôt se tourner vers l'analyse faciale pour identifier les hommes et les femmes homosexuels.

"La question est, pouvez-vous vivre avec vous-même si vous saviez que c'était possible et que vous ne l'aviez dit à personne?" Il a demandé.

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd