Incidents associés
L'année dernière a été une sombre année record pour la violence contre les personnes transgenres, et la [Human Rights Campaign](https://www.hrc.org/resources/fatal-violence-against-the-transgender-and-gender- non-conforming-community-in-2022) suit des données qui montrent que 2022 est sur un rythme similaire. En dehors de la violence physique, d'autres formes d'attaques peuvent également nuire à ces personnes. Une partie de ces dommages provient de la technologie d'entreprise, en particulier autour de questions telles que la confidentialité des données, la reconnaissance faciale, la formation et la surveillance de l'intelligence artificielle (IA).
L'utilisation de la biométrie en particulier se développe rapidement en tant que secteur du paysage technologique. Un rapport du Biometrics Institute a révélé que « plus de 90 % des professionnels de l'industrie ont convenu que la biométrie sera le catalyseur clé pour ancrer l'identité numérique et qu'il continuera d'y avoir une croissance significative des systèmes mobiles de vérification d'identité à distance et de la technologie d'intégration à distance.
Mais, à mesure que cette technologie se développe, de graves problèmes éthiques liés à l'IA, tant dans sa formation que dans son application à des cas d'utilisation, continuent d'émerger.
Utilisation abusive des données
Une équipe de recherche dirigée par le professeur Karl Ricanek de l'Université de Caroline du Nord, Wilmington - [il y a plusieurs années] (https://www.theverge.com/2017/8/22/16180080/transgender-youtubers-ai-facial-recognition -dataset) - a travaillé sur des recherches liées à la reconnaissance faciale en utilisant des vidéos de transition que des personnes transgenres avaient téléchargées sur YouTube pour un soutien et des informations intercommunautaires. Ricanek et son équipe menaient la recherche, propulsés par une affirmation selon laquelle les traitements hormonaux substitutifs (THS) pourraient être utilisés illégalement par des criminels et des terroristes pour esquiver la détection du système de surveillance.
Le but de la recherche elle-même a depuis attiré les critiques d'experts comme Os Keyes, un Ph.D. candidat au département de [conception et ingénierie centrées sur l'homme] de l'Université de Washington (https://www.washington.edu/news/people/os-keyes/), qui étudie l'éthique des données, l'IA médicale, la reconnaissance faciale, le genre et sexualité.
"Cette idée équivaut à dire:" Et si les gens essayaient de déjouer la détection en évitant un détecteur de hauteur? Et s'ils l'avaient fait en se coupant les jambes? », A demandé Keyes. "Insinuer que vous feriez cela sur un coup de tête, c'est mal comprendre les choses."
Auparavant, en réponse aux critiques, Ricanek avait déclaré à [The Verge](https://www.theverge.com/2017/8/22/16180080/transgender-youtubers-ai-facial-recognition-dataset#:~:text=First %2C%20c'est%20il y a trois%20ans%20.) que "l'ensemble de données lui-même n'était qu'un ensemble de liens vers des vidéos YouTube, plutôt que les vidéos elles-mêmes ; deuxièmement, qu'il ne l'a jamais partagé avec qui que ce soit à des fins commerciales… et troisièmement, qu'il a cessé d'y accéder il y a trois ans. »
Keyes et Jeanie Austin, titulaire d'un doctorat. en [bibliothèque et sciences de l'information] (https://ischool.illinois.edu/people/jeanie-austin) de l'Université de l'Illinois à Urbana-Champaign - ont depuis examiné le travail de Ricanek ensemble dans le but de rechercher des biais algorithmiques et des ensembles de données audit à des fins universitaires.
Ce qu'ils ont trouvé, et ont depuis publié, était bien plus que cela.
Ce que Ricanek et son équipe ont précédemment affirmé à propos de l'ensemble de données HRT de reconnaissance faciale UNC-Wilmington et de tous les actifs liés à sa confidentialité, ainsi qu'au consentement des personnes dont les vidéos ont été utilisées pour cela, était faux.
À partir d'une collection d'informations recueillies par Keyes et Austin via une demande de documents publics qui comprenait environ 90 e-mails et pièces jointes de Ricanek et de son équipe, quatre aspects importants ont été découverts.
L'équipe de l'UNC-Wilmington "n'a aucune trace de participants contactés et a explicitement reconnu que certains ne l'avaient pas fait ; contrairement à leurs assurances, redistribuaient les vidéos complètes, même après que les vidéos aient été retirées de la vue du public, en 2015 ; il a évité la responsabilité de supprimer les images de personnes transgenres publiées sans consentement, et ; a laissé les vidéos complètes dans un compte Dropbox non protégé jusqu'à ce que notre équipe de recherche les contacte en 2021 », ont écrit Keyes et Austin dans un document partagé avec VentureBeat.
Keyes et Austin, tous deux identifiés comme trans, mais aucun n'était un sujet dans l'ensemble de données UNC-Wilmington.
"Bien qu'aucun de nous ne soit inclus dans l'ensemble de données, nous le voyions tous les deux comme un exemple de la violence qui peut survenir lorsque les pratiques existantes - la surveillance et le surexamen des corps et des vies trans - commencent à résonner avec les nouvelles technologies", ont-ils déclaré. ont écrit dans leur recherche universitaire intitulée "Feeling Fixes", qui vient d'être publiée dans la revue Big Data & Society. "Nous avons cherché à comprendre les circonstances de la création, de l'utilisation et de la redistribution de l'ensemble de données, afin de cartographier cette violence et (éventuellement) de l'améliorer."
Le jeu de données
L'ensemble de données de l'UNC-Wilmington se concentrait uniquement sur 38 personnes, mais Keyes et Austin ont découvert qu'il contenait plus d'un million d'images fixes tirées des vidéos YouTube des 38 personnes transgenres dans lesquelles ils racontaient à quoi ressemblaient leur processus de transition et leurs expériences.
En outre, ils ont constaté que dans les vidéos de l'ensemble de données, "toutes celles que nous pouvions identifier étaient fournies sous la licence YouTube standard, qui interdisait explicitement la réutilisation et la redistribution du contenu en dehors de YouTube en tant que plate-forme au moment où les images étaient capturées", ont-ils écrit.
Ricanek, en réponse, a admis à VentureBeat que toutes les personnes contactées dans les vidéos n'avaient pas donné leur consentement, mais voulait clarifier plusieurs choses, notamment que l'ensemble de données n'était pas utilisé à des fins de formation et que la recherche ne concernait pas la communauté transgenre. , mais plutôt sur la façon dont la morphologie peut modifier le visage de quelqu'un et quelles en sont les implications.
"Premièrement, vous ne pouvez pas utiliser 32, 38, 50 ou même 100 sujets pour construire un système de reconnaissance faciale. Ce n'est pas possible. Deuxièmement, les données n'ont jamais été utilisées pour la formation. Nous n'avons jamais tenté de créer un jeu de données d'entraînement pour entraîner une IA. Il n'a été utilisé que pour évaluer les algorithmes de pointe actuels », a-t-il déclaré. « Il a été développé par des chercheurs financés par le gouvernement américain. Un autre a été utilisé par une solution commerciale qui avait des contrats avec le gouvernement américain.
Ricanek a précisé que l'ensemble de données, même s'il se trouvait dans une Dropbox non protégée, avait une URL unique et que les données n'étaient publiées nulle part et qu'il aurait été difficile pour tout internaute aléatoire d'y accéder sur un coup de tête. Il a dit que bien que son étudiant post-doctorant travaillant avec lui ait configuré la Dropbox, il n'était pas au courant de cela et qu'il s'agissait d'une méthode non officielle et était reconnaissant que Keyes et Austin l'aient portée à son attention. Il l'a fait retirer immédiatement lorsque les deux l'ont contacté après l'avoir trouvé en 2021.
La demande d'enregistrement public de Keyes et Austin contredit Ricanek et montre qu'il a été mis en copie des e-mails concernant la Dropbox il y a des années, et en outre que l'ensemble de données a été distribué.
"Nous avons été frappés par l'ampleur de la diffusion de l'ensemble de données, y compris dans des disciplines ayant leurs propres antécédents de transphobie et auprès d'universitaires qui manquaient probablement des connaissances de base nécessaires pour contextualiser de manière critique la création de l'ensemble de données", ont-ils écrit dans leurs conclusions. "Les dossiers contenaient 16 demandes d'ensemble de données - toutes approuvées - de 15 institutions couvrant sept pays."
Cependant, Ricanek a déclaré à VentureBeat que la distribution de l'ensemble de données n'était pas large.
"En ce qui concerne la communauté [transgenre], c'est probablement plus que cela n'aurait dû arriver", a-t-il noté, "Mais ce n'est pas une large utilisation des données pour être tout à fait honnête." Il a également affirmé qu'il l'avait fait auparavant. ont eu des contacts avec certaines des 38 personnes incluses dans l'ensemble de données et ont eu des conversations sur la façon dont elles ont été touchées, réitérant qu'il ne voulait pas dire de mal.
S'il pouvait changer les choses, Ricanek a dit qu'il ne recommencerait pas.
«Je ne ferais probablement pas ce travail. Je veux dire, c'est une très petite fraction du travail que j'ai fait dans la totalité de ma carrière - moins de 1 % de ce que j'ai fait dans la totalité de ma carrière », a-t-il déclaré.
Bien qu'il s'agisse au mieux d'un cas de négligence, a déclaré Austin, il est important de ne pas perdre de vue le problème plus large ici.
«Le plus gros problème ne concerne pas Ricanek en tant que personne. Il s'agit de la manière dont cette recherche a été menée et diffusée et du nombre de personnes qui ont été blessées en cours de route », ont-ils déclaré. "C'est quelque chose sur lequel nous voulions vraiment nous concentrer."
Keyes a accepté, ajoutant que «le fait que la société traite de manière disproportionnée les personnes trans comme dangereuses et qu'elles méritent d'être surveillées et objectivées… prendre ces vidéos puis les utiliser pour former un logiciel qui suppose que les gens pourraient être suspects de prendre des médicaments trans, que les gens pourraient être dangereux qu'ils doivent être surveillés, de prendre les réponses des personnes trans, c'est de les transformer à nouveau en objets.
Malheureusement, ce n'est certainement pas la première fois que les intentions ou les données biométriques sur la communauté LGBTQ+ tournent mal dans l'industrie technologique, ce qui a un impact sur les communautés marginalisées.
D'autres instances de dommages technologiques qui ont été causés à des individus de la communauté transgenre vont de cas d'incapacité à vérifier correctement leur propre identité pour les comptes bancaires, les pièces d'identité et les vérifications de documents, ce qui peut empêcher ces personnes d'accéder potentiellement aux services nécessaires comme les hôpitaux, etc.
Mina Hunt Burnside, titulaire d'un doctorat. candidate à l'Université d'Utrecht qui étudie le genre et la technologie, a fait des recherches sur ce qui précède.
"J'ai rassemblé des recherches sur les mesures de l'IMC - qui ne sont pas nécessairement la forme de biométrie la plus avancée sur le plan technologique. C'est vraiment intéressant quand on regarde son histoire, à quel point c'est arbitraire. Les points de données originaux ont été tirés des compagnies d'assurance, et ont en effet été pris des compagnies d'assurance au 20e siècle jusqu'à ce qu'ils soient finalement convenus… Mais j'en parle parce que ce que cela finit par faire, c'est que cela devient une cause très courante de refuser aux personnes trans services », a-t-elle déclaré.
"J'ai eu un ami récemment qui s'est vu refuser une opération chirurgicale de plus de cinq kilogrammes ou quelque chose comme ça à cause d'un marqueur biométrique…. Il y a un argument selon lequel c'était peut-être mauvais pour sa santé, mais nous savons avec certitude que refuser aux personnes trans de tels soins de santé a des résultats quantifiables très mortels. Donc, BMI, ce genre de chose arbitraire… est tout à coup, 200 ans plus tard, utilisé pour refuser les chirurgies aux personnes trans masculines à Toronto », a déclaré Hunt Burnside.
Au-delà des soins de santé, la vérification biométrique peut également avoir des implications pour les personnes qui tentent de mettre à jour leurs documents. Selon l'enquête nationale sur la discrimination transgenre, seuls 21 % des personnes transgenres déclarent avoir pu mettre à jour toutes les pièces d'identité et tous les enregistrements nécessaires avec leur nouveau genre.
Sans avoir accès à des systèmes capables de reconnaître et d'identifier correctement leur sexe, il peut être difficile de lutter contre les fausses identifications à partir d'algorithmes ou d'outils biométriques.
Steve Ritter, CTO de Mitek, une société de vérification d'identité numérique qui utilise la biométrie, a expliqué que la société avait eu un incident il y a quelque temps où elle avait découvert que lorsqu'une carte d'identité californienne était scannée , le code-barres au verso qui contient des informations permettant de vérifier les informations d'une personne déformait un code d'identité de genre dans le système de l'entreprise.
Lors de la numérisation, X aurait dû représenter "non binaire", cependant, il renvoyait le nombre neuf plutôt qu'un "X". L'entreprise s'est rendu compte que même ce petit écart empêchait probablement une personne identifiée comme non binaire sur son permis de conduire californien de ne pas faire authentifier son identité par les systèmes de Mitek.
Une fois l'écart identifié, Ritter et son équipe ont travaillé pour résoudre le problème et le notent maintenant comme une leçon importante pour les autres dans le domaine de la biométrie ou de la vérification d'identité.
"Bien sûr, il n'y avait aucun parti pris délibéré là-dedans, mais une simple erreur que nous avons détectée et que nous avons constatée aurait pu conduire les personnes de quatre ou neuf individus binaires, par exemple, à être moins susceptibles d'être approuvées pour un compte bancaire en le canal en ligne », a déclaré Ritter. «Alors peut-être qu'ils devraient aller dans la succursale ou quelque chose comme ça – c'est un exemple qui, à mon avis, est vraiment important parce que ce sont des choses de tous les jours qui ont un impact sur la vie. À mesure que la société évolue, la technologie doit suivre ce changement.
Points à retenir pour les leaders technologiques, les chercheurs et l'entreprise
Chercheurs à l'intersection du genre et de la technologie 20practices.%20In) que « les technologies biométriques ne sont pas actuellement exemptes de dynamiques d'exclusion. Bien qu'ils soient largement considérés comme neutres et objectifs, ils reposent sur des compréhensions simplistes et problématiques de la relation entre l'identité et le corps, et se concentrent de manière disproportionnée sur certains corps par rapport à d'autres. Cela constitue un problème critique d'inégalité, en particulier pour les personnes qui sont déjà dans une position marginalisée.
Le Centre national pour l'égalité des transgenres a noté que pour les entreprises utilisant la technologie biométrique à quelque titre que ce soit ou qui collectent des données dans l'espoir d'éliminer plutôt que de créer des préjugés, il est toujours important de garder à l'esprit comment ces systèmes peuvent et font du mal.
"Les humains ne peuvent pas déterminer de manière cohérente qui est transgenre ou non binaire et qui est cisgenre, et lorsqu'ils tentent de le faire, ils s'appuient sur des stéréotypes et des hypothèses sur la façon dont les gens s'habillent, parlent et bougent. Un système d'IA développé par des humains ne fera que perpétuer ces mêmes stéréotypes et hypothèses », a déclaré Olivia Hunt, directrice des politiques au National Center for Transgender Equality.
Hunt a souligné ce que plusieurs chercheurs ci-dessus ont également mentionné et a ajouté que «les systèmes d'IA ne devraient pas tenter d'attribuer un sexe aux individus en fonction de leur apparence, car la seule autorité sur le sexe d'un individu donné est cet individu. S'appuyer sur un système d'IA pour ce faire entraînera inévitablement que les personnes trans seront mal identifiées, mal comprises et potentiellement privées des services gouvernementaux et commerciaux dont elles ont à la fois besoin et auxquels elles ont droit.