Incidentes Asociados
El año pasado fue un año sombrío y récord de violencia contra las personas transgénero, y la [Campaña de Derechos Humanos](https://www.hrc.org/resources/fatal-violence-against-the-transgender-and-gender- non-conforming-community-in-2022) está rastreando datos que muestran que 2022 va a un ritmo similar. Además de la violencia física, otras formas de ataques también pueden dañar a estas personas. Parte de ese daño proviene de la tecnología empresarial, específicamente en torno a cuestiones como la privacidad de los datos, el reconocimiento facial, el entrenamiento y la vigilancia de la inteligencia artificial (IA).
El uso de la biometría en particular está creciendo rápidamente como un sector del panorama tecnológico. Un informe del Biometrics Institute encontró que, "Más del 90% de los profesionales de la industria acordaron que la biometría será el habilitador clave para anclar la identidad digital y que seguirá habiendo un crecimiento significativo en los sistemas móviles de verificación de identidad remota y la tecnología de incorporación remota”.
Pero, a medida que esta tecnología crece, continúan surgiendo graves problemas éticos de IA tanto en el entrenamiento como en su aplicación a los casos de uso.
Uso indebido de datos
Un equipo de investigación dirigido por el profesor Karl Ricanek en la Universidad de Carolina del Norte, Wilmington — [hace varios años](https://www.theverge.com/2017/8/22/16180080/transgender-youtubers-ai-facial-recognition -conjunto de datos): trabajó en investigaciones relacionadas con el reconocimiento facial utilizando videos de transición que las personas transgénero habían subido a YouTube para obtener apoyo e información entre comunidades. Ricanek y su equipo estaban realizando la investigación, impulsados por la afirmación de que los delincuentes y terroristas podrían utilizar los tratamientos de terapia de reemplazo hormonal (TRH) de forma ilícita para eludir la detección del sistema de vigilancia.
Desde entonces, el propósito de la investigación en sí ha recibido críticas de expertos como Os Keyes, Ph.D. candidato en el departamento de [diseño e ingeniería centrados en el ser humano] de la Universidad de Washington (https://www.washington.edu/news/people/os-keyes/), que investiga ética de datos, IA médica, reconocimiento facial, género y sexualidad.
“Esta idea es como el equivalente a decir: ‘¿Qué pasaría si las personas intentaran vencer la detección evadiendo un detector de altura? ¿Y si lo hicieran cortándose las piernas?’, preguntó Keyes. “Insinuar que harías esto por capricho es malinterpretar drásticamente las cosas”.
Anteriormente, en respuesta a las críticas, Ricanek le dijo a [The Verge](https://www.theverge.com/2017/8/22/16180080/transgender-youtubers-ai-facial-recognition-dataset#:~:text=First %2C%20que%20los,tres%20años%20hace.) que, “el conjunto de datos en sí era solo un conjunto de enlaces a videos de YouTube, en lugar de los videos en sí; segundo, que nunca lo compartió con nadie con fines comerciales… y tercero, que dejó de dar acceso a él por completo hace tres años”.
Keyes y Jeanie Austin, quien tiene un Ph.D. en biblioteconomía y ciencias de la información de la Universidad de Illinois en Urbana-Champaign, desde entonces han analizado el trabajo de Ricanek en un esfuerzo por investigar el sesgo algorítmico y el conjunto de datos auditoría con fines académicos.
Lo que encontraron, y desde entonces publicaron, fue mucho más que eso solo.
Lo que Ricanek y su equipo afirmaron anteriormente acerca de que el conjunto de datos HRT de reconocimiento facial UNC-Wilmington y todos los activos relacionados eran privados, además de tener el consentimiento de las personas cuyos videos se usaron para ello, era falso.
A partir de una recopilación de información recopilada por Keyes y Austin a través de una solicitud de registros públicos que incluía alrededor de 90 correos electrónicos y archivos adjuntos de correos electrónicos de Ricanek y su equipo, se descubrieron cuatro aspectos importantes.
El equipo de UNC-Wilmington, “no tiene registros de participantes contactados, y reconoció explícitamente que algunos no los tenían; contrariamente a sus garantías, redistribuyeron los videos completos, incluso después de que los videos se quitaron de la vista del público, en 2015; evitó la responsabilidad de eliminar imágenes de personas transgénero publicadas sin consentimiento, y; dejó los videos completos en una cuenta de Dropbox sin protección hasta que nuestro equipo de investigación los contactó en 2021”, escribieron Keyes y Austin en un documento compartido con VentureBeat.
Keyes y Austin, ambos se identifican como trans, pero tampoco eran sujetos en el conjunto de datos de UNC-Wilmington.
“Aunque ninguno de nosotros está incluido en el conjunto de datos, ambos lo vimos como un ejemplo de la violencia que puede ocurrir cuando las prácticas existentes (la vigilancia y el examen excesivo de los cuerpos y las vidas trans) comienzan a resonar con las nuevas tecnologías”, dijeron. escribió en su investigación académica titulada "Feeling Fixes", que acaba de publicarse en la revista Big Data & Society. “Tratamos de comprender las circunstancias de la creación, el uso y la redistribución del conjunto de datos, para mapear esa violencia y (posiblemente) mejorarla”.
el conjunto de datos
El conjunto de datos de UNC-Wilmington se centró solo en 38 personas, pero Keyes y Austin descubrieron que contenía más de 1 millón de imágenes fijas tomadas de los videos de YouTube de las 38 personas transgénero en las que narraban cómo fueron su proceso de transición y sus experiencias.
Además, encontraron que en los videos del conjunto de datos "todos los que pudimos identificar se proporcionaron bajo la licencia estándar de YouTube, que prohibía explícitamente reutilizar y redistribuir el contenido fuera de YouTube como plataforma en el momento en que se capturaron las imágenes", escribieron.
Ricanek, en respuesta, admitió a VentureBeat que no todas las personas contactadas en los videos dieron su consentimiento, pero quería aclarar varias cosas, entre ellas, que el conjunto de datos no se usó con fines de capacitación y que la investigación no era sobre la comunidad transgénero. , sino más bien sobre cómo la morfología puede alterar la cara de alguien y cuáles podrían ser las implicaciones de eso.
“Primero, no puedes usar 32, 38, 50 o incluso 100 sujetos para construir cualquier sistema de reconocimiento facial. No es posible. En segundo lugar, los datos nunca se utilizaron para la formación. Nunca intentamos crear un conjunto de datos de entrenamiento para entrenar una IA. Solo se usó para evaluar los algoritmos actuales de última generación”, dijo. “Fue desarrollado por investigadores que fueron financiados por el gobierno de los Estados Unidos. Otro fue utilizado por una solución comercial que tenía contratos con el gobierno de los Estados Unidos”.
Ricanek aclaró que el conjunto de datos, aunque había estado en un Dropbox desprotegido, tenía una URL única y que los datos no estaban publicados en ninguna parte y habría sido difícil que cualquier usuario de Internet al azar pudiera acceder a ellos por capricho. Dijo que aunque su estudiante de posdoctorado que trabajaba con él había configurado Dropbox, él no estaba al tanto de esto y que era un método no oficial y estaba agradecido de que Keyes y Austin le llamaran la atención. Hizo que lo quitaran inmediatamente cuando los dos lo contactaron después de encontrarlo en 2021.
La solicitud de registro público de Keyes y Austin contradice a Ricanek y muestra que recibió una copia en los correos electrónicos sobre Dropbox hace años, y además que el conjunto de datos se había distribuido.
“Nos sorprendió la amplitud con la que se había extendido el conjunto de datos, incluso en disciplinas con sus propias historias de transfobia y entre académicos que probablemente carecían de los conocimientos previos necesarios para contextualizar críticamente la creación del conjunto de datos”, escribieron en sus hallazgos. “Los registros contenían 16 solicitudes del conjunto de datos, todas aprobadas, de 15 instituciones de siete países”.
Sin embargo, Ricanek le dijo a VentureBeat que la distribución del conjunto de datos no era amplia.
"En lo que respecta a la comunidad [transgénero], probablemente es más de lo que debería haber sucedido", señaló, "pero para ser honesto, no es un uso amplio de los datos". tuvo contacto con algunas de las 38 personas incluidas en el conjunto de datos y tuvo conversaciones sobre cómo se vieron afectados, reiterando que no pretendía dañar.
Si pudiera cambiar las cosas, Ricanek dijo que no volvería a hacer esto.
“Probablemente no haría este cuerpo de trabajo. Quiero decir, es una fracción muy pequeña del trabajo que [hice] en la totalidad de mi carrera, menos del 1% de lo que he hecho en la totalidad de mi carrera”, dijo.
Aunque en el mejor de los casos se trata de un caso de negligencia, dijo Austin, es importante no perder de vista el problema más amplio aquí.
“El problema más grande no se trata de Ricanek como persona. Se trata de la forma en que se realizó y distribuyó esta investigación y cuántas personas resultaron perjudicadas en el camino”, dijeron. “Eso es algo en lo que realmente queríamos centrarnos”.
Keyes estuvo de acuerdo y agregó que, “El hecho de que la sociedad trate de manera desproporcionada a las personas trans como peligrosas y que vale la pena vigilar y cosificar… tomar esos videos y luego usarlos para entrenar software que asume que las personas pueden ser sospechosas de tomar medicamentos trans, que las personas pueden ser peligrosas que necesitan ser vigilados, de tomar las respuestas de las personas trans es convertirlas en objetos una vez más”.
Desafortunadamente, esta no es la primera vez que las intenciones biométricas o los datos sobre la comunidad LGBTQ+ salen mal en la industria de la tecnología, impactando como resultado a las comunidades marginadas.
Otras [instancias] (https://www.accessnow.org/how-ai-systems-undermine-lgbtq-identity/) de daños tecnológicos que se han causado a las personas de la comunidad transgénero van desde instancias de no poder verificar adecuadamente sus propias identidades para cuentas bancarias, identificaciones y verificaciones de documentos que pueden evitar que estas personas accedan potencialmente a servicios necesarios como hospitales, etc.
Mina Hunt Burnside, Ph.D. candidato en la Universidad de Utrecht que estudia [género y tecnología] (https://graduategenderstudies.nl/mina-hunt-burnside/), ha realizado investigaciones sobre lo anterior.
“Reuní la investigación para las métricas de IMC, que obviamente no es necesariamente la forma biométrica tecnológicamente más avanzada. Es realmente interesante cuando miras la historia, lo arbitrario que es. Los puntos de datos originales se tomaron de las compañías de seguros y, de hecho, se tomaron de las compañías de seguros en el siglo XX hasta que finalmente se acordaron... Pero menciono esto porque lo que termina haciendo es que se convierte en una causa muy común para negar a las personas trans servicios”, dijo.
“Hace poco tuve un amigo al que se le negó una cirugía de unos cinco kilogramos o algo así debido a un marcador biométrico…. Existe un argumento de que tal vez fue malo para su salud, pero sabemos con certeza que negarles a las personas trans esa atención médica tiene resultados cuantificables muy mortales. Entonces, el IMC, este tipo de cosa arbitraria... de repente, 200 años después, se usa para negar cirugías a personas trans masculinas en Toronto”, dijo Hunt Burnside.
Más allá de la atención médica, la verificación biométrica también puede tener implicaciones para las personas que intentan actualizar sus documentos. Según la Encuesta nacional sobre discriminación de personas transgénero, solo el 21% de las personas transgénero informan que han podido actualizar todas las identificaciones y registros necesarios con sus nuevo género.
Sin tener acceso a sistemas que puedan reconocer e identificar adecuadamente su género, combatir las identificaciones falsas de algoritmos o herramientas biométricas puede ser un desafío.
Steve Ritter, CTO de Mitek, una empresa de verificación de identidad digital que utiliza datos biométricos, explicó que la empresa tuvo un incidente hace un tiempo en el que descubrió que cuando se escaneaba una identificación de California , el código de barras en la parte posterior que contiene información para verificar la información de alguien estaba tergiversando un código de identidad de género en el sistema de la empresa.
Cuando se escaneó, X debería haber representado "no binario", sin embargo, estaba devolviendo el número nueve en lugar de una "X". La compañía se dio cuenta de que incluso esta pequeña discrepancia probablemente estaba causando que alguien que se identificó como no binario en su licencia de conducir de California no tuviera su identidad autenticada por los sistemas de Mitek.
Una vez que se identificó la discrepancia, Ritter y su equipo trabajaron para resolver el problema y ahora lo toman como una lección importante para otros en el espacio biométrico o de verificación de identidad.
“Por supuesto, no hubo un sesgo intencional en eso, sino un simple error que detectamos y descubrimos que podría haber llevado a que personas de cuatro o nueve personas binarias, por ejemplo, tuvieran menos probabilidades de ser aprobadas para una cuenta bancaria en el canal en línea”, dijo Ritter. “Entonces, tal vez tendrían que ir a la sucursal o algo así; es un ejemplo que creo que es realmente importante porque estas son cosas cotidianas que impactan vidas. A medida que la sociedad cambia, la tecnología debe mantenerse al día con ese cambio”.
Conclusiones para los líderes tecnológicos, los investigadores y la empresa
Investigadores en la intersección de género y tecnología [guión bajo](https://www.tmgonline.nl/articles/10.18146/2213-7653.2018.368/#:~:text=biometric%20technologies%20are%20currently,century%20research% 20prácticas.%20In) que “las tecnologías biométricas en la actualidad no están exentas de dinámicas excluyentes. Si bien en general se los considera neutrales y objetivos, se basan en interpretaciones simplistas y problemáticas de la relación entre la identidad y el cuerpo, y se centran desproporcionadamente en algunos cuerpos sobre otros. Esto forma un problema crítico de desigualdad, especialmente para las personas que ya se encuentran en una posición marginada”.
El Centro Nacional para la Igualdad Transgénero señaló que para las empresas que usan tecnología biométrica en cualquier capacidad o que recopilan datos con la esperanza de eliminar en lugar de crear sesgos, aún es importante tener en cuenta cómo estos sistemas pueden y hacen daño.
“Los humanos no pueden determinar de manera consistente quién es transgénero o no binario y quién es cisgénero, y cuando intentan hacerlo, se basan en estereotipos y suposiciones sobre cómo se visten, hablan y se mueven las personas. Un sistema de IA desarrollado por humanos solo perpetuará estos mismos estereotipos y suposiciones”, dijo Olivia Hunt, directora de políticas del Centro Nacional para la Igualdad Transgénero.
Hunt subrayó lo que los varios investigadores mencionados anteriormente también mencionaron y agregó que “los sistemas de IA no deberían intentar asignar un género a las personas en función de la apariencia porque la única autoridad sobre el género de cualquier individuo es ese individuo. Confiar en un sistema de inteligencia artificial para hacerlo inevitablemente dará como resultado que las personas trans sean mal identificadas, malinterpretadas y potencialmente negadas los servicios gubernamentales y comerciales que necesitan y a los que tienen derecho”.