Problema 2204

Los creadores de una controvertida herramienta que intentó usar la IA para predecir el género de las personas a partir de su identificador de Internet o dirección de correo electrónico cerraron su servicio después de una gran reacción violenta.

La aplicación Genderify se lanzó este mes e invitó a las personas a probarla gratis en su sitio web. Los internautas se horrorizaron cuando se dieron cuenta de lo sexista que era; estaba plagado de los estereotipos habituales, como asociar nombres de usuario o direcciones de correo electrónico que contenían "enfermera" más con mujeres que con hombres, mientras que "doctor" o "profesor" se consideraba más masculino que femenino. Eso significaba que las mujeres académicas, que obtuvieron el título de doctora o profesora, tenían más probabilidades de ser consideradas hombres por Genderify.

Ni siquiera puedo... pic.twitter.com/XmFh2nPo8B

— Ali Alkhatib (@_alialkhatib) 28 de julio de 2020

Muchos también se sintieron decepcionados de que Genderify encasillara a las personas en dos géneros, ignorando a aquellos que no se identifican como hombres o mujeres. Sasha Constanza-Chock, profesora asociada de Medios Cívicos en el Instituto de Tecnología de Massachusetts, explicó a The Register cómo esta clasificación binaria podría ser dañina si se usara, por ejemplo, para seleccionar publicidad dirigida para mostrar a las personas en línea.

“Piense en cómo se sentiría un hombre trans si fuera el blanco de anuncios de cosas estereotipadas de género femenino, o viceversa”, dijo Constanza-Chock. “O el daño en el costo de oportunidad de no mostrar anuncios de empleo a personas basándose en suposiciones de género equivocado”.

Además, la herramienta a menudo era incorrecta o francamente extraña. Por ejemplo, confiaba en que la presencia de la palabra "mujer" en un nick en línea indicaba que había más del 96 por ciento de posibilidades de que el internauta fuera hombre y menos del cuatro por ciento mujer.

Ehh pic.twitter.com/s3m1sFF5so

— Alex Betsos, marqués de Réagent (@ADrugResearcher) 28 de julio de 2020

Para demostrar cuán basura era la herramienta, alguien incluso ingresó el nombre del director de operaciones de Genderify, Arevik Gasparyan, que es mujer, para que el software lo analizara. Desafortunadamente, predijo con más del 91 por ciento de confianza que ella era, de hecho, un tipo.

El sitio web de Genderify ahora se ha cerrado (así es como [se veía] (https://web.archive.org/web/20200728165534/https://genderify.com/), gracias a Wayback Machine).

Sin embargo, antes de que se retirara el servicio, un portavoz de la plataforma le dijo a The Register que existen numerosas API similares de adivinación de género, alojadas en plataformas en la nube. "Varias empresas ya han estado proporcionando públicamente tecnología similar durante los últimos seis años, ¿alguna vez has oído que alguien resultó dañado al detectar su género?" dijo el hilandero.

Cuando The Register envió al personal de soporte del sitio web ejemplos de resultados tontos, Genderify admitió que su herramienta no siempre era perfecta. “Entendemos que nuestro modelo nunca proporcionará resultados ideales, y el algoritmo necesita mejoras significativas, pero nuestro objetivo era construir una IA de autoaprendizaje que no esté sesgada como ninguna solución existente”, dijo un representante.

Dijo que para que mejorara, necesitaba la ayuda de la comunidad LGBTQ: “Y para que funcionara, confiamos mucho en los comentarios de los visitantes transgénero y no binarios para ayudarnos a mejorar nuestros algoritmos de detección de género lo mejor posible. posible para la comunidad LGBTQ+”.

Al principio, Genderify trató de calmar a sus críticos actualizando las preguntas frecuentes en su sitio web para abordar la cuestión de cómo evitar la discriminación de género.

"Dado que las decisiones de nuestro modelo de IA se basan en bases de datos binarias de nombre y género ya existentes, nuestro equipo de Producto está buscando activamente formas de mejorar la experiencia para visitantes transgénero y no binarios. Por ejemplo, el equipo está trabajando para separar los conceptos de nombre /nombre de usuario/correo electrónico de identidad de género", dijo anteriormente su sitio.

Pero a medida que la furia de Internet caía sobre su cuenta de Twitter, la plataforma finalmente eliminó su herramienta por completo. “Después de este tipo de 'cálida' bienvenida, no estábamos seguros de si valía la pena nuestro tiempo y esfuerzos para hacer un cambio en la realidad sesgada existente”, dijo un hilandero a El Reg.