Problema 1440

Algunas empresas de tecnología causan sensación cuando se lanzan, otras parecen fracasar.

Genderify, un nuevo servicio que prometía identificar el género de alguien analizando su nombre, dirección de correo electrónico o nombre de usuario con la ayuda de la IA, parece estar firmemente en el último campo. La compañía lanzó Product Hunt la semana pasada, pero llamó mucho la atención en las redes sociales cuando los usuarios descubrieron sesgos e imprecisiones en sus algoritmos.

Escriba el nombre "Meghan Smith" en Genderify, por ejemplo, y el servicio ofrece la evaluación: "Hombre: 39,60%, Mujer: 60,40%". Cambia ese nombre a “Dr. Meghan Smith”, sin embargo, y la evaluación cambia a: “Hombre: 75,90%, Mujer: 24,10%”. Otros nombres con el prefijo "Dr" producen resultados similares, mientras que las entradas parecen generalmente sesgadas por los hombres. Se dice que “Test@test.com” es 96,90 por ciento masculino, por ejemplo, mientras que “Mrs Joan smith” es 94,10 por ciento masculino.

La protesta contra el servicio ha sido tan grande que Genderify le dice a The Verge que se cerrará por completo. “Si la comunidad no lo quiere, tal vez fue justo”, dijo un representante por correo electrónico. Genderify.com se ha desconectado y ya no se puede acceder a su API gratuita.

Sesgo de IA en acción: https://t.co/vRM53tEUMs pic.twitter.com/YgLON4vpT8

– miguel (@mpchlets) 28 de julio de 2020

Aunque este tipo de sesgos aparecen regularmente en los sistemas de aprendizaje automático, la irreflexión de Genderify parece haber sorprendido a muchos expertos en el campo. La respuesta de Meredith Whittaker, cofundadora del AI Now Institute, que estudia el impacto de la IA en la sociedad, fue algo típica. "¿Estamos siendo trolleados?" ella preguntó. “¿Es esta una operación psicológica destinada a distraer al mundo de la tecnología y la justicia? ¿Ya es el día de los tontos de abril de la tecnología vergonzosa?

HACER SUPOSICIONES SOBRE EL GÉNERO DE LAS PERSONAS A ESCALA PUEDE SER DAÑINO

El problema no es que Genderify haya hecho suposiciones sobre el género de alguien en función de su nombre. La gente hace esto todo el tiempo y, a veces, comete errores en el proceso. Es por eso que es educado averiguar cómo las personas se identifican a sí mismas y cómo quieren que se dirijan a ellas. El problema con Genderify es que automatizó estas suposiciones; aplicándolos a escala mientras clasifica a las personas en un binario masculino/femenino (y, por lo tanto, ignora a las personas que se identifican como no binarias) mientras refuerza los estereotipos de género en el proceso (como: si eres médico, probablemente seas un hombre).

El daño potencial de esto depende de cómo y dónde se aplicó Genderify. Si el servicio se integró en un chatbot médico, por ejemplo, sus suposiciones sobre los géneros de los usuarios podrían haber llevado a que el chatbot emitiera consejos médicos engañosos.

Afortunadamente, Genderify no parecía tener como objetivo automatizar este tipo de sistema, sino que fue diseñado principalmente para ser una herramienta de marketing. Como dijo el creador de Genderify, Arevik Gasparyan, en Product Hunt: "Genderify puede obtener datos que lo ayudarán con el análisis, mejorando los datos de sus clientes, segmentando su base de datos de marketing, estadísticas demográficas, etc.".

En la misma sección de comentarios, Gasparyan reconoció las preocupaciones de algunos usuarios sobre el sesgo y el hecho de ignorar a las personas no binarias, pero no ofreció ninguna respuesta concreta.

Un usuario preguntó: “Digamos que elijo identificarme como hombre o mujer, ¿cómo abordan esto? ¿Cómo evitar la discriminación de género? ¿Cómo estás abordando el sesgo de género?”. A lo que Gasparyan respondió que el servicio toma sus decisiones basándose en “bases de datos binarias de nombre/género ya existentes”, y que la empresa estaba “buscando activamente formas de mejorar la experiencia de los visitantes transgénero y no binarios” al “separar los conceptos de nombre/nombre de usuario/correo electrónico de identidad de género.” Es una respuesta confusa dado que toda la premisa de Genderify es que estos datos son un indicador confiable de la identidad de género.

La compañía le dijo a The Verge que el servicio era muy similar a las compañías existentes que usan bases de datos de nombres para adivinar el género de una persona, aunque ninguna de ellas usa IA.

“Entendemos que nuestro modelo nunca proporcionará resultados ideales y que el algoritmo necesita mejoras significativas, pero nuestro objetivo era construir una IA de autoaprendizaje que no esté sesgada como ninguna solución existente”, dijo un representante por correo electrónico. “Y para que funcione, confiamos en gran medida en los comentarios de los visitantes transgénero y no binarios para ayudarnos a mejorar nuestros algoritmos de detección de género lo mejor posible para la comunidad LGBTQ+”.