Incidentes Asociados
Solo unas horas después de hacer olas y provocar una reacción violenta en las redes sociales, Genderify, una herramienta impulsada por IA diseñada para identificar el género de una persona mediante el análisis de su nombre, nombre de usuario o dirección de correo electrónico, se cerró por completo.
Lanzada la semana pasada en el sitio web de exhibición de nuevos productos Product Hunt, la plataforma se presentó como una "solución única que es la única de su tipo disponible en el mercado", lo que permite a las empresas "obtener datos que lo ayudarán con el análisis, mejorando su datos de clientes, segmentación de su base de datos de marketing, estadísticas demográficas”, según el creador de Genderify, Arevik Gasparyan.
Las enérgicas críticas a Genderify despegaron rápidamente en Twitter, y muchos denunciaron lo que percibían como sesgos incorporados. Ingresar la palabra "científico", por ejemplo, arrojó una probabilidad del 95,7 por ciento de que la persona sea hombre y solo un 4,3 por ciento de probabilidad de que sea mujer. Ali Alkhatib, investigador del Centro de Ética de Datos Aplicados, tuiteó que cuando escribió "profesor", Genderify predijo una probabilidad del 98,4 por ciento para hombres, mientras que la palabra "estúpido" arrojó una predicción del 61,7 por ciento para mujeres. En otros casos, agregar un prefijo "Dr" a los nombres femeninos de uso frecuente resultó en evaluaciones sesgadas para los hombres.
El sitio web de Genderify incluía una sección que explicaba cómo recopilaba sus datos en función de fuentes como información gubernamental y de redes sociales. Antes del cierre, el equipo de Genderify tuiteó: "Dado que la IA se entrenó con los datos existentes, este es un excelente ejemplo para mostrar cuán sesgados son los datos disponibles a nuestro alrededor".
Los problemas relacionados con el género y otros sesgos en los sistemas de aprendizaje automático (ML) no son nuevos y han generado inquietudes a medida que más y más sistemas potencialmente sesgados se están convirtiendo en aplicaciones del mundo real. La cofundadora de AI Now Institute, Meredith Whittaker, parecía sorprendida de que Genderify hubiera llegado a un comunicado público, tuiteando: “De ninguna manera. ¿Estamos siendo trolleados? ¿Es esta una operación psicológica destinada a distraer al mundo de la tecnología y la justicia? ¿Ya es el día de los inocentes de la tecnología vergonzosa? ¿O es que nombrar el problema una y otra vez no lo soluciona automáticamente si el poder y las ganancias dependen de que permanezca sin solucionar?
El mes pasado, la directora de investigación de aprendizaje automático de NVIDIA y la profesora del Instituto de Tecnología de California, Anima Anandkumar, tuitearon su preocupación cuando el instituto de investigación con sede en San Francisco, OpenAI, lanzó una API que ejecuta modelos GPT-3 que, según ella, producía textos que estaban "sorprendentemente sesgados". ”
OpenAI respondió que “los modelos generativos pueden mostrar resultados dañinos tanto abiertos como difusos, como lenguaje racista, sexista o pernicioso”, y que “este es un problema de toda la industria, lo que facilita que las organizaciones individuales abdiquen o difieran la responsabilidad. ” La compañía enfatizó que "OpenAI no lo hará" y publicó pautas de uso de API con heurística para desarrollar aplicaciones de manera segura. El equipo de OpenAI también se comprometió a revisar las aplicaciones antes de que se publiquen.
Hay un adagio en la comunidad informática: "si entra basura, sale basura". Los modelos alimentados con datos sesgados tenderán a producir predicciones sesgadas, y la preocupación es que muchos de estos modelos defectuosos se conviertan en aplicaciones y se comercialicen sin una revisión adecuada.
A raíz de la debacle de Genderify, muchos miembros de la comunidad de ML están reflexionando sobre lo que salió mal y cómo solucionarlo. El programador de investigación de la Universidad del Sur de California, Emil Hvitfeldt, lanzó un proyecto de GitHub, Genderify Pro, que argumenta que "asignar géneros es intrínsecamente inexacto" y "si es importante saber el género de alguien, pregúnteselo".