Incidentes Asociados
Amazon recientemente eliminó una herramienta de reclutamiento de inteligencia artificial (IA) experimental que se descubrió que estaba sesgada contra las mujeres. En este punto, espero que tenga algunas preguntas, como: ¿Qué es una herramienta de reclutamiento de IA y cómo funciona? ¿Por qué estaba sesgado contra las mujeres? Trataré de responderlas por usted a continuación.
La herramienta de reclutamiento de IA
Seguro que has oído hablar de los reclutadores humanos. Son casamenteros entre los empleadores y los empleados potenciales. Viajan, envían correos electrónicos fríos y hacen "redes" en conferencias y ferias de trabajo. Cuando los reclutadores hacen una combinación exitosa, les pagan, a veces una de las partes, a veces ambas. Como puede ver, este baile de emparejamiento suele ser costoso y requiere mucho tiempo. Seguramente la tecnología puede ayudar, ¿verdad? Un reclutador humano puede revisar como máximo unas pocas docenas de candidatos por día, antes de que se canse. Por el contrario, la inteligencia artificial puede "leer" miles de aplicaciones en segundos y clasificarlas según los criterios deseados, mostrando a los candidatos más prometedores en la parte superior. Entonces, es comprensible que, en comparación con un reclutador humano, un reclutador de IA sea más eficiente en términos de tiempo y costos. Y ahora que el reclutador humano no necesita filtrar y clasificar a los candidatos, puede dedicar su tiempo a llegar a los mejores candidatos y atraerlos para que acepten una oferta. ¡Qué buen trabajo en equipo entre los reclutadores humanos y de IA!
Desafortunadamente, las cosas nunca son tan simples. ¿Cómo podemos asegurarnos de que el reclutador de IA sea justo con todos los candidatos? ¿Puede ofrecer explicaciones de por qué no sugirió a ninguna mujer para una determinada oferta de trabajo? Para responder a estas nuevas preguntas, debemos entender cómo la herramienta de IA “aprende” a hacer su trabajo.
Todo comienza con un gran conjunto de solicitudes de empleo de "capacitación". Durante años, las empresas han exigido a los solicitantes de empleo que presenten todos sus materiales en línea. Por ejemplo, si ha estado en el mercado laboral académico, probablemente se le pidió que cargara su currículum, carta de presentación y cartas de recomendación en un sitio web como AcademicJobsOnline.org. Las grandes corporaciones como Amazon y Google, a diferencia de las universidades, administran sus propios sitios de solicitud de empleo. Por lo tanto, con el tiempo, han acumulado miles y miles de materiales de solicitud, todos en formato electrónico. Además, han registrado qué solicitantes tuvieron éxito en sus búsquedas de trabajo. Por lo tanto, tienen ejemplos de los materiales presentados por los solicitantes que fueron contratados y por los solicitantes que fueron rechazados. Luego, esta información se entrega a la herramienta de IA para "aprender" las características que reflejan a un candidato exitoso. En el caso de la herramienta de Amazon, la IA "aprendió" que palabras como "ejecutado" y "capturado" en un currículum se correlacionan con el éxito. Mientras tanto, también "aprendió" que la presencia de una frase como "mujer" (como en "mujer capitana de ajedrez") se correlaciona con el rechazo, por lo que se degradó el currículum correspondiente.
La inteligencia artificial, a pesar de toda la exageración (salvará el planeta) y todo el miedo (matará a la humanidad), en realidad no es inteligente. No tiene idea de lo que significa una palabra como "mujeres" y cómo se corresponde con entidades en el mundo real. Este tipo de IA solo es bueno para detectar patrones y encontrar relaciones en los datos que le proporcionamos. Entonces, los datos que proporcionamos a la IA, y lo que le decimos que haga con ellos, es lo que más importa.
¿Por qué la herramienta de IA estaba sesgada contra las mujeres?
Los empleados de Amazon que hablaron con Reuters de forma anónima dijeron que la herramienta de inteligencia artificial rebajó las solicitudes de los graduados de dos universidades para mujeres, sin especificar qué universidades. Este detalle es lo que me impulsó a escribir sobre la herramienta.
Soy una profesora de ciencias de la computación que enseña Inteligencia Artificial en Wellesley College, que es una universidad para mujeres. Como es típico en una universidad de artes liberales, mis estudiantes no solo toman cursos de ciencias de la computación y matemáticas para su especialización, sino también cursos de ciencias sociales, artes y humanidades, cursos con títulos como "Introducción a los estudios de género y de la mujer", " Casi tocando el cielo: historias de la mayoría de edad de las mujeres”, o “De Mumbet a Michelle Obama: la historia de las mujeres negras”. Ellos son más propensos que muchos otros estudiantes a tener la frase "mujeres" en sus materiales de solicitud de empleo. Algunos de estos estudiantes incluso podrían haber estado en el grupo de solicitantes considerados como "no dignos de ser reclutados" por la herramienta de IA de Amazon.
Todos los días, me paro frente a aulas llenas de mujeres inteligentes, ansiosas por aprender sobre la belleza y el poder de los algoritmos. Me duele saber que un jugador importante como Amazon creó y usó algoritmos que, en última instancia, podrían haberse usado para aplastar sus sueños de dejar su huella en el mundo al negarles la oportunidad de unirse a los equipos de ingenieros que están diseñando y construyendo nuestras tecnologías presentes y futuras.
¿Por qué la herramienta de IA rebajó los currículos de las mujeres? Dos razones: datos y valores. Los trabajos para los que la herramienta de inteligencia artificial no recomendaba a las mujeres estaban en el desarrollo de software. El desarrollo de software se estudia en informática, disciplina cuyas matrículas han