Incidentes Asociados
La profesora Margaret Boden, investigadora de inteligencia artificial y ciencias cognitivas, se tomó el tiempo para hablarme en 2010 sobre computadoras, inteligencia artificial, moralidad y el futuro. Una de las historias que me contó vuelve a mí de vez en cuando, más recientemente por el último fracaso de Microsoft para anticipar el resultado de lanzar su bot de chat, Tay, en el mundo, solo para verlo volverse racista en menos de 24 horas.
A principios de los años 80, la Escuela de Medicina del Hospital St George's en Londres decidió automatizar partes de su flujo de trabajo de admisiones. El proceso existente consumía mucho tiempo y era costoso. Antes de invitar a los solicitantes a las entrevistas, se evaluó su idoneidad inicial en función de sus calificaciones, clases tomadas y otros criterios. Era esa etapa la que iba a ser automatizada.
Se ideó un sistema estadístico para ponderar esos diferentes criterios. El programa seleccionaría a los candidatos de más alto rango para invitarlos a una entrevista. Una vez que se completó el diseño inicial, se capacitó al programa para ajustar la ponderación que otorgaba a diferentes criterios en función de los conjuntos de datos de admisión de años anteriores. Se enseñó para lograr resultados consistentes con la forma en que el personal humano seleccionaría a los estudiantes potenciales.
El programa se utilizó entre 1982 y 1986, hasta que en 1986 dos miembros del personal se quejaron ante la Comisión para la Igualdad Racial. El programa había aprendido a discriminar a las solicitantes no blancas y mujeres. A aquellos con códigos postales que traicionaban su origen de clase trabajadora también se les dio menor prioridad en el proceso de selección.
La historia que hace las noticias: The Age, 26 de febrero de 1988.
La cita del portavoz de la Comisión para la Igualdad Racial en ese momento fue condenatoria:
El programa de computadora de St George simplemente reprodujo la discriminación que ya practicaban los selectores, y no hay razón para creer que los selectores de St George's fueran más discriminatorios que los selectores de otros lugares.
— The Age, 26 de febrero de 1988 (énfasis mío)
Eso fue en los años 80. Más ça cambio.