Incidentes Asociados
A medida que la IA se propague, este se convertirá en un tema cada vez más importante y controvertido:
Para una universidad británica, lo que comenzó como un ejercicio de ahorro de tiempo terminó en desgracia cuando un modelo de computadora configurado para optimizar su proceso de admisión expuso, y luego exacerbó, la discriminación racial y de género.
Como se detalla aquí en el British Medical Journal, el personal de la Escuela de Medicina del Hospital St George decidió escribir un algoritmo que automatizaría la primera ronda de su proceso de admisión. Las fórmulas utilizaron patrones históricos en las características de los candidatos cuyas solicitudes fueron tradicionalmente rechazadas para filtrar nuevos candidatos cuyos perfiles coincidieran con los de los candidatos menos exitosos.
Para 1979, la lista de candidatos seleccionados por los algoritmos coincidía en un 90-95% con los elegidos por el panel de selección, y en 1982 se decidió que toda la etapa inicial del proceso de admisión estaría a cargo del modelo. A los candidatos se les asignó una puntuación sin que sus solicitudes hubieran pasado por un solo par de ojos humanos, y esta puntuación se utilizó para determinar si serían entrevistados o no.
Aparte de las preocupaciones obvias que tendría un estudiante al descubrir que una computadora estaba rechazando su aplicación, se hizo un descubrimiento más inquietante. Los datos de admisión que se usaron para definir los resultados del modelo mostraron un sesgo contra las mujeres y las personas con nombres que no parecen europeos.
La verdad fue descubierta por dos profesores de St George's, y la universidad cooperó plenamente con una investigación de la Comisión para la Igualdad Racial, tomando medidas para garantizar que no volviera a ocurrir lo mismo y contactando a los solicitantes que habían sido seleccionados injustamente, en algunos casos incluso ofreciéndoles un lugar.