Incidentes Asociados
Una universidad anunció que había abandonado su herramienta de aprendizaje automático, utilizada para filtrar miles de solicitudes de doctorado, justo cuando los creadores del software daban una charla sobre el código y generaban críticas públicas.
El algoritmo GRADE fue desarrollado por un par de académicos de la Universidad de Texas en Austin, y se utilizó desde 2013 hasta este año para evaluar a quienes solicitan un doctorado en el respetado departamento de ciencias de la computación de la universidad estadounidense. El software se entrenó utilizando los detalles de los estudiantes previamente aceptados, con la idea de enseñarle al sistema a identificar a las personas que la escuela preferiría y destacarlas ante el personal que tomaría la decisión final sobre las solicitudes. Es probable que el programa detecte sesgos contra los solicitantes de ciertos antecedentes excluidos de esos datos históricos.
El código asignó a los aspirantes una puntuación de cero a cinco, y GRADE envió a aquellos con puntuaciones altas al personal de la universidad. El software, según sus creadores en un artículo que describe la tecnología, "redujo la cantidad de revisiones completas requeridas por solicitante en un 71 por ciento y, según una estimación conservadora, redujo el tiempo total dedicado a revisar archivos en al menos un 74 por ciento". Eso significa que los solicitantes mal calificados recibieron menos atención por parte del personal.
El departamento de compsci ahora se ha distanciado del algoritmo GRADE, primero diciendo que el código tenía el potencial de detectar sesgos injustos y luego diciendo que era difícil de mantener. “El Departamento de Ciencias de la Computación de la Universidad de Texas en Austin dejó de usar el evaluador de admisiones de posgrado (GRADE) a principios de 2020”, dijo un portavoz a The Register en un comunicado el lunes.
“El sistema se utilizó para organizar las admisiones de posgrado en el Departamento de Ciencias de la Computación entre los años académicos 2013 y 2019. Los investigadores desarrollaron el sistema estadístico en respuesta a un alto volumen de solicitantes de programas de posgrado en el departamento. Nunca se utilizó para tomar decisiones sobre la admisión o el rechazo de posibles estudiantes, ya que al menos una persona del departamento evalúa directamente a los solicitantes en cada etapa del proceso de revisión.
“Los cambios en el entorno de datos y software hicieron que el sistema fuera cada vez más difícil de mantener y se suspendió su uso. La escuela de posgrado trabaja con programas de posgrado y miembros de la facultad en todo el campus para promover revisiones de solicitudes holísticas eficientes y efectivas”.
Sin embargo, la decisión a principios de este año de dejar de usar GRADE para evaluar a los candidatos a doctorado en informática solo fue anunciada por el departamento en Twitter la semana pasada después de que el físico de plasma Yasmeen Musthafa [llamara la atención] (https://twitter.com/yasmmeme/status /1333670480574771201) a posibles fallas en el software de aprendizaje automático estadístico. Musthafa tuiteó sus críticas ampliamente compartidas el 30 de noviembre, el día antes de que los creadores de GRADE hicieran una presentación sobre su código en un evento virtual organizado por el Departamento de Física de la Universidad de Maryland. El día de la conferencia, UT Austin tuiteó que había abandonado el software:
TXCS está profundamente comprometida a abordar la falta de diversidad en nuestro campo. Somos conscientes del potencial de codificar el sesgo en sistemas basados en ML como GRADE, por lo que hemos dejado de depender de GRADE y ya no lo usamos como parte de nuestro proceso de admisión de graduados.
— Informática en UT Austin (@UTCompSci) 1 de diciembre de 2020
De hecho, este movimiento de limitación de daños se realizó cuando los diseñadores de GRADE, Austin Waters y Risto Miikkulainen, todavía estaban presentando su trabajo en el software a sus colegas a través de Zoom. Aunque la presentación generalmente no está disponible, los detalles técnicos y los efectos de GRADE se compartieron en forma de artículo [publicado] (https://ojs.aaai.org/index.php/aimagazine/article/view/2504) en Revista AI en 2014.
GRADE está capacitado en varias características para clasificar a los solicitantes, incluido su GPA, las universidades a las que asistió anteriormente, las cartas de recomendación, el área de interés de investigación y el asesor de la facultad con el que desean estudiar. Luego, el algoritmo compara esta información con los estudiantes de doctorado que el departamento ha aceptado previamente para predecir si es probable que se le otorgue un lugar a un solicitante o no. GRADE está diseñado para descartar a los posibles estudiantes más débiles para que la universidad pierda menos tiempo al tener que considerar cada solicitud en su totalidad. En otras palabras, actúa como un proceso de selección que ayuda al departamento a concentrarse en los estudiantes que parecen ser más prometedores.
“Si bien un revisor humano sigue analizando cada solicitud”, señaló el documento de 2014, “GRADE hace que el proceso de revisión sea mucho más eficiente. Esto es por dos razones. Primero, GRADE reduce el número total de revisiones completas de solicitudes que debe realizar el comité. Usando las predicciones del sistema, los revisores pueden identificar rápidamente una gran cantidad de candidatos débiles que probablemente serán rechazados y una cantidad menor de candidatos excepcionalmente fuertes".
El departamento de informática de UT Austin está clasificado entre los diez primeros de su tipo, y miles de los estudiantes luchan por un lugar en sus programas de posgrado.
Cuando The Register preguntó si a los solicitantes se les dijo explícitamente que sus solicitudes fueron revisadas por un algoritmo y que la universidad almacenó sus datos para volver a capacitar y mejorar su sistema para el año siguiente, UT Austin se negó a responder la pregunta. GRADE no parece haberse implementado para otros departamentos ni en otras universidades.
El profesor Miikkulainen, quien ayudó a inventar el algoritmo GRADE, dijo que la herramienta no estaba sesgada contra la raza o el género.
“En la medida en que pudimos medir el sesgo, encontramos que el proceso no agregó sesgos”, dijo a The Register. "En 2013, el sesgo aún no era un tema principal en la IA y había pocas técnicas disponibles, pero nuestra elección de método de aprendizaje creó una oportunidad: el modelo de regresión logística aprende a asignar pesos a las características de acuerdo con su importancia en la decisión. haciendo.
“Hicimos un experimento separado en el que incluimos el género y el origen étnico, y descubrimos que GRADE les asignaba cero pesos; en otras palabras, estas características no tenían poder predictivo, es decir, los revisores no las habían usado para tomar decisiones. Entonces, en la medida en que fue posible medir entonces, GRADE fue imparcial en esos aspectos”.
Sin embargo, la universidad se comprometió a dejar de usar GRADE en su proceso de admisión de graduados por temor a que pudiera estar sesgado, y esa opinión es compartida por otros académicos.
“Estaba escuchando la charla, y es cierto que durante la charla el departamento de compsci de UT Austin tuiteó que debido a preocupaciones de justicia, ya no lo usarían”, Steve Rolston, profesor de física en la Universidad de Maryland, le dijo a The Register.
Preocupado por el potencial de GRADE para dañar la solicitud de un estudiante, envió un correo electrónico asegurando a los estudiantes que el sistema no se implementaría en Maryland. “Según los oradores, el objetivo de GRADE era replicar las decisiones de su comité de admisiones y, de hecho, fue entrenado en datos anteriores del comité de admisiones”, dijo.
"Si bien es posible que haya tenido éxito en esa tarea específica, simplemente estaría replicando cualquier sesgo que existiera en las decisiones de los comités, y mucho menos el hecho de que los algoritmos de [aprendizaje automático] en realidad no dan ninguna guía sobre cómo ellos están clasificando cosas Cuando usaron GRADE, sus resultados siempre fueron verificados por un ser humano, pero me preocuparía que si le dicen que el algoritmo calificó a alguien bajo, inevitablemente influiría en su opinión y, por lo tanto, no era necesariamente un buen control. el sistema.
“Si bien el [aprendizaje automático] está bien para clasificar imágenes, por ejemplo, creo que es muy peligroso usarlo para cosas como la contratación o las admisiones. Cuando admitimos a alguien en el programa de posgrado, evaluamos su potencial para tener éxito, dado un conjunto limitado de datos de entrada, muchos de los cuales son subjetivos, [por ejemplo] cartas de recomendación. No existe un proceso cuantitativo para hacer tales identificaciones, por lo que es poco probable que un algoritmo sea útil”.
Miikkulainen confirmó a El Reg que UT Austin no tiene planes de implementar otro algoritmo de aprendizaje automático para procesar aplicaciones en el futuro.