Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 1478

Incidentes Asociados

Incidente 1401 Reporte
ProctorU’s Identity Verification and Exam Monitoring Systems Provided Allegedly Discriminatory Experiences for BIPOC Students

Loading...
Los estudiantes de BIPOC enfrentan desventajas con el software de monitoreo de exámenes en la Universidad de Toronto
thestrand.ca · 2021

En respuesta a las protestas de George Floyd, Meric Gertler, presidente de la Universidad de Toronto, condenó las “injusticias sistémicas” del racismo contra los negros “en los términos más enérgicos posibles”.

“El racismo no es un problema para que las comunidades racializadas luchen; impacta a todos, y es nuestra responsabilidad colectiva trabajar decididamente para crear espacios inclusivos que apoyen activamente a nuestros colegas”, dijo la Dra. Kelly Hannah-Moffat, vicepresidenta de Recursos Humanos y Equidad de UofT.

Pero desde estas declaraciones oficiales en junio, UofT ha continuado su asociación con los servicios de monitoreo de exámenes que, según los legisladores, profesores y estudiantes, perjudican a los estudiantes BIPOC (negros, indígenas y personas de color) al causar fricciones durante las evaluaciones que no enfrentan los estudiantes que son blancos. .

En diciembre, The Globe and Mail informó que Chelsea Okankwu, una estudiante de la Universidad de Concordia, enfrentó un conflicto inesperado al verificar su identidad al comienzo de un examen, debido a que el software de monitoreo tuvo dificultades para identificarla, alegando iluminación insuficiente.

“Me sentí como el único en desventaja, con esa mentalidad antes de un examen”, dijo Okankwu a The Globe. The Globe notó que la lucha se sumó a su estrés al comienzo del examen.

El estrés adicional del software de monitoreo de estudiantes durante los exámenes fue repetido por Maame Adjoa, estudiante de segundo año en Salud Global en UofT y directora de marketing de The Victoria Black Student Network.

“Observé que durante los procesos de registro, el sistema de inteligencia artificial a menudo no podía identificar mi pasaporte y me redirigían a mi supervisor humano para realizar registros manuales”, escribió a The Strand. Sus intentos de hacer que la cámara web reconozca su pasaporte le tomaría alrededor de cinco de sus 15 minutos de tiempo de registro.

Continuó: "Esto, además del escaneo de la habitación de 360 [grados], la prueba de un teléfono inactivo y un barrido completo de la computadora, mejoró significativamente la atmósfera de estrés ya asociada con la realización de exámenes".

Las experiencias de Okanwu y Adjoa con el software de supervisión de exámenes están corroboradas por una veintena de estudiantes de BIPOC entrevistados por The New York Times en septiembre; el San Francisco Chronicle en octubre; y Reuters en noviembre.

“La probabilidad es que las personas que serán señaladas por hacer trampa y tengan que pasar por seguimientos sean desproporcionadamente afroamericanas y asiáticas, eso va más allá de la preocupación”, dijo la abogada de derechos civiles Christine Webber al Chronicle.

Estos informes de sujetos BIPOC que enfrentan experiencias discriminatorias debido al software de reconocimiento facial se alinean con la investigación de inteligencia artificial que involucra a UofT, informada previamente por la oficina de prensa de la Universidad en febrero de 2019.

"La tecnología de reconocimiento facial de IA tiene un sesgo incorporado", señaló el titular del informe en la página web de UofT Alumni. Continuó elogiando a Deb Raji por "responsabilizar a las empresas" al descubrir estos hallazgos de discriminación en el software.

Raji, entonces estudiante de ingeniería de cuarto año en la UofT, coganó un prestigioso premio por su investigación sobre el sesgo sistémico con el Laboratorio de Medios del Instituto Tecnológico de Massachusetts. Raji recordó anteriormente experiencias de discriminación debido a la tecnología.

“Construiría algo en un hackathon y me preguntaría por qué no puede detectar mi rostro, o por qué un grifo automático no puede detectar mi mano”, dijo a UofT Engineering News. Raji reflexionó que estos sesgos en la tecnología a menudo ocurren cuando los conjuntos de datos utilizados para entrenar modelos de inteligencia artificial subrepresentan a las personas BIPOC.

Ese mismo mes de la cobertura de UofT sobre Raji, la oficina de Estrategias de aprendizaje en línea de la Universidad publicó una publicación de blog que anunciaba la asociación de la Universidad con ProctorU y Examity, ambos servicios de monitoreo de exámenes con el objetivo de reducir las trampas.

En un aviso separado sobre ProctorU, la oficina señaló que "los instructores pueden optar por utilizar en los cursos" varios "niveles de servicio, desde la autenticación automatizada hasta la supervisión en vivo" con el servicio.

Cuando se le preguntó cómo la empresa garantiza una experiencia justa para los estudiantes de BIPOC que usan su software, ProctorU subrayó el empleo de supervisores humanos para emitir decisiones finales sobre la identidad de los estudiantes y verificar la integridad del examen.

"Es importante saber que ProctorU no es un 'servicio de supervisión automatizado'", escribió un portavoz en un correo electrónico a The Strand. “De hecho, en casi todos los casos y a diferencia de la mayoría de los otros proveedores de supervisión remota, ProctorU utiliza un grupo diverso de supervisores humanos capacitados, asistidos por tecnología, para salvaguardar la integridad del examen y ayudar a los estudiantes”.

La declaración de ProctorU contradice el lenguaje de su página web sobre los requisitos técnicos para los usuarios de Chromebook. La compañía señala en la página web que ProctorU es compatible con los usuarios de Chromebook "para supervisión automatizada", pero no para "supervisión en vivo".

“La Universidad de Toronto ha examinado y aprobado los sistemas y protocolos de ProctorU para la supervisión remota de pruebas”, continuó el correo electrónico. “La tecnología nunca toma la decisión final sobre la identidad de una persona, ni sobre posibles violaciones a la integridad”.

Examity no respondió a la solicitud de comentarios de The Strand. Examity señala en su sitio web que ofrece un servicio de "supervisión automatizada" "con autenticación automática integral".

Los problemas con estos servicios también han llamado la atención de los senadores estadounidenses. Seis senadores demócratas, incluida la excandidata presidencial de 2020 Elizabeth Warren, escribieron una carta abierta fechada en diciembre que destacaba cuestiones de "privacidad, accesibilidad y equidad" con el control de exámenes, que citaba un informe del New York Times sobre un problema de accesibilidad con un estudiante. utilizando Proctor U.

“Como hemos visto con demasiada frecuencia, los estudiantes se han encontrado con las deficiencias de estas tecnologías, deficiencias que recaen en gran medida en las comunidades vulnerables y perpetúan los sesgos discriminatorios”, escribieron los senadores. “Los estudiantes de color y los estudiantes que usan vestimenta religiosa, como pañuelos en la cabeza, informaron problemas con la incapacidad del software para reconocer sus rasgos faciales, lo que les impide acceder temporalmente al software”.

Los formuladores de políticas también citaron un artículo en MIT Technology Review de Shea Swauger, bibliotecaria universitaria e investigadora académica de la Universidad de Colorado Denver, quien exploró cómo los servicios de supervisión remota ponen en desventaja a los examinados que son racializados o tienen discapacidades en el examen revisado por pares. Revista Pedagogía Híbrida.

En una entrevista con The Strand, Swauger opinó que las pruebas automatizadas no son necesarias para el aprendizaje. Señaló que los educadores universitarios pueden continuar optando por evaluaciones de libro abierto, que según él ofrecen una mejor evaluación para el aprendizaje en lugar de pruebas basadas en la memorización.

También alentó la evaluación a través de la realización de proyectos a largo plazo por parte de los estudiantes, donde reciben comentarios incrementales de los educadores a lo largo del tiempo. Señala que el aprendizaje basado en proyectos es mucho menos vulnerable a las trampas que los exámenes, y también prepara el escenario para que los estudiantes obtengan "experiencias significativas" en su educación.

Swauger también se pronunció a favor del apoyo a las experiencias de investigación de pregrado, que actualmente ofrece UofT, como "[trabajo] significativo o tangible conectado con lo que [los estudiantes] quieren hacer en su profesión o disciplina" como otra forma de evaluar y evaluar a los estudiantes.

No todos los exámenes en UofT son supervisados. El Centro para la Innovación y el Apoyo a la Enseñanza de la UofT también ha reconocido los inconvenientes de los exámenes supervisados en línea. Una página web del Centro señala: "Considere la supervisión en línea solo para situaciones o necesidades únicas dados los desafíos logísticos adicionales y los posibles problemas de equidad relacionados con el acceso a la tecnología necesaria".

Sin embargo, este aviso se enmarca como una recomendación en lugar de una regulación. UofT sigue careciendo de una política universitaria sobre supervisión en línea, en contraste con las políticas establecidas por la Universidad McGill.

“McGill no usa software de supervisión”, dijo el Dr. Christopher Buddle, rector asociado de programas académicos y de enseñanza, en una entrevista con McGill Reporter. “En cambio, la Universidad fomenta las evaluaciones que están menos sujetas a trampas, ya que requieren que los estudiantes se involucren con los materiales y demuestren sus habilidades para usar y aplicar el conocimiento de manera adecuada. No solo son más difíciles de hacer trampa, sino que la evaluación está mejor alineada con los resultados de aprendizaje deseados”.

Cuando se le preguntó por qué los funcionarios de UofT continuaron usando los servicios de supervisión digital cuando la Universidad McGill decidió no usar este software, un portavoz de UofT escribió a The Strand: “La Universidad monitorea continuamente los problemas que surgen en torno a la supervisión electrónica. Hemos leído [el informe de The Globe] que compartió cuidadosamente. La equidad, la diversidad y la inclusión son fundamentales para nuestros entornos de aprendizaje y enseñanza”.

“Si bien la Universidad de Toronto tiene contratos vigentes tanto con Examity como con ProctorU, actualmente no tenemos ningún departamento de programas de grado o facultades que utilicen Examity. Solo una pequeña cantidad de unidades, en su mayoría en los programas profesionales, están usando ProctorU”, continuó el vocero. “Es la decisión de las Facultades o divisiones individuales si utilizar estos servicios. La guía clara de la administración de la Universidad es que la supervisión electrónica no debe ser la primera o la única forma en que las divisiones busquen garantizar la integridad académica en las evaluaciones”.

“Cualquier problema que marque el sistema de supervisión electrónica es revisado en primera instancia por los instructores”, agregó el portavoz, y destacó que UofT “ofrece capacitación contra el racismo y los prejuicios inconscientes a todos los miembros de nuestra comunidad”.

El Dr. George Dei, profesor del Instituto de Estudios en Educación de Ontario de la UofT que estudia el antirracismo en la educación, mantuvo el énfasis en la importancia de cuestionar críticamente el uso del software de supervisión, en un correo electrónico a The Strand.

“Sabemos que la tecnología tiene un patrón de perpetuar diferentes formas de opresión, incluido el racismo”, escribió. “COVID ha revelado muchas desigualdades en la educación y las pruebas son otra más”.

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd