Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 1478

Incidents associés

Incident 1401 Rapport
ProctorU’s Identity Verification and Exam Monitoring Systems Provided Allegedly Discriminatory Experiences for BIPOC Students

Loading...
Les étudiants du BIPOC sont désavantagés par le logiciel de surveillance des examens à l'Université de Toronto
thestrand.ca · 2021

En réponse aux manifestations de George Floyd, Meric Gertler, le président de l'Université de Toronto, a condamné les «injustices systémiques» du racisme anti-noir «dans les termes les plus forts possibles».

« Le racisme n'est pas un problème que les communautés racialisées doivent combattre; cela a un impact sur tout le monde, et il est de notre responsabilité collective de travailler délibérément pour créer des espaces inclusifs qui soutiennent activement nos collègues », a déclaré la Dre Kelly Hannah-Moffat, vice-présidente, Ressources humaines et équité, UofT.

Mais depuis ces déclarations officielles en juin, l'UofT a poursuivi son partenariat avec les services de surveillance des examens qui, selon les décideurs, les professeurs et les étudiants, désavantagent les étudiants BIPOC (noirs, autochtones et personnes de couleur) en provoquant des frictions lors des évaluations auxquelles les étudiants blancs ne sont pas confrontés. .

En décembre, The Globe and Mail rapportait que Chelsea Okankwu, une étudiante de l'Université Concordia, avait fait face à un conflit inattendu lors de la vérification de son identité au début d'un examen, en raison du logiciel de surveillance ayant des difficultés à l'identifier, affirmant un éclairage insuffisant.

"Je me sentais juste comme le seul à être désavantagé, à être mis dans cet état d'esprit avant un examen", a déclaré Okankwu au Globe. Le Globe a noté que la bousculade a ajouté à son stress au début de l'examen.

Le stress supplémentaire du logiciel de surveillance des étudiants pendant les examens a été repris par Maame Adjoa, une majeure en santé mondiale de deuxième année à l'UofT et directrice du marketing du Victoria Black Student Network.

"J'ai observé que lors des processus d'enregistrement, le système d'IA était souvent incapable d'identifier mon passeport et j'étais redirigée vers mon surveillant humain pour les enregistrements manuels", a-t-elle écrit à The Strand. Ses tentatives pour que la webcam reconnaisse son passeport prendraient environ cinq de ses 15 minutes de temps d'enregistrement.

Elle a poursuivi: "Cela, en plus du balayage de la pièce à 360 degrés, de la preuve d'un téléphone inactif et d'un balayage complet de l'ordinateur, a considérablement amélioré l'atmosphère de stress déjà associée aux tests."

Les expériences d'Okanwu et d'Adjoa avec les logiciels de surveillance des tests sont corroborées par une vingtaine d'étudiants du BIPOC interrogés par le New York Times en septembre ; le San Francisco Chronicle en octobre ; et Reuters en novembre.

"Il est probable que les personnes qui seront signalées pour avoir potentiellement triché et qui devront passer par des suivis seront disproportionnellement susceptibles d'être afro-américaines et asiatiques, ce qui va au-delà de ce qui concerne", a déclaré l'avocate des droits civiques Christine Webber au Chronicle.

Ces rapports de sujets BIPOC confrontés à des expériences discriminatoires en raison d'un logiciel de reconnaissance faciale s'alignent sur la recherche en intelligence artificielle impliquant l'UofT, précédemment signalée par le bureau de presse de l'Université en février 2019.

"La technologie de reconnaissance faciale de l'IA a un biais intégré", a noté le titre du rapport sur la page Web des anciens de l'UofT. Il a poursuivi en louant Deb Raji pour avoir «tenu les entreprises responsables» en révélant ces conclusions de discrimination dans les logiciels.

Raji, alors étudiante de quatrième année en génie à l'UofT, a co-remporté un prix prestigieux pour ses recherches sur les biais systémiques avec le Media Lab du Massachusetts Institute of Technology. Raji a précédemment rappelé des expériences de discrimination dues à la technologie.

"Je construisais quelque chose lors d'un hackathon et je me demandais pourquoi il ne pouvait pas détecter mon visage, ou pourquoi un robinet automatisé ne pouvait pas détecter ma main", a-t-elle déclaré à UofT Engineering News. Raji a expliqué que ces biais technologiques se produisent souvent lorsque les ensembles de données utilisés pour former des modèles d'intelligence artificielle sous-représentent les individus BIPOC.

Le même mois de couverture de l'UofT sur Raji, le bureau des stratégies d'apprentissage en ligne de l'Université a publié un article de blog annonçant le partenariat de l'Université avec ProctorU et Examity, deux services de surveillance des examens visant à réduire la triche.

Dans un avis séparé sur ProctorU, le bureau a noté que "les instructeurs peuvent choisir d'utiliser dans les cours" différents "niveaux de service, de l'authentification automatisée à la surveillance en direct" avec le service.

Lorsqu'on lui a demandé comment l'entreprise assurait une expérience équitable pour les étudiants du BIPOC qui utilisent son logiciel, ProctorU a souligné son emploi de surveillants humains pour émettre des décisions finales sur l'identité des étudiants et vérifier l'intégrité des examens.

"Il est important de savoir que ProctorU n'est pas un" service de surveillance automatisé "", a écrit un porte-parole dans un e-mail à The Strand. "En fait, dans presque tous les cas et contrairement à la plupart des autres fournisseurs de surveillance à distance, ProctorU utilise un groupe diversifié de surveillants humains formés, assistés par la technologie, pour protéger l'intégrité des examens et aider les étudiants."

La déclaration de ProctorU contredit le langage de sa page Web sur les exigences techniques pour les utilisateurs de Chromebook. La société note sur la page Web que ProctorU prend en charge les utilisateurs de Chromebook "pour la surveillance automatisée", mais pas pour la "surveillance en direct".

"L'Université de Toronto a examiné et approuvé les systèmes et protocoles de ProctorU pour la surveillance des tests à distance", poursuit le courriel. "La technologie ne prend jamais la décision finale sur l'identité d'une personne, ni sur les violations potentielles de l'intégrité."

Examity n'a pas répondu à la demande de commentaire de The Strand. Examity note sur son site Web qu'il propose un service de "surveillance automatisée" "avec authentification automatique complète".

Des problèmes avec ces services ont également attiré l'attention des sénateurs américains. Six sénateurs démocrates, dont l'ancienne candidate à la présidentielle de 2020 Elizabeth Warren, ont écrit une lettre ouverte datée de décembre qui soulignait les problèmes de «vie privée, d'accessibilité et d'équité» avec la surveillance des examens, qui citait un rapport du New York Times sur un problème d'accessibilité avec un étudiant en utilisant ProctorU.

"Comme nous l'avons vu bien trop souvent, les étudiants se sont heurtés de front aux lacunes de ces technologies - des lacunes qui pèsent lourdement sur les communautés vulnérables et perpétuent les préjugés discriminatoires", ont écrit les sénateurs. "Les étudiants de couleur et les étudiants portant des vêtements religieux, comme des foulards, ont signalé des problèmes avec l'incapacité du logiciel à reconnaître leurs traits du visage, les empêchant temporairement d'accéder au logiciel."

Les décideurs ont également cité un article dans le MIT Technology Review de Shea Swauger, bibliothécaire universitaire et chercheuse universitaire à l'Université du Colorado à Denver, qui a exploré comment les services de surveillance à distance désavantagent les candidats racialisés ou handicapés dans le cadre de l'examen par les pairs. Revue de pédagogie hybride.

Dans une interview avec The Strand, Swauger a estimé que les tests automatisés n'étaient pas nécessaires à l'apprentissage. Il a noté que les éducateurs universitaires peuvent continuer à opter pour des évaluations à livre ouvert, qui, selon lui, offrent une meilleure évaluation de l'apprentissage au lieu de tests basés sur la mémorisation.

Il a également encouragé l'évaluation par la réalisation de projets à long terme par les étudiants, où ils reçoivent une rétroaction progressive des éducateurs au fil du temps. Il note que l'apprentissage par projet est beaucoup moins vulnérable à la triche que les examens, et prépare également le terrain pour que les étudiants acquièrent des «expériences significatives» dans leur éducation.

Swauger s'est également prononcé en faveur du soutien aux expériences de recherche de premier cycle - que l'UofT offre actuellement - en tant que «[travail] significatif ou tangible lié à ce que [les étudiants] veulent faire dans leur profession ou leur discipline» comme autre moyen d'évaluer les étudiants.

Tous les examens à l'UofT ne sont pas surveillés. Le Center for Teaching Support & Innovation de l'UofT a également reconnu les inconvénients des examens surveillés en ligne. Une page Web du Centre note : "Envisagez la surveillance en ligne uniquement pour des situations ou des besoins uniques, compte tenu des défis logistiques supplémentaires et des problèmes d'équité potentiels liés à l'accès à la technologie nécessaire".

Cependant, cet avis est présenté comme une recommandation plutôt qu'un règlement. L'Université de Toronto n'a toujours pas de politique à l'échelle de l'université sur la surveillance en ligne, contrairement aux politiques établies par l'Université McGill.

«McGill n'utilise pas de logiciel de surveillance», a déclaré le Dr Christopher Buddle, vice-recteur aux programmes d'enseignement et universitaires, dans une entrevue avec le McGill Reporter. "Au lieu de cela, l'Université encourage les évaluations qui sont moins sujettes à la triche car elles exigent que les étudiants s'engagent avec le matériel et démontrent leurs capacités à utiliser et à appliquer les connaissances de manière appropriée. Non seulement ceux-ci sont plus difficiles à tricher, mais l'évaluation est mieux alignée sur les résultats d'apprentissage souhaités.

Interrogé sur la raison pour laquelle les responsables de l'UofT ont continué à utiliser les services de surveillance numérique alors que l'Université McGill a décidé de ne pas utiliser ce logiciel, un porte-parole de l'UofT a écrit à The Strand : « L'Université surveille en permanence les problèmes liés à la surveillance électronique. Nous avons lu [le rapport du Globe] que vous avez partagé avec attention. L'équité, la diversité et l'inclusion sont fondamentales pour nos environnements d'apprentissage et d'enseignement.

«Bien que l'Université de Toronto ait des contrats existants avec Examity et ProctorU, nous n'avons actuellement aucun département de programme menant à un diplôme ou faculté utilisant Examity. Seul un petit nombre d'unités - principalement dans les programmes professionnels - utilisent ProctorU », a poursuivi le porte-parole. «C'est la décision des facultés ou des divisions individuelles d'utiliser ces services. Les directives claires de l'administration de l'Université sont que la surveillance électronique ne devrait pas être le premier ou le seul moyen par lequel les divisions cherchent à assurer l'intégrité académique des évaluations.

"Tous les problèmes signalés par le système de surveillance électronique sont examinés en premier lieu par des instructeurs", a ajouté le porte-parole, et a souligné que l'UofT "offre une formation contre le racisme et les préjugés inconscients à tous les membres de notre communauté".

Le Dr George Dei, professeur à l'Institut d'études pédagogiques de l'Ontario de l'UofT qui étudie l'antiracisme dans l'éducation, a maintenu l'accent sur l'importance de remettre en question de manière critique l'utilisation des logiciels de surveillance, dans un courriel à The Strand.

"Nous savons que la technologie a pour habitude de perpétuer différentes formes d'oppression, y compris le racisme", a-t-il écrit. "COVID a dévoilé de nombreuses inégalités dans l'éducation et les tests en sont encore une autre."

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd