Incidents associés
Un adolescent de Floride qui suit un cours de biologie dans un collège communautaire a reçu une note bouleversante cette année. Une start-up appelée Honorlock l'avait signalée comme agissant de manière suspecte lors d'un examen en février. Elle était, a-t-elle déclaré dans un e-mail au New York Times, une femme noire qui avait été « accusée à tort de malhonnêteté académique par un algorithme ».
Ce qui s'est passé, cependant, était plus compliqué qu'une simple erreur algorithmique. Cela impliquait plusieurs humains, la bureaucratie universitaire et un outil de détection faciale automatisé d'Amazon appelé Rekognition. Malgré une vaste collecte de données, y compris un enregistrement de la jeune fille de 17 ans et de son écran pendant qu'elle passait le test, l'accusation de tricherie était finalement un appel au jugement humain : regarder loin de l'écran signifiait-il qu'elle trichait ?
La pandémie a été une période de boom pour les entreprises qui surveillent à distance les candidats, car il est devenu un danger pour la santé publique de rassembler un grand groupe dans une pièce. Soudain, des millions de personnes ont été obligées de passer des examens, des tests et des quiz du barreau seuls à la maison sur leurs ordinateurs portables. Pour éviter la tentation de tricher et attraper ceux qui l'ont fait, les sociétés de surveillance à distance ont proposé des extensions de navigateur Web qui détectent les frappes et les mouvements du curseur, collectent l'audio du microphone d'un ordinateur et enregistrent l'écran et le flux de la caméra d'un ordinateur, apportant les méthodes de surveillance utilisées. par les forces de l'ordre, les employeurs et les agresseurs domestiques dans un cadre universitaire.
Honorlock, basé à Boca Raton, en Floride, a été fondé par un couple de diplômés d'écoles de commerce qui étaient [frustrés](https://www.palmbeachpost.com/story/news/education/2017/10/22/thinking-cheating -these-fau-students/6766379007/) par des camarades de classe qu'ils croyaient être des tests de jeu. La start-up a administré neuf millions d'examens en 2021, charge [about](https://jsu.instructure.com/courses/6885/quizzes/ 18114) 5 $ par test ou 10 $ par étudiant pour couvrir tous les tests du cours. Honorlock a levé 40 millions de dollars auprès d'investisseurs, dont la grande majorité depuis le début de la pandémie.
Garder les candidats honnêtes est devenu une industrie de plusieurs millions de dollars, mais Honorlock et ses concurrents, y compris ExamSoft, ProctorU et Proctorio, ont été confrontés à un revers majeur en cours de route : [l'activisme] répandu (https://www.baneproctoring.com/), médias [rapports](https://www.newyorker.com/tech/annals-of -technology/is-online-test-monitoring-here-to-stay) sur les problèmes de la technologie et même [une enquête du Sénat](https://www.blumenthal.senate.gov/newsroom/press/release/blumenthal-leads -appel-à-l'examen-virtuel-des-sociétés-de-logiciels-pour-améliorer-l'équité-l'accessibilité-et-la-confidentialité-des-étudiants-au milieu-des-rapports-troublants). Certains candidats surveillés ont été frustrés par [l'invasivité] du logiciel(https://news.bloomberglaw.com/privacy -and-data-security/proctor360-faces-class-action-for-collecting-student-biometrics), [problèmes](https://honisoit.com/2021/06/hundreds-of-students-affected-by- proctoru-malfunctions/), fausses allégations de [triche](https://www. vox.com/recode/2020/5/4/21241062/schools-cheating-proctorio-artificial-intelligence) et [échec](https://www.nytimes.com/2020/09/29/style/testing-schools -proctorio.html) pour fonctionner aussi bien pour [tous les types](https://healthydebate.ca/2021/ 03/topic/exam-software-disabilities/) de personnes.
L'adolescente de Floride est un exemple rare d'une tricheuse accusée qui a reçu les preuves contre elle : un extrait de 50 secondes de son enregistrement Honorlock d'une heure. Elle a demandé que son nom ne soit pas utilisé en raison de la stigmatisation associée à la malhonnêteté académique.
L'adolescente était en dernière année d'un programme spécial pour obtenir à la fois son diplôme d'études secondaires et son diplôme d'associé. Près de 40 autres étudiants étaient dans la classe de biologie de l'adolescent, mais ils ne se sont jamais rencontrés. La classe, du Broward College, était entièrement distante et asynchrone.
L'éducation en ligne asynchrone se développait même avant la pandémie. Il offre aux étudiants un horaire plus flexible, mais il a des inconvénients. L'année dernière, un étudiant en histoire de l'art qui avait une question sur une conférence enregistrée a tenté d'envoyer un e-mail à son professeur et a découvert que l'homme [était décédé près de deux ans plus tôt] (https://www.theverge.com/22262230/online-college -classe-covid-professeur-mort).
La professeure de biologie de l'adolescente de Floride, Jonelle Orridge, était vivante, mais distante, ses interactions avec les étudiants se faisant par e-mail, alors qu'elle attribuait des lectures et des vidéos YouTube. L'examen de février dernier était le deuxième que l'adolescent passait dans la classe. Elle a installé son ordinateur portable dans son salon à North Lauderdale en s'assurant de suivre une longue liste de règles énoncées dans le programme du cours et dans un menu déroulant Honorlock : ne pas manger ni boire, utiliser un téléphone, avoir d'autres dans le salle, regarder hors écran pour lire des notes, etc.
L'étudiante a dû poser devant l'appareil photo de son ordinateur portable pour une photo, montrer sa carte d'étudiant, puis prendre son ordinateur portable et utiliser son appareil photo pour fournir un balayage à 360 degrés de la pièce pour prouver qu'elle n'avait pas de matériel de contrebande. . Cela ne la dérangeait pas, a-t-elle dit, car elle espérait que les mesures empêcheraient les autres de tricher.
Elle pensait que le test s'était bien passé, mais quelques jours plus tard, elle a reçu un e-mail du Dr Orridge.
"Vous avez été signalé par Honorlock", a écrit le Dr Orridge. "Après examen de votre vidéo, vous avez été observé fréquemment regardant vers le bas et loin de l'écran avant de répondre aux questions."
Elle recevait un zéro à l'examen et l'affaire était renvoyée au doyen des affaires étudiantes. "Si vous êtes reconnu responsable de malhonnêteté académique, la note de zéro restera", a écrit le Dr Orridge.
"Ce doit être une erreur", a répondu l'étudiant dans un e-mail. «Je n'étais pas académiquement malhonnête. Regarder vers le bas n'indique pas la malhonnêteté académique.
Le New York Times a revu la vidéo. Les enregistrements Honorlock de plusieurs autres étudiants sont brièvement visibles dans la capture d'écran, avant la lecture de la vidéo de l'adolescent.
L'étudiante et son écran sont visibles, tout comme un journal partiel des horodatages, y compris au moins un drapeau rouge, qui est censé indiquer un comportement hautement suspect, juste une minute après le début de son test. Lorsque l'étudiante commence l'examen, à 8 h 29, elle fait défiler quatre questions, semblant baisser les yeux après avoir lu chacune d'elles, une fois pendant 10 secondes. Elle bouge légèrement. Elle ne répond à aucune des questions pendant le clip de 50 secondes.
Il est impossible de dire avec certitude ce qui se passe dans la vidéo. Ce que la technologie de l'intelligence artificielle a bien compris, c'est qu'elle a baissé les yeux. Mais pour faire quoi ? Elle pourrait regarder la table, un smartphone ou des notes. La vidéo est ambiguë.
Lorsque l'étudiante a rencontré le doyen et le Dr Orridge par vidéo, a-t-elle dit, elle leur a dit qu'elle baissait les yeux pour réfléchir et qu'elle tripotait ses mains pour rafraîchir sa mémoire. Ils n'ont pas été influencés. L'étudiante a été jugée « responsable » pour « non-respect des instructions », entraînant un zéro à l'examen et un avertissement à son dossier.
"Qui regarde un test tout le temps qu'il passe un test ? C'est ridicule. Ce n'est pas comme ça que les humains fonctionnent », a déclaré Cooper Quintin, technologue à l'Electronic Frontier Foundation, une organisation de défense des droits numériques. "Les comportements normaux sont punis par ce logiciel."
Après avoir examiné un logiciel de surveillance en ligne qui, selon les étudiants en médecine du Dartmouth College, les avait faussement signalés, M. Quintin suggère que les écoles demandent à des experts extérieurs d'examiner les preuves de tricherie. Le défaut le plus grave de ces systèmes peut être humain : les éducateurs qui réagissent de manière excessive lorsqu'un logiciel artificiellement intelligent déclenche une alerte.
"Les écoles semblent le traiter comme la parole de Dieu", a déclaré M. Quintin. "Si l'ordinateur dit que vous trichez, vous devez tricher."
Tess Mitchell, porte-parole d'Honorlock, a déclaré que ce n'était pas le rôle de l'entreprise de conseiller les écoles sur la façon de gérer les comportements signalés par son produit.
"En aucun cas, nous n'identifions définitivement les" tricheurs "- la décision finale et le plan d'action appartiennent à l'instructeur et à l'école, tout comme ce serait le cas dans une salle de classe", a déclaré Mme Mitchell. « Il peut être difficile d'interpréter les actions d'un élève. C'est pourquoi nous ne le faisons pas.
Le Dr Orridge n'a pas répondu aux demandes de commentaires pour cet article. Une porte-parole du Broward College a déclaré qu'elle ne pouvait pas discuter de l'affaire en raison des lois sur la confidentialité des étudiants. Dans un e-mail, elle a déclaré que les professeurs "exercent leur meilleur jugement" sur ce qu'ils voient dans les rapports Honorlock. Elle a déclaré qu'un premier avertissement pour malhonnêteté apparaîtrait sur le dossier d'un étudiant mais n'aurait pas de conséquences plus graves, telles que l'empêchement de l'étudiant d'obtenir son diplôme ou le transfert de crédits vers un autre établissement.
Honorlock n'a pas encore révélé exactement comment fonctionne son intelligence artificielle, mais une porte-parole de l'entreprise a révélé que l'entreprise effectue la détection des visages en utilisant Rekognition, un outil d'analyse d'images qu'Amazon a commencé à vendre en 2016. Le logiciel Rekognition recherche des repères faciaux - nez, yeux, sourcils, bouche - et renvoie un score de confiance indiquant que ce qui est à l'écran est un visage. Il peut également déduire [l'état émotionnel, le sexe et l'angle](https://docs.aws.amazon.com /rekognition/latest/dg/faces-detect-images.html) du visage.
Honorlock signalera un candidat comme suspect s'il détecte plusieurs visages dans la pièce, ou si le visage du candidat disparaît, ce qui peut arriver lorsque les gens se couvrent le visage avec leurs mains de frustration, a déclaré Brandon Smith, président et chef de l'exploitation d'Honorlock.
Honorlock utilise parfois des employés humains pour surveiller les candidats aux tests ; Des "surveillants en direct" apparaîtront par chat s'il y a un grand nombre de drapeaux lors d'un examen pour savoir ce qui se passe. Récemment, ces surveillants ont découvert que Rekognition enregistrait par erreur des visages sur des photos ou des affiches en tant que personnes supplémentaires dans la pièce.
Quand quelque chose comme ça se produit, Honorlock le dit aux ingénieurs d'Amazon. "Ils prennent nos données réelles et les utilisent pour améliorer leur intelligence artificielle", a déclaré M. Smith.
La reconnaissance était censée être un pas en avant par rapport à ce qu'Honorlock avait utilisé. Un ancien outil de détection de visage de Google était moins performant pour détecter les visages de personnes ayant une gamme de tons de peau, a déclaré M. Smith.
Mais Rekognition a également été accusé de partialité. Dans une série d'études, Joy Buolamwini, chercheuse en informatique et directrice exécutive de l'Algorithmic Justice League, a découvert que les logiciels de classification de genre, y compris [Rekognition](https://medium.com/@bu64dcjrytwitb8/on-recent-research-auditing -commercial-facial-analysis-technology-19148bda1832), a moins bien fonctionné sur les femmes à la peau foncée.
Déterminer le sexe d'une personne est différent de détecter ou de reconnaître un visage, mais le Dr Buolamwini considérait ses découvertes comme un canari dans une mine de charbon. "Si vous vendez un système dont il a été démontré qu'il avait un biais sur les visages humains, il est peu probable que vos autres produits basés sur le visage soient également totalement exempts de biais", a-t-elle [écrit] (https://medium.com/@Joy.Buolamwini /response-racial-and-gender-bias-in-amazon-rekognition-commercial-ai-system-for-analyzing-faces-a289222eeced) en 2019.
Le Times a analysé les images de la vidéo Honorlock de l'étudiant avec Amazon Rekognition. Il était sûr à 99,9 % qu'un visage était présent et qu'il était triste, et à 59 % que l'étudiant était un homme.
Le Dr Buolamwini a déclaré que la couleur de peau et le sexe de l'étudiante de Floride devraient être pris en compte dans ses tentatives pour effacer son nom, qu'ils affectent ou non les performances de l'algorithme.
"Qu'il soit techniquement lié à la race ou au sexe, la stigmatisation et la présomption placées sur les étudiants de couleur peuvent être exacerbées lorsqu'une étiquette de machine alimente un biais de confirmation", a écrit le Dr Buolamwini dans un e-mail.
Alors que la pandémie se termine et que les candidats peuvent à nouveau se réunir en personne, l'industrie de la surveillance à distance pourrait bientôt être moins demandée et faire l'objet de beaucoup moins d'examens. Cependant, l'activisme intense autour de la technologie pendant la pandémie a conduit au moins une entreprise à apporter un changement majeur à son produit.
ProctorU, un concurrent d'Honorlock, n'offre plus un A.I.-only produit qui signale les vidéos pour que les professeurs les examinent.
"La faculté n'avait pas le temps, la formation ou la capacité de le faire ou de le faire correctement", a déclaré Jarrod Morgan, fondateur de ProctorU. Un examen des données internes de ProctorU a révélé que les vidéos de comportement signalé n'étaient ouvertes que 11% du temps.
Tout comportement suspect est désormais examiné par l'un des quelque 1 300 surveillants de l'entreprise, dont la plupart sont basés à l'étranger sur des marchés du travail moins chers. M. Morgan a déclaré que ces sous-traitants avaient suivi une formation rigoureuse et ne "confirmeraient une infraction" que s'il existait des preuves solides qu'un candidat recevait de l'aide. ProctorU a administré quatre millions d'examens l'année dernière ; en analysant trois millions de ces tests, il a constaté que plus de 200 000, soit environ 7%, impliquaient une sorte d'inconduite académique, selon la société.
L'adolescent est diplômé du Broward College ce mois-ci. Elle reste désemparée d'être qualifiée de tricheuse et craint que cela ne se reproduise.
"J'essaie de devenir comme un mannequin pendant les tests maintenant", a-t-elle déclaré.