Problème 1505

Proctorio, un logiciel de surveillance des examens conçu pour empêcher les étudiants de tricher lors des tests, s'appuie sur un logiciel open source qui a des antécédents de problèmes de préjugés raciaux, selon un rapport de Motherboard. Le problème a été découvert par un étudiant qui a compris comment le logiciel effectuait la détection faciale et a découvert qu'il ne parvenait pas à reconnaître les visages noirs plus de la moitié du temps.

Proctorio, et d'autres programmes similaires, sont conçus pour garder un œil sur les étudiants pendant qu'ils passent des tests. Cependant, de nombreux étudiants de couleur ont signalé qu'ils avaient du mal à faire en sorte que le logiciel voie leurs visages - ils devaient parfois recourir à des mesures extrêmes pour que le logiciel les reconnaisse. Cela pourrait potentiellement causer des problèmes aux étudiants : Proctorio les signalera aux instructeurs s'il ne détecte pas leur visage.

Après avoir entendu parler de ces problèmes de manière anecdotique, Akash Satheesan a décidé d'examiner les méthodes de détection faciale utilisées par le logiciel. Il a découvert qu'il ressemblait et fonctionnait de manière identique à OpenCV, un programme de vision par ordinateur open source qui peut être utilisé pour reconnaître les visages (qui a eu des problèmes de préjugés raciaux dans le passé). Après avoir appris cela, il a effectué des tests à l'aide d'OpenCV et d'un ensemble de données conçu pour valider la capacité des algorithmes de vision artificielle à gérer divers visages. Selon son deuxième article de blog, les résultats n'étaient pas bons.

Non seulement le logiciel n'a pas réussi à reconnaître les visages noirs plus de la moitié du temps, mais il n'était pas particulièrement efficace pour reconnaître les visages de toutes les ethnies - le taux de réussite le plus élevé était inférieur à 75 %. Dans son rapport, Motherboard a contacté un chercheur en sécurité, qui a pu valider à la fois les résultats et l'analyse de Satheesan. Proctorio lui-même confirme également qu'il utilise OpenCV sur sa page de licences, bien qu'il n'entre pas dans les détails sur la manière.

Dans une déclaration à Motherboard, un porte-parole de Proctorio a déclaré que les tests de Satheesan prouvent que le logiciel ne cherche qu'à détecter les visages, et non à reconnaître les identités qui leur sont associées. Eh bien, cela peut être un (petit) réconfort pour les étudiants qui peuvent à juste titre s'inquiéter des problèmes de confidentialité liés aux logiciels de surveillance, cela ne répond pas du tout aux accusations de préjugés raciaux.

Ce n'est pas la première fois que Proctorio est appelé pour ne pas avoir reconnu les divers visages : les problèmes qu'il a causés aux étudiants de couleur ont été cités par une université comme une raison pour laquelle elle ne renouvellerait pas son contrat avec l'entreprise. Le sénateur Richard Blumenthal (D-CT) a même appelé l'entreprise en parlant de partialité dans les logiciels de surveillance.

Bien que les préjugés raciaux dans le code ne soient pas nouveaux, il est particulièrement pénible de le voir affecter des étudiants qui essaient simplement de faire leur travail scolaire, en particulier dans une année où l'apprentissage à distance est la seule option disponible pour certains.