Incidents associés
Des documents révèlent que la technologie de reconnaissance faciale des écoles Lockport a confondu les manches à balai avec des armes à feu et a mal identifié les étudiants noirs à des taux beaucoup plus élevés.
Depuis qu'ils ont appris que le Lockport City School District avait l'intention d'installer un réseau de caméras de reconnaissance faciale dans ses bâtiments, les parents de la communauté du nord de l'État de New York, en particulier les familles de couleur, craignent que le nouveau système ne conduise à des interactions tragiques et potentiellement mortelles entre leurs enfants et la police.
Or, des documents nouvellement obtenus par Motherboard accentuent ces craintes. Ils montrent que SN Technologies, la société canadienne engagée pour installer le système de reconnaissance faciale de Lockport, a induit le district en erreur sur la précision de l'algorithme qu'il utilise et a minimisé la fréquence à laquelle il identifie à tort les visages noirs. Les dossiers, comprenant des centaines de pages de courriels entre le district et l'entreprise, détaillent également de nombreux problèmes techniques avec le système de détection de visage et d'armes AEGIS de SN Technologies, y compris sa propension à identifier à tort des objets comme des manches à balai comme des armes à feu.
Ces fausses alertes préoccupent particulièrement les parents. Selon les médias locaux et les documents obtenus par Motherboard, lorsqu'il a été initialement testé, le système avait des alertes automatiques lorsqu'il détectait des armes ou certaines personnes sur la « liste noire » du district. Les documents montrent que son système d'alerte a évolué au fil du temps, et SN Technologies affirme qu'il y a un humain dans la boucle à tout moment : "Notre système a été conçu et développé avec des garanties pour protéger toute fausse détection, un humain devant vérifier chaque alerte individuelle avant toute l'alerte est confirmée », a déclaré la société à Motherboard après la publication de cet article.
"La police a dit que si elle recevait une notification, elle la traiterait comme un système de tir en direct, et vous avez un système qui est prédisposé à faire des erreurs et à mal identifier les gens", a déclaré Jim Shultz, un parent de Lockport, à Motherboard. "Le risque d'accident, le risque que quelque chose d'horrible se produise parce que le système est structuré comme il est, pour moi, est 1 million de fois plus élevé que [la chance] que les caméras empêchent une situation réelle."
Les écoles de Lockport sont à 11 % noires, et Renee Cheatham, membre du conseil scolaire de Lockport et parent, a déclaré à Motherboard que l'idée d'une reconnaissance faciale biaisée déclenchant une réponse policière armée a indigné les parents noirs et a conduit à une "période très, très sombre". Shultz et Cheatham sont tous deux plaignants dans un procès contre le Département de l'éducation de l'État de New York (NYSED) cherchant à interdire l'utilisation de la reconnaissance faciale dans les écoles.
Le district scolaire de Lockport et le service de police local n'ont pas répondu aux demandes répétées de commentaires. SN Technologies n'a pas répondu aux demandes répétées de commentaires avant la publication, mais a envoyé une lettre à Motherboard après la publication avec de plus amples informations sur sa technologie.
Lockport a activé le système de reconnaissance faciale AEGIS en janvier, après plusieurs années de lutte avec les parents, les groupes de libertés civiles et le NYSED, qui s'étaient initialement opposés au système avant de l'approuver brusquement en novembre 2019. À l'époque, Lockport était le premier district de l'État cherchant à utiliser la technologie de reconnaissance faciale dans ses bâtiments.
Dans les mois qui ont immédiatement précédé la décision du NYSED, les responsables de Lockport ont reçu une série d'avertissements indiquant que SN Technologies déformait un aspect crucial du système AEGIS.
En août 2019, KC Flynn, PDG de la société, a envoyé aux responsables du district un long e-mail discutant de l'exactitude globale d'AEGIS et de son taux de préjugés raciaux. Il a affirmé que SN Technologies accordait une licence à son algorithme auprès de la société française id3 Technologies et que cet algorithme particulier s'était classé 49e sur 139 dans les tests de préjugés raciaux effectués par le National Institute of Standards and Technology (NIST). Les tests du NIST ont démontré que tous les algorithmes de reconnaissance faciale fonctionnent moins bien sur les personnes de couleur.
Mais selon Patrick Grother, le scientifique du NIST qui a supervisé les tests, l'agence n'a jamais testé un algorithme d'id3 Technologies qui corresponde à la description que Flynn a donnée aux responsables de Lockport. « Ces chiffres ne correspondent pas à nos chiffres. Ils ne sont même pas proches. Ce que id3 a envoyé au NIST n'est pas ce dont ces gens parlent », a déclaré Grother à Motherboard.
En outre, il a décrit les déclarations de Flynn sur la façon dont la précision de la reconnaissance faciale est calculée comme "complètement absurdes". Et Grother a déclaré qu'il avait averti un avocat représentant Lockport de tous ces problèmes lorsqu'ils avaient partagé pour la première fois l'e-mail de Flynn avec lui en 2019.
Le district a reçu encore plus de preuves que SN Technologies mentait en octobre, lorsqu'il a reçu un rapport de Freed Maxick, le comptable qu'il avait engagé pour vérifier les réclamations de SN Technologies. Les auditeurs ont écrit que la société avait affirmé à tort que, dans les tests du NIST, son algorithme identifiait à tort les hommes noirs deux fois plus souvent que les hommes blancs et identifiait à tort les femmes noires 10 fois plus souvent que les hommes blancs. En réalité, ont écrit les auditeurs, les tests NIST de l'algorithme id3 Technologies que la société de Flynn prétendait utiliser ont en fait montré qu'il identifiait à tort les hommes noirs quatre fois plus souvent et les femmes noires 16 fois plus souvent que les hommes blancs.
Motherboard a obtenu une copie du rapport Freed Maxick de la New York Civil Liberties Union (NYCLU), qui représente les parents de Lockport dans leur procès.
SN Technologies affirme qu'elle n'a jamais induit Lockport en erreur : "Notre relation avec le Lockport City School District au cours des 4 dernières années a été basée sur la confiance et la transparence et toute notre correspondance et nos communications sont du domaine public. La sélection et l'adoption de l'AEGIS système a fait l'objet de réunions publiques, de discussions avec divers groupes et a été publié dans les médias locaux au cours des 4 dernières années », a écrit KC Flynn, président et chef de la direction de la société, dans une lettre à Motherboard. "Je tiens à déclarer catégoriquement que SN Technologies Corp n'a jamais menti ou induit en erreur le district scolaire de Lockport City, notamment sur le fonctionnement de notre technologie ou les résultats attendus qu'elle fournit."
Flynn a également déclaré "Il n'est pas rare que les algorithmes de reconnaissance faciale présentent des différences de précision en fonction de la race et du sexe. Notre système AEGIS fonctionne à un niveau de précision supérieur à 99,9 %, quelle que soit la race ou le sexe d'un individu, comme l'a vérifié le rapport indépendant. menée par Freed Maxick, l'un des 100 meilleurs cabinets d'experts-comptables aux États-Unis."
Flynn a déclaré que la société avait payé pour l'examen de Freed Maxick mais n'y était pas impliquée : "SN Technologies est une société experte en développement de logiciels. Lorsque le district scolaire de Lockport City nous a demandé de fournir des commentaires sur le rapport du NIST et notre logiciel, nous avons fourni notre interprétation des informations rapportées et a suggéré qu'un expert tiers examine et évalue toutes les données et fournisse un rapport indépendant au district scolaire Comme c'est la norme pour ces types d'examens, SN Technologies a payé pour l'examen mais n'a pas participé dans l'examen ou l'évaluation finale. "Il n'est pas clair si le système AEGIS a déjà empêché un incident dans les écoles de Lockport, ou si la police a déjà répondu aux écoles à la suite d'une fausse alerte. Le district et le département de police n'ont pas répondu aux demandes de ces données.
Les e-mails que la carte mère a obtenus grâce aux demandes de la loi sur la liberté d'information montrent qu'au cours de la courte période où l'aspect de détection d'armes d'AEGIS a été actif, il a régulièrement identifié à tort des objets comme des armes à feu et a dû être recalibré plusieurs fois.
Dans un e-mail envoyé aux administrateurs de l'école de Lockport plus tôt cette année, un représentant de SN Technologies a déclaré que l'entreprise entraînait le système à reconnaître les manches à balai afin de l'empêcher de les confondre avec des armes. Le mois suivant, le système renvoyait encore une série de fausses alertes d'armes à feu.
Flynn a déclaré que le système avait été modifié à plusieurs reprises depuis qu'il avait été testé à l'origine : "Des ajustements ont également dû être apportés après la construction et les rénovations au lycée Lockport au début de 2020, car la construction a perturbé les caméras et leurs connexions au système AEGIS. Une fois l'installation et les paramètres étaient terminés, le système fonctionnait pleinement. D'après les commentaires que nous avons reçus du district scolaire, nous avons compris que l'outil de détection des armes à feu répond aux attentes.
Shultz, l'un des parents de Lockport, a déclaré que la triste ironie de la situation est qu'à la suite de la pandémie de COVID-19, la reconnaissance faciale est devenue inutile car toute personne entrant dans les écoles doit porter un masque. Pendant ce temps, d'autres districts de l'État ont utilisé l'argent de leurs écoles intelligentes pour payer des mises à niveau telles que de nouveaux ordinateurs portables et une connectivité Internet améliorée qui sont désormais encore plus essentielles à la réussite des élèves.
La poursuite par Lockport de la reconnaissance faciale a attiré l'attention nationale sur le district et a incité la législature de New York à adopter un projet de loi qui interdirait l'utilisation de la reconnaissance faciale dans les écoles jusqu'à ce qu'une étude approfondie de son effet sur les élèves puisse être achevée. Le gouverneur de New York, Andrew Cuomo, n'a pas encore signé ce projet de loi, mais le sénateur de l'État, Brian Kavanagh, a déclaré à Motherboard qu'il avait parlé au bureau du gouverneur et s'attend à ce qu'il devienne loi cette année.
Mais malgré la législation, les poursuites, la couverture médiatique et les contrecoups locaux à Lockport, d'autres districts de New York ont emboîté le pas et recherchent des fonds publics pour leurs propres systèmes de reconnaissance faciale.
Au moins 11 autres districts de l'État ont depuis demandé de l'argent aux écoles intelligentes pour acheter des systèmes de reconnaissance faciale, selon une analyse NYCLU des demandes. Des écoles d'autres États, comme la Caroline du Sud, ont également déployé des systèmes similaires qui revendiquent la capacité de détecter les armes et d'arrêter les fusillades dans les écoles.
"Il y a d'autres districts qui essaient de mettre la main sur une technologie similaire sans les garanties qui devraient être en place", a déclaré Stefanie Coyle, l'avocate de la NYCLU à la tête du procès Lockport, à Motherboard. "Ces outils ne sont pas la bonne voie à suivre… [mais] Nous avons maintenant des entreprises qui ciblent les districts de l'État."
Cet article a été mis à jour avec les commentaires de SN Technologies.