Problème 6753

La police est intervenue au collège de Floride quelques minutes après l'alerte reçue la semaine dernière : les caméras de sécurité avaient détecté un homme dans le bâtiment, vêtu d'une tenue de camouflage, avec une arme présumée pointée dans le couloir, comme un fusil à l'épaule.

L'établissement d'Oviedo a été confiné. Un agent a fouillé les salles de classe, mais n'a trouvé ni l'individu ni entendu de bruit suspect, selon un rapport de police.

Les opérateurs ont ensuite ajouté un détail. Après un examen plus approfondi de l'image transmise à la police, ils ont indiqué à l'agent que l'arme présumée pouvait être un instrument de musique.

L'agent s'est rendu dans la salle de musique où les élèves s'étaient réfugiés. Il y a trouvé le coupable : un élève déguisé en militaire pour une journée à thème, et l'« arme présumée » : une clarinette.

Cette erreur est due au fait que le système de surveillance à intelligence artificielle utilisé par le collège Lawton Chiles a identifié par erreur la clarinette comme une arme, selon ZeroEyes, la société de sécurité qui gère le système et travaille pour le district scolaire de Lawton Chiles.

À l'instar d'un nombre croissant de districts scolaires à travers le pays, le district scolaire public du comté de Seminole a recours à la surveillance par intelligence artificielle pour renforcer la sécurité de ses établissements. ZeroEyes commercialise un système de détection des menaces qui analyse les enregistrements de vidéosurveillance à la recherche d'armes ou d'objets interdits et alerte les forces de l'ordre en cas de détection. L'intérêt pour ce type de systèmes s'est accru à une époque marquée par la multiplication des fusillades scolaires très médiatisées, comme celle survenue samedi à l'université Brown, qui a coûté la vie à deux étudiants et en a blessé neuf.

Selon certains experts en sécurité et en protection de la vie privée dans les écoles, le récent incident survenu dans ce collège de Floride s'inscrit dans une tendance où les systèmes de détection des menaces utilisés par les établissements scolaires dysfonctionnent, engendrant chez les élèves une suspicion et un stress inutiles.

« Il s'agit de technologies non éprouvées, présentées comme offrant une grande certitude et une sécurité optimale », a déclaré David Riedman, fondateur de la base de données sur les fusillades dans les écoles primaires et secondaires. Riedman a été embauché par ZeroEyes en tant que directeur de la recherche sectorielle en septembre 2023. Son contrat a pris fin la même année, selon ZeroEyes et Riedman.

ZeroEyes a déclaré que ses employés formés examinent les alertes avant leur envoi et que son logiciel peut sauver des vies en prévenant les fusillades de masse grâce à l'alerte donnée aux forces de l'ordre en quelques secondes sur la présence d'armes sur un campus. À Lawton Chiles, l'élève signalé par ZeroEyes tenait son instrument de musique comme un fusil, a déclaré le cofondateur Sam Alaimo au Washington Post.

« Nous ne pensons pas avoir commis d'erreur, et l'école non plus », a affirmé Alaimo. « Il valait mieux envoyer la police que de ne pas le faire. »

Les écoles publiques du comté de Seminole ont refusé de commenter l'incident de mardi, mais ont fourni une copie de la lettre adressée aux parents des élèves de Lawton Chiles après l'incident.

« Bien qu'aucune menace n'ait été constatée sur le campus, je vous invite à discuter avec votre enfant des dangers liés au fait de simuler la possession d'une arme dans un établissement scolaire », a écrit la directrice Melissa Laudani.

Les préoccupations concernant la sécurité des élèves ont incité les districts scolaires à travers le pays à adopter un secteur en pleine expansion : les outils de sécurité basés sur l'intelligence artificielle, qui signalent proactivement les menaces aux administrateurs et aux forces de l'ordre. Olga Shmuklyer, porte-parole de ZeroEyes, a indiqué que son produit est utilisé dans 48 États et qu'il a détecté plus de 1 000 armes au cours des trois dernières années.

Ces systèmes sont généralement entraînés à détecter les risques pour la sécurité en analysant de grands volumes de données, comme des images de personnes tenant des armes, afin de trouver des correspondances en temps réel.

Il leur arrive cependant de commettre des erreurs. En octobre, des parents et des responsables du comté de Baltimore, dans le Maryland, ont demandé une révision d'un autre système de détection des menaces par IA après que celui-ci ait confondu un sac de chips Doritos avec une arme à feu et envoyé une alerte qui a conduit à l'arrestation d'un lycéen. En 2023, un lycée de Clute, au Texas, a été confiné après qu'une fausse alerte du système ZeroEyes a signalé la présence d'une arme à feu, selon News 4 San Antonio.

Dans un autre cas, un système de détection des menaces différent n'a pas permis d'empêcher une fusillade mortelle dans un établissement scolaire. Le lycée Antioch de Nashville était équipé d'un logiciel de surveillance par intelligence artificielle pour détecter les armes à feu en janvier, lorsqu'un élève de 17 ans a tué un camarade de classe par balle, selon CNN. Le système n'a pas identifié le tireur car il était trop éloigné des caméras de surveillance pour que son arme soit détectée, a rapporté CNN.

D'autres systèmes de surveillance de l'activité des élèves sur les appareils scolaires ont également été critiqués pour avoir accusé à tort des élèves et porté atteinte à leur vie privée. En septembre, des élèves d'un lycée du Kansas ont porté plainte contre leur district scolaire après qu'un outil de surveillance a signalé à tort des projets artistiques comme étant pornographiques.

Selon des articles de presse et l'entreprise, ZeroEyes travaille en étroite collaboration avec les écoles publiques du comté de Seminole depuis 2021. Cette année-là, elle a organisé une démonstration en direct de la capacité du système ZeroEyes à détecter les armes à feu au lycée d'Oviedo.

« Nous sommes extrêmement satisfaits de cette technologie », a déclaré Richard Francis, directeur de la sécurité publique des écoles du comté de Seminole, à Fox 35 News à l'époque.

Alaimo, cofondateur de ZeroEyes, a expliqué que l'entreprise recrute des employés ayant une expérience militaire ou policière, « calmes sous pression et… très doués pour identifier les armes à feu », afin d'examiner les menaces potentielles signalées par l'IA.

L'image signalée par ZeroEyes à Lawton Chiles montrait un élève pointant sa clarinette comme une arme vers une porte, ressemblant fortement à « un tireur sur le point de commettre un acte criminel », a précisé Alaimo.

Selon le rapport de police, l'agent intervenu suite à l'alerte a interrogé l'élève qui tenait la clarinette. L'élève a déclaré qu'il était déguisé en personnage militaire du film de Noël « Red One » pour la journée costumée de son école sur le thème de Noël.

Selon le rapport, l'élève a affirmé « ignorer » qu'il tenait sa clarinette d'une manière susceptible de déclencher une alerte. La police n'a pas donné suite.

Chad Marlow, conseiller principal en politiques publiques à l'Union américaine pour les libertés civiles (ACLU), spécialiste des systèmes de sécurité scolaire, a déclaré que des incidents comme celui survenu à Lawton Chiles démontrent que des systèmes tels que ZeroEyes peuvent encore se tromper, même lorsque des humains examinent les menaces signalées par l'IA.

« Si un système informatique indique à un évaluateur humain qu'il voit une arme et que chaque seconde compte, cette personne aura tendance à conclure qu'il s'agit d'une arme », a-t-il expliqué.

Amanda Klinger, directrice des opérations du Réseau de sécurité scolaire des enseignants, a ajouté que les fausses alertes risquent d'entraîner une « saturation des alarmes » et des situations dangereuses si des policiers armés interviennent dans une école à la recherche d'un tireur.

« Nous devons être parfaitement lucides quant aux limites de ces technologies », a déclaré Klinger.

Alaimo a indiqué que ZeroEyes – et ses partenaires dans les districts scolaires – préféraient prévenir que guérir.

« Un directeur d'académie, un agent de sécurité scolaire, un chef de police, un responsable de la sécurité, tous diront : “Oui, soyez plus proactifs, soyez plus enclins à me signaler le moindre doute” », a expliqué Alaimo. « Car leur priorité est la sécurité de tous. »

Précision : Cet article a été modifié pour tenir compte du bref passage de David Riedman chez ZeroEyes.