Incidents associés
Ariella Russcol est spécialisée dans le théâtre à la Frank Sinatra School of the Arts dans le Queens, à New York, et la performance du senior cet après-midi d'avril n'a pas déçu. Alors que la bibliothèque est normalement la pièce la plus silencieuse de l'école, ses cris perçants ressemblaient plus à un film d'horreur qu'à une salle d'étude. Mais ils n'étaient pas suffisants pour déclencher un petit microphone au plafond censé détecter une agression.
Quelques jours plus tard, à la Staples Pathways Academy de Westport, dans le Connecticut, le junior Sami D'Anna a déclenché par inadvertance le même appareil avec un son moins effrayant - une quinte de toux due à un rhume de poitrine persistant. Alors qu'elle piratait et râpait, un message est apparu sur son interface Web : "StressedVoice détecté".
"C'est parti," dit D'Anna avec amusement, en regardant l'écran. "Voilà ma toux."
Les étudiants aidaient ProPublica à tester un détecteur d'agression utilisé dans des centaines d'écoles, d'établissements de santé, de banques, de magasins et de prisons dans le monde, dont plus de 100 aux États-Unis. Sound Intelligence, la société néerlandaise qui fabrique le logiciel de l'appareil, prévoit de ouvrira cette année un bureau à Chicago, où sera basé son directeur général.
La société californienne Louroe Electronics, qui a chargé le logiciel sur ses microphones depuis 2015, fait la publicité des appareils dans les magazines de sécurité scolaire et lors des conventions d'application de la loi, et elle a déclaré avoir entre 100 et 1 000 clients pour eux. Les supports marketing de Louroe indiquent que le logiciel de détection permet aux agents de sécurité "d'engager immédiatement des individus antagonistes, résolvant le conflit avant qu'il ne se transforme en violence physique".
À la suite de la fusillade dans un Parkland, en Floride, dans un lycée et d'autres massacres, les écoles américaines sont de plus en plus réceptives à de tels discours. Le Congrès a approuvé plus de 25 millions de dollars pour l'amélioration de la sécurité des écoles l'année dernière, et un analyste s'attend à ce que la nouvelle technologie puisse augmenter le marché de 2,7 milliards de dollars des produits de sécurité de l'éducation. Outre Sound Intelligence, la société sud-coréenne Hanwha Techwin, qui faisait auparavant partie de Samsung, fabrique un produit similaire de "détection des cris" qui a été installé dans les écoles américaines. Audio Analytic, basé au Royaume-Uni, vendait son logiciel de détection d'agressions et de coups de feu à des clients en Europe et aux États-Unis, y compris la division de sécurité professionnelle de Cisco Systems Inc. Cependant, un porte-parole d'Audio Analytic a déclaré à ProPublica qu'il avait depuis changé son modèle commercial et cessé de vendre le logiciel de détection d'agression.
En déployant la technologie de surveillance dans les espaces publics comme les couloirs et les cafétérias, les fabricants d'appareils et les responsables scolaires espèrent anticiper et empêcher tout, des fusillades de masse au tabagisme chez les mineurs. Sound Intelligence commercialise également des packages complémentaires pour reconnaître les sons des coups de feu, des alarmes de voiture et du verre brisé, tandis que Soter Technologies, basée à Hauppauge, à New York, développe des capteurs qui déterminent si les élèves vapotent dans les toilettes de l'école. Le district scolaire de Lockport, dans le nord de l'État de New York, prévoit un système de reconnaissance faciale pour identifier les intrus sur le campus.
Pourtant, l'analyse de ProPublica, ainsi que les expériences de certaines écoles et hôpitaux américains qui ont utilisé le détecteur d'agression de Sound Intelligence, suggèrent qu'il peut être moins que fiable. Au cœur de l'appareil se trouve ce que l'entreprise appelle un algorithme d'apprentissage automatique. Nos recherches ont révélé qu'il a tendance à assimiler l'agressivité à des bruits rugueux et tendus d'un ton relativement élevé, comme la toux de D'Anna. Un clip YouTube de 1994 du comédien au son abrasif Gilbert Gottfried ("Fait-il chaud ici ou suis-je fou?") A déclenché le détecteur, qui analyse le son mais ne prend pas en compte les mots ou le sens. Bien qu'un porte-parole de Louroe ait déclaré que le détecteur n'empiétait pas sur la vie privée des étudiants car il ne capte que les modèles sonores jugés agressifs, ses microphones permettent aux administrateurs d'enregistrer, de rejouer et de stocker ces extraits de conversation indéfiniment.
"Il n'est pas clair qu'il résolve le bon problème. Et il n'est pas clair qu'il le résolve avec les bons outils", a déclaré Suresh Venkatasubramanian, professeur d'informatique à l'Université de l'Utah, qui étudie comment le remplacement des humains par l'intelligence artificielle affecte la prise de décision dans la société.
Certains experts contestent également la prémisse sous-jacente selon laquelle l'agression verbale précède la violence à l'école, car ils disent que les tireurs de masse comme Nikolas Cruz du lycée Marjory Stoneman Douglas à Parkland, en Floride, ont tendance à se taire au préalable. "Je ne peux pas imaginer quand cela serait utile, honnêtement", a déclaré Jillian Peterson, professeure adjointe de criminologie et de justice pénale à l'Université Hamline de St. Paul, Minnesota.
Le Dr Nancy Rappaport, professeure agrégée de psychiatrie à la Harvard Medical School qui étudie la sécurité à l'école, a déclaré que la surveillance audio pourrait avoir pour conséquence involontaire d'accroître la méfiance et l'aliénation des étudiants. Elle a ajouté que les écoles optent pour des solutions technologiques peu coûteuses plutôt que pour des solutions qui s'attaquent à la racine du problème, comme davantage de conseils pour les enfants en difficulté. Un microphone Louroe avec logiciel d'agression se vend environ 1 000 $.
Le PDG de Sound Intelligence, Derek van der Vorst, a déclaré que les caméras de sécurité fabriquées par la société suédoise Axis Communications représentaient 90 % des ventes mondiales du détecteur, la société privée Louroe représentant les 10 % restants. Il a déclaré que les caméras Axis, qui peuvent coûter des dizaines de milliers de dollars, y compris les systèmes dorsaux, contiennent des versions plus récentes et plus sophistiquées du logiciel que l'équipement Louroe.
Le porte-parole de Louroe a déclaré que ses appareils reçoivent des mises à jour logicielles régulières. Axis n'a pas répondu aux demandes de commentaires de ProPublica.
Van der Vorst a reconnu que le détecteur est imparfait et a confirmé notre découverte selon laquelle il enregistre les tonalités plus rugueuses comme agressives. Il a dit qu'il "garantit à 100%" que le système interprétera parfois mal un comportement innocent. Mais il est plus préoccupé par le fait de ne pas détecter les indicateurs de violence, et il a déclaré que le système donne aux écoles et autres installations un système d'alerte précoce indispensable. Cela "leur permet d'agir beaucoup plus rapidement en cas de situation de violence potentielle", a-t-il déclaré, citant un hôpital de Fort Myers, en Floride, où le détecteur a alerté la sécurité des visiteurs indisciplinés. Un responsable de l'hôpital a déclaré que le logiciel avait détecté un comportement agressif avant que le personnel ne puisse appuyer sur un bouton de panique, donnant aux agents de sécurité une longueur d'avance pour désamorcer les incidents avant qu'ils ne dégénèrent.
Lorsqu'on lui a demandé si ses algorithmes pouvaient empêcher une fusillade de masse, van der Vorst a déclaré: "Je ne prétendrais pas que nous pourrions empêcher un fou fou de tirer sur des gens."
Sound Intelligence a développé son détecteur d'agression au cours des deux dernières décennies. Il a testé un modèle précoce dans un "quartier de pub" néerlandais, selon une étude de 2007 co-écrite par un chercheur de l'entreprise. Des microphones ont été placés dans 11 endroits du centre-ville de Groningue, et les résultats du détecteur ont été comparés aux rapports de police sur les comportements agressifs. Les résultats ont été "tellement impressionnants", selon l'étude, que l'appareil a été considéré comme "indispensable" par plusieurs services de police néerlandais, la compagnie ferroviaire néerlandaise et deux prisons.
Depuis lors, le logiciel est devenu plus complexe, améliorant sa capacité à identifier les voix agressives, a déclaré van der Vorst. Les ingénieurs de Sound Intelligence ont déclaré que la dernière version avait été calibrée à l'aide d'audio collectés en partie auprès de clients européens, y compris des enregistrements d'enfants qui criaient. Lorsqu'on lui a demandé si l'une des données de formation provenait des écoles, van der Vorst n'a pas répondu directement.
Venkatasubramanian a déclaré que calibrer un algorithme dans un contexte puis l'utiliser dans un autre peut créer "des couches et des couches de problèmes". Il a demandé que les algorithmes, en particulier ceux utilisés dans les situations de sécurité publique, soient audités pour leur transparence et leur partialité. D'autres critiques ont également attaqué certains algorithmes de police conçus pour prédire les tremblements de terre, mais qui sont maintenant utilisés pour prévoir les points chauds de la criminalité.
Les chercheurs ont également découvert que la mise en œuvre d'algorithmes dans le monde réel peut s'égarer en raison de données de formation incomplètes ou biaisées ou d'un cadrage incorrect du problème. Par exemple, un algorithme utilisé pour prédire la récidive criminelle a commis des erreurs qui ont puni de manière disproportionnée les accusés noirs.
Les écoles et autres clients achètent des microphones préchargés avec le logiciel de Sound Intelligence, puis ils commandent une clé logicielle auprès de Louroe ou d'un autre distributeur pour le déverrouiller. Montés discrètement au plafond, les microphones de la taille d'un détecteur de fumée de Louroe mesurent l'agressivité sur une échelle de zéro à un. Les utilisateurs choisissent les paramètres de seuil. Chaque fois qu'ils sont dépassés suffisamment longtemps, le détecteur alerte l'appareil de sécurité de l'établissement, soit par le biais d'un système de surveillance existant, soit par un message texte indiquant le microphone qui a capté le son. Sound Intelligence et Louroe ont déclaré qu'ils préféraient autant que possible affiner les capteurs à l'emplacement de chaque nouveau client sur une période de plusieurs jours ou semaines, bien que cela ne puisse pas toujours être arrangé.
Pinecrest Academy Horizon, une école à charte à Henderson, Nevada, avec 720 élèves de la maternelle à la cinquième année, a installé deux microphones Louroe au début de cette année avec les progiciels de détection des agressions et des coups de feu. L'un est suspendu au-dessus de la zone de réception et l'autre dans un bâtiment satellite, faisant partie d'un centre commercial réaménagé.
Au départ, les enfants qui claquaient la porte de leur casier déclenchaient le détecteur de coups de feu. En conséquence, sa sensibilité au bruit a été ajustée pour réduire les faux positifs. Jedidiah Wallace, d'Atlas Integrated Security, basé à Las Vegas, qui a configuré les appareils pour l'académie, a déclaré qu'il était au courant que le détecteur d'agression avait été déclenché une fois : lorsqu'un enfant a crié après avoir été mordu par un camarade de classe.
Selon les chiffres du FBI de 2017, le taux de crimes violents de Henderson représente un tiers de celui de Las Vegas à proximité et moins de la moitié de la moyenne nationale. Pourtant, "nous avions besoin d'un peu plus de tranquillité d'esprit", a déclaré la directrice de Pinecrest, Wendy Shirey, qui porte un bouton de panique autour du cou qui peut alerter la police locale.
Les écoles Rock Hill en Caroline du Sud, de l'autre côté de la frontière avec Charlotte, ont installé le logiciel Sound Intelligence sur les caméras Axis l'année dernière. Les flux audio de l'une des caméras de surveillance du lycée du district alertent les agents de sécurité des sons agressifs indiquant une échauffourée possible dans la cafétéria ou la zone commune.
À une occasion, des étudiants qui souhaitaient à haute voix un joyeux anniversaire à leurs amis ont déclenché le détecteur, a déclaré le directeur de la sécurité de Rock Hill, Kevin Wren. Néanmoins, il a déclaré: "Cela a fonctionné pour détecter l'agressivité. Ma pensée est: peut-être que je peux réduire le temps de réponse des élèves qui se battent. Le prochain coup de poing pourrait leur casser le nez." Van der Vorst a déclaré que le détecteur a contribué à réduire les incidents agressifs à l'école.
Le logiciel a été moins efficace au Valley Hospital de Ridgewood, New Jersey. Daniel Coss, chef de la sécurité du système de santé de l'hôpital, a déclaré qu'il supprimait progressivement le détecteur après un programme pilote de 22 000 $ sur trois ans. Les appareils – placés dans des zones publiques à «haut risque» – avaient été déclenchés par les voix fortes des patients et les employés de la cafétéria fermant les caisses enregistreuses. Une fois que le détecteur a été modifié pour être moins sensible, il a ignoré un homme agité qui criait et frappait sur un bureau. La situation s'est aggravée jusqu'à ce que six agents de sécurité interviennent.
"Il faisait tout ce qui aurait dû déclencher le système. Et ce n'est pas le cas", a déclaré Coss, qui pense que la technologie pourrait fonctionner dans un autre contexte.
Van der Vorst a déclaré qu'il se sentait "horrible" à propos de l'incapacité du détecteur à alerter l'hôpital. "Je vais certainement agir à ce sujet. Ils ne devraient pas avoir cette expérience."
ProPublica a acheté un microphone Louroe et l'a configuré conformément aux conseils fournis par Sound Intelligence. Les journalistes ont ensuite observé la réponse du détecteur d'agression aux bruits émis par les lycéens alors qu'ils jouaient à des jeux dans la bibliothèque (à Sinatra) ou dans une salle commune (à Staples), et dans de petites pièces adjacentes dans les deux écoles où ils criaient au signal et lisaient à haute voix. bandes dessinées dans lesquelles les personnages expriment leur frustration, leur peur et leur colère. Sur 55 cas où les étudiants de Sinatra ont crié, 22 ont déclenché le détecteur.
Van der Vorst a remis en question certaines des découvertes de ProPublica, comme les cris manqués, en raison d'un phénomène connu sous le nom de "clipping". C'est alors qu'un microphone est submergé par trop de bruit, déformant le son et perturbant potentiellement les lectures de l'algorithme. Un écrêtage peut se produire lorsque des sons forts sont enregistrés dans une petite pièce. ProPublica a donc retesté les élèves dans un espace plus grand en utilisant les mêmes invites. De nombreux cris, dont celui de Russcol, n'ont pas encore déclenché d'alarme, ce qui indique que l'écrêtage n'a pas fait de différence significative dans nos résultats.
Lors de notre première série de tests, lorsque des pizzas ont été livrées pour le déjeuner dans la bibliothèque de Sinatra, les acclamations ont déclenché le détecteur. Il en a été de même à chaque tour de Pictionary alors que les élèves criaient des suppositions : "Un pompier !" "Lucifer!" — jusqu'à ce que l'artiste révèle la bonne réponse (Burning Man, le festival dans le lointain Nevada). Des rires le déclenchaient parfois, en particulier des éclats de rire rauques que le détecteur a apparemment confondus avec des cris belliqueux.
De telles découvertes ne sont pas surprenantes, a déclaré Shae Morgan, professeur adjoint et expert en audiologie à la faculté de médecine de l'Université de Louisville. "Un discours joyeux ou exalté partage bon nombre des mêmes signatures que la colère brûlante", a-t-il déclaré. En revanche, la "colère froide" - une fureur calme et détachée, souvent exprimée sans les marqueurs de la tension de la voix - ne serait pas détectée, bien qu'elle puisse présager de la violence à l'école, a-t-il déclaré. Lors d'une conférence des chefs de police l'année dernière à Orlando, en Floride, un représentant de Louroe a montré le microphone à un journaliste de ProPublica et a fait remarquer que cela pourrait empêcher la prochaine fusillade dans une école ; un porte-parole de la société a précisé plus tard qu'il n'était pas conçu pour découvrir des tueurs silencieux.
Néanmoins, à chaque fusillade de masse, la demande de détecteurs d'agression et d'appareils similaires est susceptible de croître. Wallace, qui a installé le détecteur à Pinecrest, a déclaré qu'il espérait l'installer ailleurs dans le sud du Nevada, notamment dans les hôpitaux, les arrêts de bus et d'autres lieux publics.
"C'est toujours après un événement que quelque chose se passe avant de parler de solutions", a déclaré Shirey, le directeur de Pinecrest. "Mais pourquoi ne pas passer devant ? Nous devons nous adapter au monde tel qu'il est."