Incidents associés
Français Impact de l'audit ------------ ### Résumé des conclusions L'audit a révélé que le département de police de la ville de New York (NYPD) s'assure que la facturation, les factures et les paiements à ShotSpotter sont exacts et que ShotSpotter respecte généralement ses obligations contractuelles actuellement spécifiées. Les auditeurs ont constaté que les zones de couverture des capteurs ont été initialement mises en place à Brooklyn et dans le Bronx parce que les deux arrondissements avaient le plus grand nombre de fusillades confirmées et, au sein des deux arrondissements, elles étaient généralement placées dans les commissariats ayant le plus grand nombre de fusillades confirmées. L'audit a également révélé que ShotSpotter a atteint ses objectifs de performance contractuels, qui visent à éviter les « incidents manqués », la plupart du temps. Cependant, l'audit a révélé que la norme de performance contractuelle ne mesure pas si les alertes envoyées au NYPD aboutissent à des fusillades confirmées. Lorsqu'il est mesuré par rapport aux normes de performance contractuelles définies par le NYPD, ShotSpotter a atteint son objectif de 90 % pour éviter les incidents manqués dans presque tous les arrondissements à l'exception de Manhattan, mais lorsqu'il est mesuré par rapport au nombre de fusillades confirmées, la performance est bien inférieure. Français Au cours des mois d'examen échantillonnés en 2022 et 2023, les alertes ShotSpotter n'ont abouti à des fusillades confirmées qu'entre 8 % et 20 % du temps. Au cours du mois de juin 2023, par exemple, sur les 940 alertes ShotSpotter auxquelles le NYPD a répondu, 771 n'ont pas pu être confirmées comme des fusillades à l'arrivée sur les lieux (82 %), 47 ont été jugées sans fondement (5 %) et 122 ont été confirmées comme des fusillades (13 %). Les agents du NYPD ont passé 426,9 heures à enquêter sur des alertes qui n'ont pas été confirmées comme des fusillades. Si un seul agent est intervenu, cela équivaut à près de 36 quarts de travail de douze heures ; si deux agents interviennent, ce nombre double.[1] Le NYPD ne suit pas actuellement le temps ─ ou les coûts de personnel associés ─ consacrés à répondre à de tels cas. Le NYPD n'est pas d'accord avec le fait que les fusillades confirmées doivent être utilisées pour mesurer les performances de ShotSpotter. Il affirme que ShotSpotter améliore le temps de réponse aux éventuels coups de feu tirés, ce qui augmente à son tour la capacité à fournir une assistance aux victimes, augmente la sécurité des agents et fournit une localisation plus précise de la fusillade éventuelle qu'un appel au 911 seul. Cependant, le NYPD ne mesure pas les temps de réponse aux alertes ShotSpotter en comparaison avec les temps de réponse aux appels 911 aux coups de feu tirés à l'extérieur, la mesure la plus proche des alertes ShotSpotter. L'audit a analysé les deux ensembles de données, le rapport interne de suivi OCD ShotSpotter du NYPD et le rapport Open Data NYPD Call for Service, et a constaté qu'au cours du mois de juin 2023, les temps de réponse moyens aux alertes ShotSpotter étaient 1 minute et 38 secondes plus rapides que les temps de réponse aux rapports au 911 de coups de feu tirés en extérieur (3 minutes 50 secondes pour ShotSpotter contre 5 minutes 28 secondes pour le 911), bien moins que la différence de 5 minutes revendiquée dans les données accessibles au public.[2] L'audit a révélé que la collecte de données du NYPD devrait être améliorée, analysée de manière plus critique et publiée dans un souci de transparence avant Le contrat de ShotSpotter, qui expire en décembre 2024, est renouvelé. Les données actuellement collectées et publiées par le NYPD ne permettent pas une évaluation complète de l'efficacité ou de l'économie de l'outil, n'informent pas pleinement le public ou les responsables gouvernementaux intéressés par les performances de ShotSpotter et ne permettent donc pas actuellement de renouveler le contrat. ### Avantages escomptés L'audit accroît la transparence autour de l'utilisation de ShotSpotter et soulève des questions concernant l'évaluation par le NYPD de ses performances. Le NYPD a déjà dépensé plus de 45 millions de dollars pour ce produit et s'est engagé à dépenser 9 millions de dollars supplémentaires avant la fin de la durée actuelle du contrat. L'audit demande au NYPD d'évaluer de manière critique et complète les performances de ShotSpotter et de déterminer si son utilisation continue reste dans l'intérêt supérieur de la ville. Introduction ------------ ### Contexte #### Système ShotSpotter Le système ShotSpotter (ShotSpotter) est un système de détection et de localisation des coups de feu (GDLS) qui utilise des capteurs acoustiques pour détecter l'activité des coups de feu afin d'aider le NYPD à localiser l'emplacement des coups de feu suspects dans les zones couvertes par le système. Il y a actuellement plus de 2 000 capteurs installés dans les cinq arrondissements. Le système a été créé et est géré par ShotSpotter, Inc.[3] Lorsque les capteurs ShotSpotter détectent un coup de feu suspect, cette activité est signalée au centre d'examen des incidents de ShotSpotter, qui est composé d'employés de ShotSpotter. Chaque alerte enregistrée est analysée au centre d'examen des incidents de ShotSpotter. L'examen est destiné à confirmer ou à modifier la classification de la machine du type d'incident et est conçu pour être terminé en moins de 60 secondes. La plupart des activités détectées par les capteurs ShotSpotter sont examinées et rejetées comme n'étant pas des coups de feu. Elles n'entraînent pas d'alertes au NYPD. Si l'examinateur classe l'incident comme un coup de feu, ShotSpotter envoie une alerte au NYPD avec des détails, tels que le nombre de coups de feu détectés, s'il semble que plusieurs tireurs soient impliqués et si des armes de grande capacité ou entièrement automatiques sont censées avoir été utilisées. Ensuite, la division des opérations du NYPD reçoit une alerte via son système de détection de domaine. L'incident de tir potentiel est créé dans le système et acheminé vers le commissariat de police de New York approprié, où les policiers reçoivent des alertes sur leurs téléphones.[4] Ils peuvent ensuite être envoyés sur le lieu de l'incident pour enquêter. Les caméras de télévision en circuit fermé (CCTV) auxquelles accède le NYPD peuvent également être utilisées en conjonction avec le GDLS pour visualiser l'emplacement détecté par le système. #### Préoccupations/débats de la communauté Bien que ShotSpotter soit largement utilisé dans les grandes villes des États-Unis, des débats sont en cours sur l'utilisation de cette technologie.[5] Les partisans ont attribué à la détection de ShotSpotter une réponse plus rapide de la police aux incidents de fusillade, tandis que les critiques ont exprimé des inquiétudes quant à la précision des alertes ShotSpotter. Les critiques notent que les faux positifs --- tels que les feux d'artifice ou d'autres sons forts --- peuvent conduire à une sur-police dans les quartiers minoritaires puisque les agents sont dépêchés alors qu'aucun crime n'a été commis. Les critiques ont également exprimé des inquiétudes quant à la capacité de ShotSpotter à surveiller les conversations privées. En juillet 2019, à la demande de ShotSpotter, le Policing Project de la faculté de droit de l'université de New York a mené un audit et une évaluation de la confidentialité de la technologie de détection des coups de feu de ShotSpotter, Inc. L'audit de l'université de New York a révélé que la technologie ShotSpotter « présente des risques relativement limités en matière de confidentialité », mais a également noté une faible possibilité que la technologie « puisse capturer les voix des individus à proximité des capteurs et puisse éventuellement être utilisée pour une surveillance vocale délibérée ». L'audit du Policing Project a formulé plusieurs recommandations que ShotSpotter déclare avoir adoptées. Français Il s'agissait notamment de réduire l'audio stocké sur leurs capteurs, d'améliorer les contrôles et la supervision de l'accès audio, d'accepter de ne pas partager l'emplacement des capteurs et de refuser les demandes et les assignations à comparaître pour les données audio.[6] Au cours de cet audit, le NYPD a informé l'équipe que ShotSpotter ne divulgue pas l'emplacement exact de ses capteurs au NYPD. #### Contrat du NYPD avec ShotSpotter En 2014, le NYPD a conclu un accord avec ShotSpotter pour mettre en œuvre le système de détection et de localisation des coups de feu. La phase I de l'accord exigeait que ShotSpotter mette en place et maintienne le système dans cinq zones de couverture, que ShotSpotter a divisées en zones au sein des arrondissements, couvrant environ 15 miles carrés dans la ville de New York pendant un an. Selon l'accord, les zones de couverture « englobent les commissariats de police de New York qui ont non seulement le plus grand nombre de fusillades confirmées, mais aussi un nombre élevé d'appels au 911 pour des coups de feu ». L'accord a été modifié une fois en août 2015 pour s'étendre à trois zones de couverture supplémentaires (phase II), pour un total de huit zones de couverture. À la conclusion du premier accord, le NYPD a conclu un deuxième accord avec ShotSpotter en 2016 (phase III) pour maintenir les zones de couverture existantes et s'étendre de manière significative à 20 zones de couverture, avec une couverture d'environ 60 miles carrés. Le contrat exige que ShotSpotter fournisse tous les services et équipements nécessaires à la maintenance et à l'expansion du système. Les termes de l'accord de 2016 comprenaient quatre ans de services d'abonnement pour les huit zones de couverture dans le cadre de l'accord de 2015 et cinq ans de services d'abonnement pour les zones étendues dans le cadre de cet accord. Le NYPD a ensuite modifié l'accord quatre fois (phases IV à VI) pour augmenter encore la zone de couverture à un total de 90,33 miles carrés. À ce jour, les cinq arrondissements ont installé des capteurs ShotSpotter dans les zones où les taux d'incidents de fusillade confirmés sont les plus élevés. En 2021, le NYPD a exercé la première option de renouvellement de trois ans pour prolonger le contrat jusqu'en décembre 2024. Le renouvellement de trois ans a augmenté le montant du contrat de 22 millions de dollars, portant le montant total du contrat à 54,6 millions de dollars. Entre le 14 août 2014 et le 30 juin 2023, le NYPD a versé 45,4 millions de dollars à ShotSpotter. #### Renouvellement du contrat du NYPD en 2021 et norme de performance Lorsque l'accord a été renouvelé en 2021, le NYPD a inclus un accord de niveau de service (SLA) comme niveau de surveillance supplémentaire, établissant une norme de performance selon laquelle « 90 % des incidents de tirs en extérieur non supprimés utilisant des balles standard disponibles dans le commerce supérieures à un calibre .25 à l'intérieur des zones de couverture seront détectés et localisés à moins de 25 mètres de l'emplacement réel du coup de feu. » Si ShotSpotter ne parvient pas à identifier ou à classer correctement un certain nombre d'incidents liés à des coups de feu et ne parvient donc pas à atteindre le taux de performance de 90 % pendant au moins deux mois du trimestre pour un arrondissement, un crédit SLA égal aux frais de ShotSpotter pour deux semaines de service pour l'arrondissement concerné est appliqué. Le crédit peut être déduit de la facture de ShotSpotter pour la prochaine période d'abonnement annuel, ou pour une extension de ShotSpotter, ou un remboursement au NYPD s'il choisit de ne pas procéder au prochain renouvellement d'abonnement. Les performances et l'objectif de 90 % sont définis dans le contrat. Cette mesure et d'autres mesures de l'efficacité de l'outil sont décrites plus en détail ci-dessous. ### Objectifs Les objectifs de cet audit étaient de déterminer si le NYPD surveille et évalue correctement le système de détection et de localisation des coups de feu, examine et approuve correctement les factures ShotSpotter et de confirmer si les capteurs étaient initialement placés dans des endroits de la ville où les taux de tirs sont les plus élevés. ### Discussion des résultats de l'audit avec le NYPD Les questions abordées dans ce rapport ont été discutées avec les responsables du NYPD pendant et à la fin de cet audit. Un résumé de la conférence de sortie a été envoyé au NYPD et discuté avec les responsables du NYPD lors d'une conférence de sortie tenue le 17 novembre 2023. Le 27 novembre 2023, nous avons soumis un projet de rapport au NYPD avec une demande de commentaires écrits. Nous avons reçu une réponse écrite du NYPD le 22 décembre 2023. Suite à un examen actualisé du temps de réponse du NYPD aux alertes ShotSpotter par rapport aux appels au 911 pour signaler des fusillades à l'extérieur et à une analyse du temps passé par le NYPD à conclure les enquêtes préliminaires sur les alertes ShotSpotter, les informations de l'audit ont été modifiées et un projet de rapport révisé a été publié le 9 mai 2024. Nous avons reçu une réponse écrite du NYPD le 3 juin 2024. Dans sa réponse, le NYPD a accepté deux recommandations, a désapprouvé une recommandation et n'a pas précisé s'il était d'accord ou non avec deux recommandations. La réponse écrite du NYPD a été pleinement prise en compte et, le cas échéant, des modifications et des commentaires ont été ajoutés au rapport. Français Le texte intégral de la réponse du NYPD est inclus en addenda à ce rapport. Constatations détaillées ----------------- Bien que le NYPD ait généralement exercé une surveillance appropriée sur le fournisseur, l'audit a révélé que la norme de performance contractuelle utilisée par le NYPD pour mesurer les performances de ShotSpotter ne mesure pas si les alertes envoyées au NYPD aboutissent à des fusillades confirmées. ### La norme de performance adoptée par le NYPD donne lieu à des notes artificiellement élevées pour ShotSpotter Le contrat entre le NYPD et ShotSpotter mesure les performances sur la base d'une formule qui donne lieu à des notes très élevées pour l'outil dans la plupart des arrondissements, à l'exception de Manhattan. Depuis mars 2022, ShotSpotter est tenu d'atteindre un objectif de performance de 90 % « de tirs communautaires détectables (en extérieur, non supprimés) qui se produisent dans une zone de couverture ». Le fait que cet objectif soit atteint ou non est basé sur la formule suivante : Incidents publiés / (incidents publiés + incidents manqués + faux négatifs)* [7]* Les « incidents publiés » sont des alertes enregistrées identifiées par les analystes du centre d'examen des incidents ShotSpotter comme des incidents de tir probables détectés par les appareils ShotSpotter et signalés au NYPD. Les analystes examinent l'audio de l'incident ainsi que les « caractéristiques visuelles des impulsions détectées et de l'incident, telles que le nombre de capteurs participants, la forme d'onde, l'alignement des impulsions et la direction du son ». Ces facteurs déterminent si une alerte est envoyée au NYPD. Les « incidents manqués » sont définis comme des incidents de tir confirmés qui se produisent à l'extérieur, dans les zones de couverture de ShotSpotter, et qui ne sont pas détectés par le système. Si le NYPD est alerté par le 911 ou une patrouille d'un incident de tir et qu'aucune alerte n'a été envoyée par ShotSpotter, le NYPD informe immédiatement ShotSpotter d'un incident manqué. Les « faux négatifs » sont des incidents de tir classés à tort comme non liés à des coups de feu sur la base d'un examen par le personnel de ShotSpotter, ou lorsqu'ils sont automatiquement rejetés par le système. Dans ces cas, aucune alerte n'a été envoyée au NYPD, mais le NYPD a informé ShotSpotter qu'un incident de tir s'est produit. Pour déterminer le taux de performance de ShotSpotter, la formule mentionnée précédemment est appliquée et le nombre total d'incidents publiés est divisé par le total combiné des incidents publiés plus tous les incidents manqués et les faux négatifs, pour chaque période examinée. En appliquant cette norme, ShotSpotter a atteint ses objectifs de performance au cours de l'année civile 2022 dans toutes les zones, à l'exception de celles situées à Manhattan, où ShotSpotter n'a pas réussi à atteindre l'objectif de performance de 90 % pendant 8 mois sur 12, avec des taux de performance allant de 78 % à 89 %. Au cours des mois au cours desquels ShotSpotter n'a pas atteint son objectif, le nombre d'incidents manqués et de faux négatifs a été plus élevé, comme indiqué ci-dessous dans le tableau I. Le nombre d'incidents de fusillade confirmés qui ont été manqués par ShotSpotter à Manhattan a culminé à 25 en février 2022. Au cours de 10 mois sur 12 en 2022, ShotSpotter a manqué 10 incidents de fusillade confirmés ou plus. Le nombre de faux négatifs variait entre 2 et 11 pendant cette période. L'examen par les auditeurs des données disponibles des années précédentes a montré qu'il s'agissait d'un problème constant entre août 2019 et décembre 2022. Durant cette période, ShotSpotter n'a pas réussi à atteindre le taux de performance de 90 % à Manhattan pendant 30 des 41 mois.[8] Selon ShotSpotter, les capteurs n'ont pas détecté certaines activités de coups de feu pour plusieurs raisons, notamment le niveau de bruit élevé, la nature de la construction dans le quartier de Harlem à Manhattan et la densité des bâtiments. ShotSpotter a déclaré avoir pris des mesures pour améliorer ses performances à Harlem en déplaçant et en remplaçant les capteurs et en enquêtant sur les zones de couverture. Les rapports mensuels montrent qu'entre janvier et juin 2023, le taux de performance contractuel a dépassé 90 % dans les cinq arrondissements. ### Taux très faibles de tirs confirmés détectés Lorsqu'il est évalué selon la formule convenue par le NYPD et ShotSpotter, l'outil fonctionne très bien. Cependant, la norme de performance du contrat ne prend pas en compte les faux positifs ou n'évalue pas directement la capacité de l'outil à identifier les incidents de tir confirmés. Pour ce faire, les auditeurs ont examiné les données du rapport de suivi ShotSpotter du NYPD (rapport OCD) pour déterminer la corrélation entre les alertes ShotSpotter et les incidents de tir confirmés au cours des mois échantillonnés de l'exercice 2023. La division des opérations du NYPD conserve le rapport OCD pour suivre les données de ShotSpotter, y compris le nombre d'alertes et de fusillades confirmées. Les alertes ShotSpotter sont considérées comme des incidents de tir confirmés lorsque le NYPD récupère des preuves telles que des armes à feu, des données balistiques ou des vidéos, ou s'il y a des témoins oculaires, des victimes abattues, des arrestations sommaires ou des appels au 911 qui signalent une fusillade. Français Les auditeurs ont d'abord examiné les mois de juillet 2022 et de septembre 2022 et ont constaté que seulement 20 % et 17 % des alertes ShotSpotter de ces mois étaient des fusillades confirmées. En raison du faible pourcentage de fusillades confirmées enregistrées au cours de ces mois, l'échantillon a été élargi pour inclure la période de janvier à juin 2023. Au cours de cette période, le pourcentage d'incidents de fusillade confirmés était encore plus faible, tombant à des taux allant de 8 % à 13 %. L'analyse à l'appui de ces chiffres apparaît ci-dessous dans les graphiques I et II. Le 28 septembre 2023, les auditeurs ont rencontré le NYPD pour discuter du faible pourcentage d'incidents de fusillade confirmés crédités aux alertes ShotSpotter. Le NYPD soutient que le nombre de fusillades confirmées dans le rapport OCD n'est pas une mesure appropriée de la performance car il ne capture que les fusillades confirmées sur la base de l'enquête menée sur les lieux. Le NYPD affirme que le nombre de fusillades confirmées peut être plus élevé. Le NYPD suggère que des événements ultérieurs non suivis actuellement peuvent ultérieurement modifier la disposition d'une alerte en confirmée ; Cependant, cette affirmation ne peut pas être testée précisément car le NYPD ne collecte pas les données nécessaires. Graphique I : Nombre d'incidents de fusillades confirmés par rapport au total des alertes ShotSpotter 
Graphique II : Pourcentage d'alertes ShotSpotter ayant conduit à des incidents de fusillades confirmés 
### 426,9 heures passées à répondre à des coups de feu non fondés et non confirmés en un seul mois Chaque fois qu'une alerte ShotSpotter est jugée digne d'une enquête, des policiers sont déployés sur les lieux. Si aucune preuve d'un coup de feu n'est trouvée, le déploiement et tout temps associé passé à enquêter sur l'alerte représentent un gaspillage potentiel de ressources. Le NYPD ne collecte ni n'analyse directement ces informations, mais les auditeurs ont pu estimer le temps passé à répondre aux alertes ShotSpotter au cours du mois de juin 2023, en utilisant le temps de déploiement en réponse à une alerte, le « temps de clôture » enregistré dans le rapport Open Data et la disposition rapportée de l'enquête qui a immédiatement suivi. [9] Au cours du mois de juin 2023, un total de 940 alertes ShotSpotter (doublons déduits) ont été reçues par le NYPD. Comme le montre le tableau II ci-dessous, la majorité des alertes ShotSpotter étaient soit non confirmées (82 %), lorsque le NYPD n'a pas pu confirmer qu'un coup de feu avait été tiré en raison d'un manque de preuves, soit l'enquête a abouti à la catégorisation d'une alerte comme non fondée/faux positif (5 %). Seulement 122 des alertes (13 %) ont abouti à des fusillades confirmées. Cependant, des agents du NYPD ont été dépêchés sur place pour répondre à l'ensemble des 940 alertes et du temps a été consacré à leur enquête. Les agents du NYPD ont répondu à 47 alertes non fondées et 771 alertes non confirmées. Les dossiers montrent que les agents ont passé en moyenne 20 minutes à enquêter sur des alertes non fondées et 32 minutes à enquêter sur des coups de feu non confirmés. Cela représente un total de 940 minutes consacrées à enquêter sur des alertes non fondées et près de 25 000 minutes à enquêter sur des alertes non confirmées en un seul mois. Les deux catégories combinées représentent 426,9 heures au cours d'un seul mois. Si un seul agent répond, cela équivaut à 36 quarts de travail de douze heures ; Si deux agents répondent, le nombre de quarts de travail perdus double (voir le tableau II ci-dessous). Réparti sur une année, cela représente potentiellement un gaspillage important d'heures de travail des agents. Cela a à son tour des conséquences financières que la ville ne peut pas se permettre. [10] Lors d'une réunion tenue le 15 mai 2024 et dans sa réponse à l'audit, le NYPD a expliqué que les agents ne sont pas appelés à faire des heures supplémentaires pour répondre aux alertes ShotSpotter puisque les agents déjà en patrouille affectés aux commissariats répondront. Cependant, il est possible qu'en répondant à des alertes non confirmées et en menant des enquêtes inutiles, l'utilisation globale du temps des agents puisse être affectée et que cela puisse à son tour affecter le besoin global d'heures supplémentaires. ### Le NYPD n'analyse ni ne publie de données complètes sur les performances de ShotSpotter L'évaluation par le NYPD des performances de ShotSpotter est insuffisante pour tenir le fournisseur responsable, et les données capturées, analysées et rapportées ne sont pas suffisantes pour démontrer l'efficacité de l'outil. Bien que le NYPD ait la capacité de compter le pourcentage d'alertes confirmées comme des fusillades, il ne calcule ni ne publie ce chiffre. Le NYPD conteste qu'il s'agisse d'une mesure utile de l'efficacité de ShotSpotter, et soutient en outre que le nombre réel de fusillades confirmées peut être plus élevé que celui calculé par les auditeurs. En effet, il ne capture que la disposition initiale après enquête dans le rapport OCD. Le NYPD ne suit pas si un coup de feu qui n'est pas confirmé immédiatement après une alerte est confirmé ultérieurement comme une fusillade, mais ce n'est pas une bonne raison pour ne pas mesurer ShotSpotter en fonction du taux de détection des fusillades confirmées. Le NYPD doit capturer et évaluer toutes les informations nécessaires pour déterminer avec précision le taux de détection des fusillades confirmées. Le fait de savoir si ShotSpotter détecte avec précision les fusillades est une information essentielle pour déterminer s'il s'agit d'un outil efficace. Le NYPD devrait compter le gaspillage lors de l'évaluation de ShotSpotter Le NYPD n'évalue pas actuellement le gaspillage potentiel des heures de travail des agents consacrées à répondre aux alertes non fondées ou non confirmées. Le NYPD dispose des données nécessaires pour effectuer une telle analyse, mais la manière dont les données sont actuellement saisies rend ce processus laborieux. Le NYPD suit le temps écoulé entre la réception d'une alerte ShotSpotter et l'arrivée de la première unité de patrouille, ainsi que la disposition immédiate, dans le rapport OCD utilisé pour capturer les données ShotSpotter, mais il ne capture pas la fin de l'enquête initiale ou l'heure de départ des agents dépêchés en réponse à une alerte. Ces informations sont plutôt saisies comme une « heure de clôture » de chaque incident dans le rapport Open Data NYPD Call for Services. Pour calculer le temps passé à répondre aux alertes non fondées ou non confirmées, il faut faire correspondre manuellement les événements dans les deux ensembles de données, puis calculer manuellement le temps passé. Le NYPD devrait s'assurer qu'il peut facilement identifier et signaler le temps passé par les agents à répondre aux rapports non fondés et non confirmés de coups de feu tirés - ainsi que les coûts associés au PS (personnel), sur une base régulière. Suivi des temps de réponse relatifs Le NYPD soutient que le temps de réponse aux alertes ShotSpotter sauve des vies, mais il ne capture pas et ne compare pas actuellement la différence entre les temps de réponse aux alertes et les appels au 911 effectués pour signaler des fusillades en extérieur. Les auditeurs ont pu calculer un temps de réponse moyen en comparant deux ensembles de données, le rapport interne de suivi OCD ShotSpotter du NYPD et le rapport Open Data NYPD Call for Service, et ont constaté qu'au cours du mois de juin 2023, les temps de réponse moyens aux alertes ShotSpotter étaient 1 minute et 38 secondes plus rapides que les temps de réponse aux signalements au 911 de coups de feu tirés en extérieur (3 minutes 50 secondes pour ShotSpotter contre 5 minutes 28 secondes pour le 911), bien moins que la différence de 5 minutes revendiquée dans les données accessibles au public. Le calcul du temps de réponse moyen a nécessité beaucoup de travail ; le NYPD devrait améliorer sa capacité à générer et à examiner ces données afin de pouvoir évaluer les temps de réponse relatifs de manière continue et cohérente. Lors d'une réunion le 15 mai 2024 et dans sa réponse à l'audit, le NYPD soutient que le décalage horaire est en fait plus important puisque les données ne peuvent pas saisir le temps qu'il faut à une personne pour appeler le 911. Le NYPD a expliqué que les alertes ShotSpotter sont envoyées au NYPD en moyenne dans les 60 secondes suivant l'examen du son, tandis qu'une personne appelant le 911 pour signaler une fusillade peut hésiter et attendre des minutes avant d'appeler le 911. Comme indiqué lors de la réunion, il n'est pas possible pour le NYPD ou les auditeurs de connaître ou d'analyser le nombre de minutes qu'il faut à une personne pour appeler le 911 après avoir entendu d'éventuels coups de feu. Néanmoins, la responsabilité du NYPD en matière de surveillance et de supervision de ShotSpotter s'étend à la garantie que les données nécessaires à l'évaluation complète de l'efficacité et de l'économie de l'outil sont saisies, évaluées de manière critique et rendues publiques. ### Le placement des capteurs est généralement corrélé aux zones à taux de fusillades élevé En raison des inquiétudes du public concernant l'impact du système dans les quartiers à majorité minoritaire, les auditeurs se sont demandés comment le NYPD déterminait les zones de couverture.[11] Le NYPD et ShotSpotter ont déclaré que les décisions de couverture étaient basées sur le nombre de fusillades confirmées ayant fait l'objet d'une enquête du NYPD et sur les rapports 911 de coups de feu tirés. Selon les responsables du NYPD, le Bureau du chef de département et le Bureau des stratégies de contrôle de la criminalité ont utilisé les informations sur les fusillades des années précédentes et les données historiques sur la criminalité pour décider des zones de couverture initiales, en utilisant la même méthodologie à chaque fois que le programme s'est étendu. L'examen par les auditeurs des données sur les fusillades confirmées pour 2014 et 2022 confirme généralement cette affirmation, avec quelques réserves. Pour déterminer si les capteurs ont été initialement placés dans les zones où le nombre de fusillades confirmées était le plus élevé, les auditeurs ont examiné et comparé les données sur les fusillades confirmées pour 2014 rapportées par le NYPD sur NYC Open Data et les ont comparées aux zones de couverture des capteurs dans les commissariats de police concernés.[12] Cela a été compliqué par le fait que les données sur les fusillades sont enregistrées par commissariat, alors que les zones de couverture ne correspondent pas directement aux limites des commissariats --- les zones couvrent des zones qui se chevauchent et qui peuvent inclure un ou plusieurs commissariats ou des parties de ceux-ci. En 2015, le NYPD a décidé d'établir cinq zones de couverture couvrant 14 circonscriptions à Brooklyn (neuf circonscriptions) et dans le Bronx (cinq circonscriptions). Cela a été déterminé sur la base des données sur les fusillades des années précédentes, qui ont montré que Brooklyn et le Bronx avaient les statistiques globales de fusillades les plus élevées des cinq arrondissements. Cela a continué à être vrai jusqu'en 2022. Voir le graphique III ci-dessous pour une comparaison du nombre total d'incidents par balle par arrondissement pour 2014 et 2022. Graphique III : Total des incidents par balle confirmés par arrondissement (2014 et 2022) 
Comme le montre le graphique III, en 2014, le Bronx et Brooklyn ont enregistré le plus grand nombre de fusillades confirmées - 446 dans le Bronx et 614 à Brooklyn. Les auditeurs ont également examiné de près l’emplacement initial des capteurs par circonscription. L’analyse a révélé que les capteurs n’étaient pas toujours placés dans les circonscriptions où le nombre de fusillades confirmées était le plus élevé. Français Bien que tous les commissariats ayant enregistré le plus grand nombre de fusillades, à l'exception d'un seul, soient situés dans le Bronx et à Brooklyn, les capteurs n'ont pas toujours été placés dans les commissariats ayant enregistré le plus grand nombre de fusillades dans ces deux arrondissements.[13] Les capteurs ont été initialement placés dans cinq zones englobant 14 commissariats --- neuf commissariats ayant enregistré certains des plus grands nombres de fusillades confirmées (allant de 39 à 86 par commissariat) et cinq commissariats voisins ayant enregistré un nombre inférieur (mais toujours élevé) de fusillades confirmées (allant de 21 à 37 par commissariat). Français Cependant, il y avait cinq autres zones de circonscription avec des taux de fusillades élevés (allant de 38 à 59 par circonscription) qui n'ont pas été inexplicablement incluses dans le placement initial des capteurs. Des capteurs ont été initialement installés dans les circonscriptions suivantes : 40, 41, 42, 46 et 48 dans le Bronx ; et 67, 71, 73, 75, 77, 79, 81, 83 et 90 à Brooklyn. Ils n'ont pas été placés dans les circonscriptions 43, 44, 47, 69 et 113, qui avaient toutes des taux de fusillades élevés. Ces circonscriptions ont ensuite été ajoutées aux zones de couverture en 2016, 2017 et 2018. Le tableau III ci-dessous répertorie les années où la couverture a été ajoutée. #### Cartographie des fusillades confirmées Pour examiner l'emplacement des capteurs dans toute la ville, les auditeurs ont cartographié les fusillades confirmées par arrondissement et par circonscription. Ces cartes montrent une forte concentration de fusillades dans les zones couvertes en 2014 et 2022. Les points sur la carte I et la carte II ci-dessous indiquent les fusillades confirmées par circonscription en 2014 et 2022, respectivement. La carte III montre les zones de couverture de ShotSpotter en 2022, superposées aux fusillades confirmées. Carte I : Total des incidents par balle confirmés par circonscription (2014) 
Carte II : Total des incidents par balle confirmés par circonscription (2022) 
Carte III : Zones de couverture de ShotSpotter (2022) 
Pour l'année civile 2022, les auditeurs ont déterminé que les capteurs étaient généralement placés dans les zones où le nombre de fusillades confirmées était le plus élevé. Français Cela a été fait en superposant les zones de couverture ShotSpotter sur une carte montrant le nombre de fusillades confirmées en 2022 pour tous les arrondissements et circonscriptions. Là encore, cet effort a été compliqué dans certains cas, car les zones de couverture ShotSpotter ne correspondent pas directement aux limites des circonscriptions et peuvent englober plusieurs circonscriptions, qui peuvent inclure des secteurs plus petits au sein d'une circonscription. Par exemple, le 41e arrondissement du Bronx n'a peut-être pas le plus grand nombre de fusillades dans l'ensemble, mais la zone avec des capteurs dans le 41e arrondissement chevauche les 40e et 42e arrondissements dans une zone avec un nombre élevé de fusillades confirmées. #### Données au niveau des circonscriptions Le NYPD affirme avoir établi des zones ShotSpotter sur la base du plus grand nombre de fusillades et des données historiques sur la criminalité, et déclare en outre avoir déterminé avec précision les zones ShotSpotter sur la base de taux de fusillades plus élevés qui n'étaient pas corrélés aux circonscriptions dans leur ensemble. Par conséquent, les zones ShotSpotter peuvent englober des zones de plusieurs commissariats qui ont enregistré de nombreuses fusillades dans les zones de couverture globale. Cela a été difficile à vérifier pour les auditeurs car le NYPD ne connaît pas l'emplacement exact des capteurs. Cependant, les zones de couverture sont globalement cohérentes avec les données sur les fusillades au niveau des commissariats. Si le NYPD avait placé des capteurs en se basant uniquement sur les données confirmées sur les fusillades disponibles pour chaque commissariat, ShotSpotter aurait été déployé dans l'ordre du plus élevé au plus bas, dans les commissariats indiqués ci-dessous, dans le tableau III. Si le NYPD s'était uniquement basé sur ces données, quatre commissariats - 47, 44, 43 et 69 - auraient été couverts plus tôt. Tous les districts ci-dessous, sauf un, se situent dans les zones de couverture initiales du Bronx et de Brooklyn.[14] ### Le NYPD ne paie pas les factures en temps opportun L'article 4-06 des règles du Procurement Policy Board (règles PPB) exige des paiements rapides aux entreprises et organisations qui font des affaires avec la ville. Français Il stipule que le processus de paiement des factures devrait prendre 30 jours ou moins, après la date de réception ou d'acceptation de la facture (date IRA).[15] Après avoir examiné les factures de ShotSpotter et les paiements de factures du NYPD pour les exercices 2021 à 2023, les auditeurs ont constaté que le NYPD prenait en moyenne 94 jours pour payer les factures. Le NYPD a déclaré que cela était dû au fait que de nombreux employés étaient chez eux pendant la pandémie et n'avaient pas accès aux dossiers physiques à ce moment-là. Français Cependant, les auditeurs ont constaté que le NYPD avait quand même payé ses factures en retard en 2023. Par exemple, une facture soumise en décembre 2022 n'a été payée qu'en avril 2023. Le NYPD a déclaré que ShotSpotter n'avait émis aucune pénalité pour le paiement de factures après le délai de 30 jours suivant la date de l'IRA. Il est important que le NYPD paie ses fournisseurs à temps, car les règles du PPB permettent aux fournisseurs de facturer des intérêts sur les paiements en retard. La ville a également pour politique de traiter les paiements contractuels de manière efficace et rapide afin de garantir le paiement en temps opportun aux entreprises et organisations qui font affaire avec la ville. Recommandations --------------- Pour répondre aux constatations susmentionnées, les auditeurs proposent que le NYPD : 1. Refuser de renouveler le contrat de ShotSpotter lorsqu'il expirera en décembre 2024 sans avoir au préalable procédé à une évaluation plus approfondie des performances, compte tenu des très faibles taux d'incidents de fusillades confirmés détectés, et en tenant compte du temps considérable passé par les agents du NYPD à répondre à des alertes qui ne sont finalement pas confirmées comme des fusillades. Réponse du NYPD : Le NYPD n'était pas d'accord avec cette recommandation, déclarant que « ... le non-renouvellement des services ShotSpotter pourrait mettre en danger le public et ne pas renouveler le contrat ShotSpotter jusqu'à ce que le Département effectue une analyse plus approfondie serait une mesure prématurée. Le Département continuera à avoir des discussions avec ShotSpotter afin d'améliorer les performances et l'évaluation de la technologie ; cependant, il n'est pas possible de mener une évaluation avant la période de renouvellement du contrat.... En résumé, la perte du programme ShotSpotter entraînerait un environnement de travail moins sûr pour les agents et une augmentation des risques de rencontres violentes pour tous les New-Yorkais. » Réponse de l'auditeur : Les auditeurs réitèrent la nécessité pour le NYPD de réévaluer les performances de ShotSpotter et sa capacité à détecter les fusillades avant le renouvellement du contrat ; nous notons qu'il reste près de 6 mois de la durée actuelle du contrat, ce qui laisse suffisamment de temps pour reconsidérer les performances globales du produit. 1. Élaborer des normes de performance plus significatives de la précision de ShotSpotter qui tiennent mieux compte du taux très élevé d'alertes qui ne sont finalement pas confirmées comme des fusillades. Réponse du NYPD : Le NYPD n'a pas été en désaccord ou en accord avec cette recommandation. Il a déclaré : « Le NYPD est limité dans ce qu'il peut considérer comme une « fusillade confirmée » en conjonction avec une alerte ShotSpotter en raison de la nature du travail de la police et des alertes qui n'entraînent pas la récupération de preuves (c'est-à-dire balistique, dommages matériels, douilles/munitions réelles, armes à feu, vidéo, témoins oculaires ou auditifs et/ou victimes). Comme indiqué lors de réunions précédentes, le Département est ouvert à toute recommandation d'audit pour des calculs de normes améliorés, mais n'a pas reçu de norme recommandée. » Réponse de l'auditeur : Les conclusions des auditeurs montrent une différence significative dans l'évaluation de l'outil en fonction de la norme de performance contractuelle et dans l'évaluation de la capacité de l'outil à détecter les fusillades réelles. Cette divergence est significative et doit être corrigée, le NYPD soutient dans sa réponse que les fusillades confirmées ne sont pas un moyen viable de mesurer son efficacité, en partie parce qu'il soutient que les « fusillades confirmées » n'incluent pas les confirmations qui surviennent après une enquête plus approfondie et d'autres activités. Le NYPD devrait être en mesure d'évaluer la précision globale de l'outil d'une manière qui tienne compte des confirmations qui arrivent plus tard dans le temps à mesure que davantage de preuves deviennent disponibles. 1. Pour accroître la transparence, le NYPD devrait collecter et publier des données pertinentes, notamment le nombre d'alertes publiées, le pourcentage d'alertes qui aboutissent à des fusillades confirmées, le nombre de faux négatifs et d'incidents manqués, le temps et les coûts du personnel consacrés à répondre aux alertes qui ne sont finalement pas confirmées comme des fusillades, et les délais de réponse relatifs aux alertes ShotSpotter par rapport aux rapports 911 de coups de feu tirés à l'extérieur. *Réponse du NYPD : *Le NYPD n'était pas d'accord ou en désaccord avec cette recommandation, il a déclaré que « le nombre de fusillades change constamment en fonction des enquêtes et d'autres facteurs qui suivent les fusillades et par conséquent, les parties qui ne connaissent pas les données pourraient mal interpréter les informations. En outre, cela devrait passer par différents canaux pour déterminer la faisabilité et la légalité d'une telle demande d'informations. » *Réponse de l'auditeur : *Les auditeurs réitèrent la nécessité d'une plus grande transparence. Français Il n'y a rien d'intrinsèquement confidentiel dans les différents points de données recommandés pour publication et compte tenu du niveau de débat public concernant les mérites de cet outil, il existe un fort intérêt public à rendre les données disponibles pour examen. 1. Continuer à assurer le suivi avec ShotSpotter, Inc. sur les zones de couverture où le taux de performance de 90 % n'est pas atteint et s'assurer que ShotSpotter, Inc. respecte le taux de performance convenu dans le cadre de l'accord sur le niveau de service. Réponse du NYPD : le NYPD a accepté cette recommandation. 1. Payer ses factures dans les 30 jours suivant la date de réception ou d'acceptation de la facture, conformément au règlement du Procurement Policy Board § 4-06. Réponse du NYPD : le NYPD a accepté cette recommandation. ### Suivi des recommandations Un suivi sera effectué périodiquement pour déterminer l'état de mise en œuvre de chaque recommandation contenue dans ce rapport. Portée et méthodologie --------------------- Nous avons mené cet audit de performance conformément aux normes d'audit gouvernementales généralement reconnues (GAGAS). Les GAGAS exigent que nous planifiions et réalisions l'audit afin d'obtenir des preuves suffisantes et appropriées pour fournir une base raisonnable à nos constatations et conclusions en fonction de nos objectifs d'audit. Nous pensons que les preuves obtenues fournissent une base raisonnable à nos constatations et conclusions dans le contexte de nos objectifs d'audit. Cet audit a été mené conformément aux responsabilités d'audit du contrôleur de la ville telles qu'énoncées au chapitre 5, §93, de la charte de la ville de New York. La portée de cet audit s'étendait du 1er juillet 2020 au 30 juin 2023.[16] Pour comprendre le contrat entre le NYPD et ShotSpotter, Inc. pour le système de détection et de localisation des coups de feu, les auditeurs ont obtenu et examiné les éléments suivants : - Règles du Procurement Policy Board (PPB) -- Règles de la ville de New York -- Titre 9 - Directive du contrôleur n° 1 -- « Principes de contrôle interne » - Code administratif de New York -- Titre 6 -- Contrats, achats et franchises - Accords contractuels, avenants et accord de renouvellement du NYPD avec ShotSpotter, Inc. - Guide administratif du NYPD -- Procédure 325-43 Pour atteindre les objectifs de l'audit et comprendre la surveillance par le NYPD de son contrat avec ShotSpotter et de son processus de paiement, les auditeurs ont effectué des visites avec les responsables suivants du NYPD : - Le directeur et un auditeur de l'unité de responsabilité fiscale du NYPD, - Le directeur et le capitaine de la division des affaires fiscales du Bureau des technologies de l'information (ITB), - L'inspecteur adjoint de l'ITB, - L'inspecteur adjoint et deux lieutenants de la division des opérations du NYPD, - Le chef adjoint des stratégies de contrôle de la criminalité Pour comprendre le système de détection et de localisation des coups de feu, les auditeurs ont effectué des visites avec les responsables suivants de ShotSpotter Inc. : - Le vice-président principal du support client et des services professionnels, - L'ingénieur de support technique Pour examiner l'exactitude et la rapidité des paiements des factures du NYPD à ShotSpotter, les auditeurs ont extrait indépendamment le fichier de données de l'historique des demandes de paiement par fournisseur du système de gestion financière de la ville (FMS) pour les exercices 2021 à 2023 et les ont comparés aux factures de ShotSpotter pour les exercices 2021 à Exercice 2023. Pour déterminer la fiabilité des données de paiement des factures du NYPD, les auditeurs ont examiné les données de CheckBook NYC pour les exercices 2021 à 2023 afin de les comparer aux données du FMS pour les exercices 2021 à 2023. Pour déterminer l'efficacité du système de détection et de localisation des coups de feu, les auditeurs ont sélectionné de manière judicieuse le mois avec le taux de performance le plus bas (juillet 2022) et le mois de données le plus récent au moment des tests initiaux (septembre 2022) et ont analysé le rapport de scorecard de ShotSpotter et l'ont comparé aux rapports de suivi des alertes de la division des opérations du NYPD et au rapport ShotSpotter Misses. Français Les auditeurs ont ensuite examiné des mois supplémentaires de janvier 2023 à juin 2023. Pour déterminer l'exactitude des données sur les fusillades du NYPD, en utilisant les deux mêmes mois sélectionnés ci-dessus (juillet 2022 et septembre 2022), les auditeurs ont examiné le rapport ITB Bloodshooting généré par le NYPD et l'ont comparé au rapport sur les incidents de fusillade du site Web NYC Open Data.[17] Les auditeurs ont examiné deux mois d'activations de ShotSpotter en sélectionnant de manière judicieuse pour les tests le mois avec le taux de performance le plus bas de l'exercice 2023 (juillet 2022) et le mois de données le plus récent au moment des tests initiaux (septembre 2022). Les auditeurs ont également examiné des mois supplémentaires (de janvier 2023 à juin 2023). Pour confirmer que les emplacements des capteurs ShotSpotter ont été sélectionnés par le NYPD en fonction du nombre le plus élevé de fusillades, les auditeurs ont examiné les données sur les coups de feu de 2014 à 2022 obtenues sur le site Web NYC Open Data. Les auditeurs ont utilisé le logiciel de cartographie Tableau pour cartographier les emplacements des fusillades et les ont comparés à la carte de la zone de couverture ShotSpotter fournie par le NYPD. Pour obtenir des informations sur la démographie des zones de couverture ShotSpotter, les auditeurs ont utilisé les données du recensement de 2020 de la carte interactive NYC Population FactFinder sur le site Web du département de planification de la ville de New York (https://popfactfinder.planning.nyc.govhttps://popfactfinder.planning.nyc.gov). Les auditeurs ont superposé les limites des circonscriptions du NYPD sur la carte interactive Population FactFinder, puis ont sélectionné les zones approximatives pour l'analyse démographique sur la base de la carte de la zone de couverture ShotSpotter fournie par le NYPD. Pour déterminer si ShotSpotter améliorait le temps de réponse du NYPD, les auditeurs ont examiné le rapport de suivi des alertes du NYPD pour septembre 2022, qui était le mois de données le plus récent au moment des tests initiaux, et ont examiné le temps de réception des alertes ShotSpotter par rapport à l'heure d'arrivée du NYPD et ont calculé le temps moyen. Les auditeurs ont ensuite comparé le temps de réponse moyen des alertes ShotSpotter au temps de réponse de bout en bout du rapport 911 de NYC pour les incidents critiques pour septembre 2022. Pour effectuer une analyse actualisée et spécifique du temps de réponse moyen, les auditeurs ont examiné le rapport de suivi ShotSpotter du NYPD pour juin 2023 (le dernier mois de notre champ d'application) et ont calculé les moyennes depuis l'incident jusqu'à l'arrivée de la première unité. Les auditeurs ont également effectué une analyse du rapport Open Data NYPD Call for Services et extrait les alertes ShotSpotter afin d'examiner l'horodatage de clôture (heure de la disposition finale) qui ne se trouve que dans le rapport Open Data. Les auditeurs ont ensuite calculé le temps moyen que les agents d'intervention ont mis pour clôturer l'enquête préliminaire sur les alertes non fondées, non confirmées et confirmées. Nous avons également calculé le temps de réponse moyen des appels au 911 impliquant des coups de feu tirés à l'extérieur afin d'obtenir des informations plus précises sur la réponse de bout en bout du 911 à cet incident critique spécifique (à l'exclusion de tous les autres types d'incidents n'impliquant pas de coups de feu tirés à l'extérieur). Pour tester l'exactitude et la validité des données informatiques du système de détection et de localisation des coups de feu, les auditeurs ont sélectionné de manière judicieuse le mois avec le taux de performance le plus bas (juillet 2022) et le mois de données le plus récent au moment des tests initiaux (septembre 2022) et ont examiné le rapport ShotSpotter Scorecard généré par ShotSpotter, le rapport de suivi OCD ShotSpotter et le rapport ITB Bloodshooting généré par le NYPD. Les auditeurs ont également examiné des mois supplémentaires de janvier 2023 à juin 2023. Pour déterminer si ShotSpotter a facturé le NYPD conformément au contrat, les auditeurs ont comparé les contrats et les avenants de ShotSpotter aux paiements de factures pour les exercices 2021 à 2023. Les auditeurs ont recalculé les montants des factures en fonction des taux de frais d'abonnement indiqués dans les contrats et les avenants, puis les ont comparés aux paiements de factures. Pour déterminer si le NYPD a payé à ShotSpotter, Inc. le montant correct, les auditeurs ont comparé les données FMS pour les exercices 2021 à 2023 aux factures ShotSpotter pour les exercices 2021 à 2023. Pour déterminer si ShotSpotter répondait aux exigences du contrat des fournisseurs MWBE, les auditeurs ont examiné le rapport d'utilisation MWBE du NYPD et les données Checkbook NYC pour déterminer si le NYPD avait atteint le minimum d'employer des fournisseurs MWBE pour 4 % de la valeur totale en dollars du contrat. Bien que les résultats des tests ne soient pas prévisibles, ils fournissent des preuves suffisantes et appropriées pour étayer les constatations et conclusions quant à savoir si le NYPD surveille et évalue correctement le système de détection et de localisation des coups de feu et examine et approuve correctement les factures. Certaines informations ont été omises. Voir l'URL d'origine pour le rapport complet.