レポート 4057

監査の影響 ------------ ### 調査結果の概要 監査の結果、ニューヨーク市警察 (NYPD) は ShotSpotter への請求、インボイス、支払いが正確であることを保証しており、ShotSpotter は現在指定されている契約上の義務を概ね満たしていることがわかりました。 監査人は、センサーのカバー範囲が当初ブルックリンとブロンクスに設定されたのは、この 2 つの行政区で確認された銃撃事件の数が最も多かったためであり、2 つの行政区内では、通常、確認された銃撃事件の数が最も多い警察署に配置されていたことを発見しました。 また、監査では、ShotSpotter がほとんどの場合「見逃された事件」を回避することに重点を置いた契約上のパフォーマンス目標を満たしていることも判明しました。 ただし、契約上のパフォーマンス基準では、NYPD に送信されたアラートが銃撃事件の確認につながるかどうかは測定されないことも判明しました。 NYPDが設定した契約上のパフォーマンス基準に照らし合わせると、ShotSpotterはマンハッタンを除くほぼすべての行政区で事件の見逃しを回避するという90%の目標を達成しましたが、確認された銃撃事件の数で測ると、パフォーマンスははるかに低くなります。2022年と2023年のレビューのサンプル月では、ShotSpotterアラートにより銃撃事件が確認されたのは8%から20%の時間だけでした。たとえば、2023年6月中に、NYPDが対応した940件のShotSpotterアラートのうち、771件は現場到着時に銃撃事件として確認できず(82%)、47件は根拠がないと判断され(5%)、122件は銃撃事件として確認されました(13%)。NYPDの警官は、銃撃事件として確認されなかったアラートの調査に426.9時間を費やしました。警官が2人対応した場合、この数字は2倍になります。[1] NYPDは現在、このような事例への対応に費やされた時間や関連する人件費を追跡していません。NYPDは、確認された銃撃事件をShotSpotterのパフォーマンスを測定するために使用すべきであることに同意していません。NYPDは、ShotSpotterにより発砲の可能性のある場合の対応時間が改善され、その結果、被害者への支援の提供能力が向上し、警官の安全性が向上し、911通報のみの場合よりも正確な発砲の可能性のある場所が提供されると主張しています。しかし、NYPD は、ShotSpotter アラートの応答時間を、ShotSpotter アラートに最も近い測定基準である、屋外で発砲された場合の 911 通報の応答時間と比較して測定していません。監査では、NYPDの内部OCD ShotSpotter追跡レポートとオープンデータNYPD Call for Serviceレポートの2つのデータセットを分析し、2023年6月の1か月間、ShotSpotterアラートへの平均応答時間は、屋外での発砲の911への報告への応答時間よりも1分38秒速かったことを発見しました（ShotSpotterの場合は3分50秒、911の場合は5分28秒）。これは、公開されているデータで主張されている5分の差よりもはるかに短いです。[2]監査では、NYPDのデータ収集を改善し、より批判的に分析し、市民の利益のために公開する必要があることがわかりました。 2024年12月に期限が切れるShotSpotterの契約が更新される前に、透明性を確保する必要があります。現在NYPDが収集して公開しているデータは、ツールの有効性や経済性の包括的な評価をサポートしておらず、ShotSpotterのパフォーマンスに関心のある一般の人々や政府関係者に十分な情報を提供していないため、現時点では契約の更新をサポートしていません。### 意図するメリット 監査により、ShotSpotterの使用に関する透明性が高まり、NYPDのパフォーマンス評価に関する疑問が生じます。NYPDはすでにこの製品に4,500万ドル以上を費やしており、現在の契約期間が終了する前にさらに900万ドルを費やすことを約束しています。監査では、NYPDにShotSpotterのパフォーマンスを批判的かつ包括的に評価し、引き続き使用することが市にとって最善の利益になるかどうかを判断するよう求めています。はじめに ------------ ### 背景 #### ShotSpotter システム ShotSpotter システム (ShotSpotter) は、音響センサーを使用して銃声を検出し、システムでカバーされているエリア内での銃声の疑いのある場所を NYPD が正確に特定できるようにする、銃声検出および位置特定システム (GDLS) です。現在、5 つの行政区に 2,000 を超えるセンサーが設置されています。このシステムはShotSpotter, Inc.[3]によって作成され、管理されています。ShotSpotterセンサーが銃声の疑いを検知すると、その活動はShotSpotterの従業員が勤務するShotSpotterの事件レビューセンターに報告されます。記録された各アラートはShotSpotterの事件レビューセンターで分析されます。レビューは、事件の種類の機械分類を確認または変更することを目的としており、60秒未満で完了するように設計されています。ShotSpotterセンサーによって検出されたほとんどの活動はレビューされ、銃声ではないものとして却下されます。これらはNYPDへのアラートにはつながりません。審査官が事件を銃撃と分類した場合、ShotSpotter は検出された発砲の数、複数の銃撃者が関与しているかどうか、高容量または全自動の武器が使用されたと考えられるかどうかなどの詳細を含むアラートを NYPD に送信します。次に、NYPD の運用部門がドメイン認識システムを通じてアラートを受け取ります。潜在的な銃撃事件がシステム内で作成され、適切な NYPD 管区にルーティングされ、そこで警察官が電話でアラートを受け取ります。[4] その後、警察官は事件現場に派遣され、調査を行います。 NYPD がアクセスする閉回路テレビ (CCTV) カメラも、システムによって検出された場所を表示するために GDLS と併用される場合があります。 #### コミュニティの懸念/議論 ShotSpotter は米国全土の主要都市で広く使用されていますが、このテクノロジーの使用については議論が続いています。[5] 支持者は ShotSpotter の検出により、銃撃事件に対する警察の対応が迅速化したと評価していますが、批評家は ShotSpotter アラートの正確性について懸念を表明しています。批評家は、花火やその他の大きな音などの誤検知により、犯罪が起きていないのに警官が派遣されるため、少数派の地域で過剰な警備につながる可能性があると指摘している。批評家はまた、ShotSpotter がプライベートな会話を監視する能力についても懸念を表明している。2019 年 7 月、ShotSpotter の要請により、ニューヨーク大学ロースクールのポリシング プロジェクトは、ShotSpotter, Inc. の銃声検知技術のプライバシー監査と評価 を実施した。ニューヨーク大学の監査では、ShotSpotter の技術は「比較的限定的なプライバシー リスクをもたらす」と判明したが、この技術が「センサーの近くにいる人の声を捉え、意図的な音声監視に使用される可能性がある」というわずかな可能性も指摘された。ポリシング プロジェクトの監査では、ShotSpotter が採用したと述べているいくつかの推奨事項が提示された。これらには、センサーに保存された音声の削減、音声アクセスの制御と監督の改善、センサーの位置を共有しないことに同意すること、音声データの要求と召喚状を拒否することが含まれていました。[6] この監査中に、NYPDはチームに、ShotSpotterがセンサーの正確な位置をNYPDに開示していないことを通知しました。 #### NYPDとShotSpotterの契約 2014年、NYPDはShotSpotterと契約を結び、銃声検知および位置特定システムを実装しました。契約のフェーズ I では、ShotSpotter が 5 つのカバーエリアでシステムを設置して維持することが求められました。ShotSpotter は、これらのエリアを行政区内でゾーンに分割し、1 年間ニューヨーク市内の約 15 平方マイルをカバーしました。契約によると、カバーエリアは「確認された銃撃事件の数が最も多いだけでなく、発砲通報 (911) の数も最も多い NYPD 管区を網羅しています」。契約は 2015 年 8 月に 1 度修正され、さらに 3 つのカバーエリア (フェーズ II) に拡大され、合計 8 つのカバーエリアになりました。最初の契約の締結時に、NYPD は 2016 年に ShotSpotter と 2 度目の契約 (フェーズ III) を締結し、既存のカバーエリアを維持し、カバーエリアを 20 に大幅に拡大して、カバー範囲を約 60 平方マイルに拡大しました。契約では、ShotSpotter がシステムの維持と拡張に必要なすべてのサービスと機器を提供することが求められています。 2016 年の契約条件には、2015 年の契約に基づく 8 つのカバーエリアに対する 4 年間のサブスクリプション サービスと、この契約に基づく拡大エリアに対する 5 年間のサブスクリプション サービスが含まれていました。NYPD はその後、契約を 4 回 (フェーズ IV ～ VI) 修正し、カバーエリアをさらに拡大して合計 90.33 平方マイルにしました。現在までに、5 つの行政区すべてで、確認された銃撃事件の発生率が最も高いエリアに ShotSpotter センサーが設置されています。2021 年に、NYPD は最初の 3 年間の更新オプションを行使して、契約を 2024 年 12 月まで延長しました。3 年間の更新により契約額は 2,200 万ドル増加し、契約総額は 5,460 万ドルになりました。2014 年 8 月 14 日から 2023 年 6 月 30 日までの間に、NYPD は ShotSpotter に 4,540 万ドルを支払いました。 #### 2021 年 NYPD 契約更新およびパフォーマンス基準 2021 年に契約が更新されたとき、NYPD は監視レベルの追加としてサービス レベル契約 (SLA) を組み込み、「カバー エリア内で .25 口径を超える標準的な市販の弾丸を使用した、消音されていない屋外の発砲事件の 90% が、実際の発砲場所から 25 メートル以内で検出され、特定される」というパフォーマンス基準を確立しました。ShotSpotter が一定数の発砲事件を見逃したり誤分類したりして、結果として四半期のうち少なくとも 2 か月間、いずれかの自治区で 90% のパフォーマンス率を達成できなかった場合、影響を受ける自治区での 2 週間のサービスに対する ShotSpotter の料金に相当する SLA クレジットが適用されます。このクレジットは、次の年間サブスクリプション期間の ShotSpotter の請求書、ShotSpotter の拡張、または NYPD が次のサブスクリプション更新を進めないことを選択した場合の払い戻しに充てることができます。パフォーマンスと 90% の目標は契約で定義されています。このツールの有効性を測定するためのこの指標とその他の指標については、以下でさらに説明します。 ### 目的 この監査の目的は、NYPD が銃声検知および位置特定システムを適切に監視および評価し、ShotSpotter の請求書を適切に確認および承認しているかどうかを判断し、市内で発砲率が最も高い場所にセンサーが最初に設置されたかどうかを確認することでした。 ### NYPD との監査結果の議論 このレポートで取り上げられている事項は、この監査中および監査終了時に NYPD 職員と話し合われました。終了会議の要約が NYPD に送信され、2023 年 11 月 17 日に開催された終了会議で NYPD 職員と話し合われました。2023 年 11 月 27 日に、私たちは NYPD にドラフト レポートを提出し、書面によるコメントを求めました。 2023年12月22日にNYPDから書面による回答を受け取りました。NYPDのShotSpotterアラートへの対応時間と屋外での銃撃を報告する911通報との比較に関する最新のレビューと、NYPDがShotSpotterアラートの予備調査を完了するために費やした時間の分析に続いて、監査の情報が変更され、改訂されたドラフトレポートが2024年5月9日に発行されました。2024年6月3日にNYPDから書面による回答を受け取りました。回答の中で、NYPDは2つの推奨事項に同意し、1つの推奨事項に反対し、2つの推奨事項に同意するか反対するかを明記しませんでした。NYPDの書面による回答は十分に検討され、関連する場合は、変更とコメントがレポートに追加されました。NYPDの回答の全文は、このレポートの付録として含まれています。詳細な調査結果 ----------------- NYPD は一般的にベンダーに対して適切な監督を行っていましたが、監査により、NYPD が ShotSpotter のパフォーマンスを測定するために使用する契約上のパフォーマンス基準では、NYPD に送信されたアラートが銃撃事件の確定につながったかどうかは測定されていないことが判明しました。 ### NYPD が採用したパフォーマンス基準により、ShotSpotter の評価が人為的に高くなっています NYPD と ShotSpotter の間の契約では、マンハッタンを除くほとんどの行政区でツールの評価が非常に高くなる計算式に基づいてパフォーマンスが測定されています。2022 年 3 月以降、ShotSpotter は「カバーエリア内で発生する検出可能な (屋外、消音されていない) コミュニティ銃撃」の 90% のパフォーマンス目標を達成することが求められています。この目標が達成されたかどうかは、次の式に基づいて決まります。 公開された事件 / (公開された事件 + 見逃された事件 + 偽陰性)* [7]「公開された事件」とは、ShotSpotter事件レビューセンターのアナリストがShotSpotterデバイスで検出され、NYPDに報告された可能性のある銃撃事件として特定した記録されたアラートです。アナリストは、事件の音声とともに、「関与するセンサーの数、波形、パルスの配置、音の方向など、検出されたパルスと事件の視覚的特徴」を調べます。これらの要素によって、NYPDにアラートが送信されるかどうかが決まります。 「見逃された事件」とは、ShotSpotter のカバーエリア内で屋外で発生し、システムによって検出されなかった、確認された銃撃事件と定義されます。NYPD が 911 またはパトロールから銃撃事件の警告を受けたが、ShotSpotter から警告が送信されなかった場合、NYPD は見逃された事件を直ちに ShotSpotter に通知します。「偽陰性」とは、ShotSpotter 担当者によるレビューに基づいて、銃撃ではないと誤って分類された銃撃事件、またはシステムによって自動的に却下された銃撃事件です。これらの場合、NYPD に警告は送信されませんでしたが、NYPD は ShotSpotter に銃撃事件が発生したことを通知しました。ShotSpotter のパフォーマンス率を決定するには、前述の式を適用し、レビュー対象期間ごとに、公開された事件の総数を、公開された事件の総数と見逃された事件および偽陰性の合計数で割ります。この基準を適用すると、ShotSpotter は、マンハッタンを除くすべてのゾーンで 2022 暦年のパフォーマンス目標を達成しました。マンハッタンでは、ShotSpotter は 12 か月のうち 8 か月で 90% のパフォーマンス目標を達成できず、パフォーマンス率は 78% から 89% の範囲でした。ShotSpotter が目標を達成しなかった月には、以下の表 I に示すように、見逃された事件と偽陰性の両方の数が多くなりました。マンハッタンで ShotSpotter が見逃した確認済みの銃撃事件の数は、2022 年 2 月に 25 件でピークに達しました。2022 年の 12 か月のうち 10 か月で、ShotSpotter は 10 件以上の確認済みの銃撃事件を見逃しました。この期間中の偽陰性の数は 2 件から 11 件でした。監査人が過去数年間の入手可能なデータをレビューしたところ、これは 2019 年 8 月から 2022 年 12 月まで一貫した問題であることがわかりました。その期間中、ショットスポッターは41か月のうち30か月でマンハッタンでの90％の性能率を達成できなかった。[8] ショットスポッターによると、センサーが銃声を検知しなかった理由はいくつかあるが、その理由としては騒音レベルの高さ、マンハッタンのハーレム地区の建築状況、建物の密集度などが挙げられる。ショットスポッターは、センサーの移動や交換、カバーエリアの調査などにより、ハーレムでのパフォーマンス向上策を講じたと述べた。月次レポートによると、2023年1月から6月までの間に、5つの行政区すべてで契約上の性能率が90％を超えた。 ### 確認された発砲の検出率が非常に低い NYPD と ShotSpotter が合意した計算式に従って評価すると、このツールは非常に優れたパフォーマンスを発揮します。ただし、契約のパフォーマンス基準では、誤検知は考慮されず、確認された発砲事件を特定するツールの能力も直接評価されません。そのために、監査人は NYPD の ShotSpotter 追跡レポート (OCD レポート) のデータを確認し、2023 会計年度のサンプル月における ShotSpotter アラートと確認された発砲事件との相関関係を判断しました。NYPD の運用部門は、アラートの数や確認された発砲事件などの ShotSpotter データを追跡するために OCD レポートを維持しています。NYPD が銃器、弾道、ビデオなどの証拠を回収した場合、または目撃者、撃たれた被害者、即決逮捕、または発砲を報告する 911 通報があった場合、ShotSpotter アラートは確認された発砲事件とみなされます。監査人は最初に 2022 年 7 月と 2022 年 9 月をレビューし、これらの月の ShotSpotter アラートのうち、確認された銃撃事件は 20% と 17% に過ぎないことを発見しました。これらの月に記録された確認された銃撃事件の割合が低かったため、サンプルは 2023 年 1 月から 6 月までの期間を含むように拡大されました。この期間中、確認された銃撃事件の割合はさらに低く、8% から 13% の範囲に低下しました。これらの数字を裏付ける分析は、以下のチャート I と II に示されています。2023 年 9 月 28 日、監査人は NYPD と会い、ShotSpotter アラートによる確認された銃撃事件の割合が低いことについて話し合いました。NYPD は、OCD レポートの確認された銃撃事件の数は、現場で実施された調査に基づいて確認された銃撃事件のみを捕捉しているため、パフォーマンスの適切な尺度ではないと主張しています。NYPD は、確認された銃撃事件の数はもっと多い可能性があると主張しています。NYPD は、現在追跡されていない後のイベントによって、アラートの処理が確認済みに変更される可能性があることを示唆しています。ただし、この主張は、NYPD が必要なデータを収集していないため、正確には検証できません。 チャート I: 確認された銃撃事件の数と ShotSpotter アラートの合計数 チャート II: 確認された銃撃事件につながった ShotSpotter アラートの割合 ### 根拠のない未確認の銃撃への対応に 1 か月で 426.9 時間費やされた ShotSpotter アラートが調査する価値があると判断されるたびに、警察官が現場に派遣されます。銃撃の証拠が見つからない場合、派遣とアラートの調査に費やされた関連時間は、リソースの無駄になる可能性があります。 NYPDはこの情報を直接収集または分析していませんが、監査人は、アラートに応じて展開された時間、オープンデータレポートに記録された「終了時間」、および直後に報告された捜査の処分を使用して、2023年6月の1か月間にShotSpotterアラートへの対応に費やされた時間を推定することができました。[9] 2023年6月中に、NYPDは合計940件のShotSpotterアラート（重複を差し引いたもの）を受信しました。下の表 II に示すように、ShotSpotter アラートの大部分は未確認 (82%) で、NYPD は証拠不足のため発砲を確認できなかったか、調査の結果、アラートが根拠のない/誤検知 (5%) として分類されました。アラートのうち、発砲が確認されたのは 122 件 (13%) のみでした。しかし、NYPD の警官は 940 件のアラートすべてに対応して派遣され、調査に時間を費やしました。NYPD の警官は 47 件の根拠のないアラートと 771 件の未確認アラートに対応しました。記録によると、警官は根拠のないアラートの調査に平均 20 分、未確認の発砲の調査に 32 分を費やしました。これは、1 か月で根拠のないアラートの調査に合計 940 分、未確認アラートの調査に約 25,000 分を費やしたことを意味します。2 つのカテゴリを合わせると、1 か月で 426.9 時間になります。警官が1人しか対応しなかった場合、それは12時間勤務のシフト36回に相当し、警官が2人対応した場合、無駄になったシフトの数は2倍になります（以下の表IIを参照）。年間に渡って見ると、これは警官の勤務時間の大幅な無駄になる可能性があります。これは今度は、市が負担できない財政的影響を及ぼします。[10] 2024年5月15日に開催された会議と監査回答で、ニューヨーク市警察は、すでに警察署に配属されているパトロール中の警官が対応するため、ShotSpotterアラートに対応するために警官が残業するよう呼び出されることはない、と説明しました。しかし、未確認の警報に対応したり、不必要な調査を行ったりすることで、警官の全体的な時間の使い方に影響が及ぶ可能性があり、これが今度は全体的な残業の必要性に影響を及ぼす可能性があります。 ### NYPD は包括的な ShotSpotter パフォーマンス データを分析または公開していません NYPD の ShotSpotter パフォーマンス評価は、ベンダーに責任を負わせるには不十分であり、収集、分析、報告されたデータはツールの有効性を示すのに十分ではありません。NYPD は、発砲事件として確認された警報の割合をカウントする能力がありますが、この数値を計算または公開していません。NYPD は、これが ShotSpotter の有効性を測る有用な指標ではないことに異議を唱えており、さらに、確認された発砲事件の実際の数は監査人が計算した数よりも高い可能性があると主張しています。これは、OCD レポートでの調査後の最初の処置しか記録していないためです。 NYPD は、警報の直後に確認されなかった発砲が後に銃撃として確認されたかどうかを追跡していませんが、これは、確認された銃撃の検出率に基づいて ShotSpotter を測定しない正当な理由にはなりません。NYPD は、確認された銃撃の検出率を正確に判断するために必要なすべての情報を収集して評価する必要があります。ShotSpotter が銃撃を正確に検出するかどうかを知ることは、それが効果的なツールかどうかを判断するために必要な重要な情報です。 NYPD は ShotSpotter を評価する際に無駄を計算に入れる必要があります NYPD は現在、根拠のない、または確認されていない警報への対応に費やされた警官の時間の潜在的な無駄を評価していません。NYPD には、そのような分析を実行するためのデータが揃っていますが、現在のデータの収集方法では、これは面倒なプロセスになっています。NYPD は、ShotSpotter データを収集するために使用される OCD レポートで、ShotSpotter 警報の受信から最初のパトロール ユニットの到着までの時間と即時の処置を追跡しますが、警報に対応して派遣された警官の初期捜査の終了時間や出発時間は記録しません。この情報は、代わりに、NYPD のサービス要請 オープン データ レポートで各事件の「終了時間」として記録されます。根拠のない、または確認されていない警報への対応に費やされた時間を計算するには、2 つのデータ セットのイベントを手動で一致させ、その後、費やされた時間を手動で計算する必要があります。NYPD は、根拠のない、または確認されていない発砲の報告に警官が対応した時間、および関連する PS (人員) コストを定期的に容易に特定して報告できるようにする必要があります。相対的な応答時間の追跡 NYPD は、ShotSpotter 警報への応答時間によって人命が救われると主張していますが、現在は警報への応答時間と屋外での銃撃を報告するための 911 通報の応答時間の違いを記録して比較していません。監査人は、NYPDの内部OCD ShotSpotter追跡レポートとオープンデータNYPD Call for Service*レポートの2つのデータセットを比較することで平均応答時間を導き出すことができ、2023年6月の1か月間、ShotSpotterアラートへの平均応答時間は、屋外での発砲に関する911への報告への応答時間よりも1分38秒速いことを発見しました（ShotSpotterでは3分50秒、911では5分28秒）。これは、公開されているデータで主張されている5分の差よりもはるかに短いです。平均応答時間の導き出しには多くの労力がかかりました。NYPDは、このデータの生成とレビューの能力を改善し、継続的かつ一貫して相対的な応答時間を評価できるようにする必要があります。 2024年5月15日の会議中、および監査への回答の中で、NYPDは、データでは個人が911に電話するまでの時間を捕捉できないため、時間の差は実際にはもっと大きいと主張している。NYPDは、ShotSpotterアラートは音を確認してから平均60秒以内にNYPDに送信されるが、銃撃を報告するために911に電話する人はためらい、911に電話するまでに数分間待つ可能性があると説明した。会議で述べられたように、NYPDや監査人が、銃声と思われる音を聞いてから人が911に電話するまでにかかる時間を把握したり分析したりすることは現実的ではない。それでも、ShotSpotterを監視および監督するNYPDの責任は、ツールの有効性と経済性を完全に評価するために必要なデータが収集され、厳密に評価され、公開されることを保証することにまで及んでいる。 ### センサーの設置場所は通常、銃撃事件の発生率が高い地域と相関している。少数民族が大多数を占める地域でのシステムの影響について国民の懸念があるため、監査人はニューヨーク市警がカバーエリアをどのように決定したかを疑問視した。[11] ニューヨーク市警とShotSpotterは、カバーエリアの決定はニューヨーク市警が捜査した確認済みの銃撃事件の数と911通報による発砲事件に基づいていると述べた。ニューヨーク市警の職員によると、警察長官室と犯罪対策戦略局は、プログラムが拡大するたびに同じ方法論を使用して、前年の銃撃情報と過去の犯罪データを使用して初期のカバーエリアを決定した。 2014年と2022年の確認された銃撃データの監査人の調査は、いくつかの留保付きで、おおむねこの主張を裏付けている。確認された銃撃事件の数が最も多い地域に当初センサーが設置されていたかどうかを判断するために、監査人はNYPDがNYC Open Dataで報告した2014年の確認された銃撃データを調査して比較し、関連する警察署内のセンサーのカバーエリアと照合した。[12] 銃撃データは署ごとに記録されるのに対し、カバーゾーンは署の境界と直接対応していないという事実によってこれは複雑になった。ゾーンは、1つ以上の署またはその一部を含む可能性のある重複するエリアをカバーしている。 2015 年、ニューヨーク市警察はブルックリン (9 地区) とブロンクス (5 地区) の 14 地区をカバーする 5 つの管轄区域を設定することを決定しました。これは、ブルックリンとブロンクスが 5 つの行政区の中で全体的な射撃統計が最も高いことを示す前年の射撃データに基づいて決定されました。この傾向は 2022 年まで続きました。2014 年と 2022 年の自治区別の銃撃事件総数の比較については、以下のチャート III を参照してください。チャート III: 自治区別の確認された銃撃事件総数 (2014 年と 2022 年) チャート III に示すように、2014 年にはブロンクス区とブルックリン区で確認された銃撃事件数が最も多く、ブロンクス区で 446 件、ブルックリン区で 614 件でした。監査人はまた、警察署別のセンサーの初期配置についても詳しく調べました。分析の結果、確認された銃撃事件数が最も多い警察署にセンサーが常に配置されているわけではないことが判明しました。最も多くの銃撃事件が発生した管区のうち、1つを除いてすべてがブロンクス区とブルックリン区に位置していたが、この2つの行政区内で銃撃事件が最も多かった管区にセンサーが設置されていたわけではない。[13] センサーは当初、14の管区にまたがる5つのゾーンに設置された。そのうち9つの管区は確認された銃撃事件の件数が最も多く(管区あたり39件から86件)、5つの隣接管区は確認された銃撃事件の件数は少ないが依然として多い(管区あたり21件から37件)。しかし、銃撃率の高い（1 地区あたり 38 ～ 59 件）他の 5 つの地区が、どういうわけかセンサーの初期配置に含まれていなかった。センサーは、最初に次の地区に設置された：ブロンクス区の 40、41、42、46、48、ブルックリン区の 67、71、73、75、77、79、81、83、90。銃撃率の高い 43、44、47、69、113 地区には設置されなかった。これらの地区は、その後 2016 年、2017 年、2018 年にカバー ゾーンに追加されました。下の表 III は、カバーが追加された年を示しています。 #### 確認された銃撃事件のマッピング 市全体のセンサーの配置を調べるために、監査人は確認された銃撃事件を区と管区ごとにマッピングしました。これらのマップは、2014 年と 2022 年にカバーエリアで銃撃事件が集中していることを示しています。下のマップ I とマップ II の点は、それぞれ 2014 年と 2022 年に管区ごとに確認された銃撃事件を示しています。マップ III は、2022 年時点の ShotSpotter カバーエリアを、確認された銃撃事件と重ねて示しています。地図 I: 警察署別の確認された銃撃事件の総数 (2014 年) 地図 II: 警察署別の確認された銃撃事件の総数 (2022 年) 地図 III: ShotSpotter の対象エリア (2022 年) 暦年 2022 年、監査人は、センサーは一般的に、確認された銃撃事件の数が最も多いエリアに設置されていると判断しました。これは、すべての行政区と管区で2022年に確認された銃撃事件の数を示す地図にShotSpotterのカバーエリアを重ね合わせることで行われました。繰り返しになりますが、ShotSpotterのカバーエリアは管区の境界と直接相関しておらず、複数の管区を網羅することがあり、管区内にもより小さなセクターが含まれる可能性があるため、この作業は場合によっては複雑でした。たとえば、ブロンクス区の第41管区は全体的に銃撃事件が最も多く発生しているわけではないかもしれませんが、第41管区のセンサーがあるエリアは、確認された銃撃事件の数が多いゾーンで第40管区と第42管区と重なっています。 #### 管区レベルのデータ NYPDは、最も多くの銃撃事件数と過去の犯罪データに基づいてShotSpotterゾーンを設定したと主張し、さらに、管区全体とは相関しない高い銃撃率に基づいてShotSpotterゾーンを正確に決定したと述べています。その結果、ShotSpotter ゾーンは、全体のカバーエリア内で多数の銃撃事件が発生している複数の警察署のエリアを網羅する可能性があります。NYPD はセンサーの正確な位置を把握していないため、監査人がこれを検証するのは困難でした。ただし、カバーエリアは、警察署レベルの銃撃データとほぼ一致しています。NYPD が各警察署で確認された銃撃データのみに基づいてセンサーを配置していた場合、ShotSpotter は、以下の表 III に示す警察署で、最高から最低の順に配備されていたでしょう。NYPD がこのデータのみに依存していた場合、4 つの警察署 (47、44、43、および 69) はより早くカバーされていたでしょう。以下の警察署のうち1つを除くすべてが、ブロンクス区とブルックリン区の初期カバーゾーン内にあります。[14] ### NYPDは請求書を期限内に支払っていません。調達政策委員会規則(PPB規則)のセクション4-06では、市と取引のある企業や組織への迅速な支払いが求められています。請求書の支払い処理には、請求書の受領日または承認日（IRA日付）から30日以内かかる必要があると記載されています。[15] ShotSpotterの請求書とNYPDの2021会計年度から2023会計年度までの請求書の支払いを検査した結果、NYPDが請求書の支払いに平均94日かかっていることが分かりました。NYPDは、パンデミックの間、多くの従業員が自宅にいて、当時は物理的なファイルにアクセスできなかったためだと述べています。しかし、監査人は、NYPD が 2023 年遅くまで請求書を支払っていないことを発見しました。たとえば、2022 年 12 月に提出された請求書は、2023 年 4 月まで支払われませんでした。NYPD は、ShotSpotter は IRA 日付後の 30 日間の期限を過ぎてから請求書を支払ったことに対して罰則を課していないと述べています。PPB 規則ではベンダーが支払い遅延に対して利息を請求することが許可されているため、NYPD がベンダーに期限通りに支払うことが重要です。また、市と取引のある企業や組織にタイムリーに支払いが行われるように、契約支払いを効率的かつ迅速に処理することが市の方針です。 推奨事項 --------------- 上記の調査結果に対処するため、監査人は NYPD に以下を提案します。 1. 確認された銃撃事件の検出率が非常に低いこと、および最終的に銃撃と確認されなかった警報への対応に NYPD 警官が費やした膨大な時間を考慮し、最初により徹底したパフォーマンス評価を実施せずに、2024 年 12 月に期限が切れる ShotSpotter 契約の更新を拒否する。 NYPD の回答: NYPD はこの勧告に反対し、「ShotSpotter サービスを更新しないと一般市民が危険にさらされる可能性があり、警察がさらに分析を行うまで ShotSpotter 契約を更新しないのは時期尚早です。警察は、技術のパフォーマンスと評価を向上させるために ShotSpotter と協議を続ける予定ですが、契約更新期間前に評価を行うことは現実的ではありません。要約すると、ShotSpotter プログラムがなくなると、警官の職場環境が安全ではなくなり、すべてのニューヨーク市民が暴力に遭遇する可能性が高くなります。」と述べています。 監査人の回答: 監査人は、契約更新前に NYPD が ShotSpotter のパフォーマンスと銃撃を検知する能力を再評価する必要があることを改めて強調しています。現在の契約期間はあと約 6 か月残っているため、製品の全体的なパフォーマンスを再検討する時間は十分にあります。 1. 最終的に銃撃と確認されないアラートの非常に高い割合をより適切に考慮した、ShotSpotter の精度に関するより意味のあるパフォーマンス基準を開発する。 NYPD の回答: NYPD はこの勧告に反対も賛成もしませんでした。NYPD は、「NYPD は、警察の業務の性質上、ShotSpotter アラートと併せて「確認された銃撃」と見なすことができる範囲が限られており、また、証拠 (弾道、物的損害、薬莢/実弾、銃器、ビデオ、耳、目撃者および/または被害者など) の回収につながらないアラートもあります。以前の会議で議論したように、当部門は基準計算の改善に関する監査人の提案を歓迎しますが、推奨基準は受け取っていません。」と述べています。 監査人の回答: 監査人の調査結果では、契約上のパフォーマンス基準に基づいてツールを評価することと、実際の銃撃を検出するツールの能力を評価することとの間に大きな違いが見られます。この食い違いは意味があり、対処されるべきである。NYPD は回答の中で、確認された銃撃事件は、その有効性を測る手段としては実行可能ではないとしている。その理由の 1 つは、「確認された銃撃事件」には、より広範な調査やその他の活動の後に確認されたものは含まれないと主張しているからである。NYPD は、より多くの証拠が利用可能になるにつれて後になって確認されたものも考慮に入れた形で、ツールの全体的な精度を評価できるべきである。1. 透明性を高めるために、NYPD は、公開された警報の数、確認された銃撃事件につながる警報の割合、偽陰性と見逃された事件の数、最終的に銃撃事件として確認されなかった警報への対応に費やされた時間とスタッフの費用、ShotSpotter 警報と屋外で発砲された銃弾に関する 911 通報の相対的な対応時間など、関連データを収集して公開すべきである。 *NYPD の回答: *NYPD はこの勧告に賛成も反対もせず、「銃撃事件の数は捜査や銃撃事件後のその他の要因によって常に変化するため、データに精通していない関係者は情報を誤って解釈する可能性があります。さらに、このような情報要求の実現可能性と合法性を判断するには、さまざまなチャネルを経由する必要があります。」と述べました。 *監査人の回答: *監査人は、透明性の向上の必要性を改めて強調します。公開が推奨されているさまざまなデータ ポイントには、本質的に機密情報となるものはなく、このツールの利点に関する公開討論のレベルを考えると、データをレビュー用に公開することには大きな公共の利益があります。 1. 90% のパフォーマンス レートが満たされていないカバレッジ エリアについて ShotSpotter, Inc. に引き続きフォローアップし、ShotSpotter, Inc. が合意されたサービス レベル契約パフォーマンス レートを維持していることを確認します。 NYPD の回答: NYPD はこの勧告に同意しました。 1. 調達政策委員会規則 § 4-06 に従い、請求書の受領または承認日から 30 日以内に請求書を支払います。 NYPD の回答: NYPD はこの勧告に同意しました。 ### 勧告のフォローアップ このレポートに含まれる各勧告の実施状況を判断するために、フォローアップが定期的に実施されます。機関が報告した状況の更新は、ここから入手できる監査勧告トラッカーに含まれています: https://comptroller.nyc.gov/services/for-the-public/audit/audit-recommendations-tracker/ 範囲と方法 --------------------- このパフォーマンス監査は、一般に認められた政府監査基準 (GAGAS) に従って実施しました。GAGAS では、監査目的に基づいた調査結果と結論の合理的な根拠となる十分かつ適切な証拠を得るために、監査を計画および実施することが求められています。この監査は、ニューヨーク市憲章第 5 章第 93 項に規定されている市会計監査官の監査責任に従って実施されました。この監査の範囲は、2020年7月1日から2023年6月30日まででした。[16] 銃声検知および位置検出システムに関するNYPDとShotSpotter, Inc.間の契約を理解するために、監査人は以下を入手してレビューしました。 - 調達政策委員会（PPB）規則 - ニューヨーク市規則 - タイトル9 - 監査官指令＃1 - 「内部統制の原則」 - ニューヨーク市行政法典 - タイトル6 - 契約、購入、フランチャイズ - ShotSpotter, Inc.とのNYPD契約契約、修正、更新契約 - NYPD行政ガイド - 手順 325-43 監査目的を達成し、NYPD による ShotSpotter との契約および支払いプロセスの監視について理解するために、監査人は次の NYPD 関係者とウォークスルーを実施しました。 - NYPD の財政説明責任ユニットのディレクターと監査人 - 情報技術局 (ITB) の財政問題部門のディレクターとキャプテン - ITB の副検査官 - NYPD 運用部門の副検査官と 2 人の警部補 - 犯罪管理戦略の副部長 銃声検知および位置特定システムについて理解するために、監査人は次の ShotSpotter Inc. 関係者とウォークスルーを実施しました。 - カスタマー サポートおよびプロフェッショナル サービス担当上級副社長 - テクニカル サポート エンジニア ShotSpotter への NYPD の請求書支払いの正確性と適時性を調べるために、監査人は FY2021 から FY2023 の市財務管理システム (FMS) からベンダー データ ファイルごとの支払い要求履歴を独自に抽出しました。そして、それらを2021年度から2023年度のShotSpotter請求書と比較しました。NYPD請求書支払いデータの信頼性を判断するために、監査人は2021年度から2023年度のCheckBook NYCデータを調べ、2021年度から2023年度のFMSデータと比較しました。銃声検知および位置特定システムの有効性を判断するために、監査人は、パフォーマンス率が最も低い月（2022年7月）と初期テスト時の最新のデータ月（2022年9月）を判断的に選択し、ShotSpotterからのスコアカードレポートを分析し、それをNYPD運用部門からのアラート追跡レポートおよびShotSpotterミスレポートと比較しました。その後、監査人は2023年1月から2023年6月までの追加月をさらに調査しました。NYPDの射撃データの正確性を判断するために、上記で選択したのと同じ2か月（2022年7月と2022年9月）を使用して、監査人はNYPDが作成したITBの血まみれの射撃レポートを調査し、それをNYCオープンデータウェブサイトの射撃事件レポートと比較しました。[17]監査人は、2か月間のShotSpotterアクティベーションを調査し、2023会計年度のパフォーマンス率が最も低い月（2022年7月）と、最初のテスト時のデータの最新月を判断的にテスト対象として選択しました。 （2022年9月）。監査人はさらに、追加の月（2023年1月から2023年6月）も調査しました。ShotSpotterセンサーの場所がNYPDによって最も多くの銃撃件数に基づいて選択されたことを確認するために、監査人はNYC Open Dataウェブサイトから取得した2014年から2022年までの銃撃データをレビューしました。監査人はマッピングソフトウェアTableauを使用して銃撃場所をマッピングし、NYPDが提供するShotSpotterカバレッジエリアマップと比較しました。ShotSpotterカバレッジエリアの人口統計情報を取得するために、監査人はNYC都市計画局のウェブサイト（https://popfactfinder.planning.nyc.govhttps://popfactfinder.planning.nyc.gov）にあるNYC Population FactFinderインタラクティブマップから2020年の国勢調査データを使用しました。監査人はPopulation FactFinderインタラクティブマップにNYPDの管轄区域の境界線を重ね合わせ、NYPDが提供するShotSpotterカバレッジエリアマップに基づいて人口統計分析のおおよそのエリアを選択しました。 ShotSpotter が NYPD の応答時間を改善したかどうかを判断するために、監査人は、最初のテスト時点で最新のデータであった 2022 年 9 月の NYPD のアラート追跡レポートを確認し、ShotSpotter アラートの受信時間と NYPD の到着時間を確認し、平均時間を計算しました。次に、監査人は、ShotSpotter アラートの平均応答時間を、2022 年 9 月の重大なインシデントに対する NYC 911 レポートのエンドツーエンドの応答時間と比較しました。平均応答時間に関する最新かつ具体的な分析を行うために、監査人は、2023 年 6 月 (調査対象期間の最後の月) の NYPD の ShotSpotter 追跡レポートを確認し、インシデントから最初のユニット到着までの平均を計算しました。監査人はまた、オープン データ レポートの NYPD Call for Services の分析を実施し、ShotSpotter アラートを抽出して、オープン データ レポートにのみ記載されている Closing Timestamp (最終処分の時刻) を確認しました。次に、監査人は、対応した警官が根拠のない、確認されていない、および確認されたアラートの予備調査を終了するのに要した平均時間を計算しました。また、この特定の重大事件に対する 911 のエンドツーエンドの対応に関するより具体的な情報を取得するために、屋外での発砲を含む 911 コールの平均応答時間も計算しました (屋外での発砲を伴わない他のすべてのタイプの事件は除きます)。銃声検知および位置特定システムからのコンピューター データの正確性と有効性をテストするために、監査人は、パフォーマンス率が最も低い月 (2022 年 7 月) と初期テスト時の最新のデータ月 (2022 年 9 月) を判断的に選択し、ShotSpotter から生成された ShotSpotter スコアカード レポート、OCD ShotSpotter 追跡レポート、および NYPD によって生成された ITB 血まみれレポートを調べました。監査人は、2023年1月から2023年6月までの追加月をさらに調査しました。ShotSpotterが契約に従ってNYPDに請求したかどうかを判断するために、監査人はShotSpotterの契約と修正を、2021会計年度から2023会計年度の請求書の支払いと比較しました。監査人は、契約と修正に記載されているサブスクリプション料金率に基づいて請求額を再計算し、請求書の支払いと比較しました。NYPDがShotSpotter, Inc.に正しい金額を支払ったかどうかを判断するために、監査人は、2021会計年度から2023会計年度のFMSデータと、2021会計年度から2023会計年度のShotSpotterの請求書を比較しました。ShotSpotterがMWBEベンダーの契約要件を満たしているかどうかを判断するために、監査人はNYPDからのMWBE使用状況レポートとCheckbook NYCデータを調べ、NYPDが契約の総額の4％をMWBEベンダーに雇用するという最低限の要件を達成したかどうかを判断しました。テストの結果は予測できませんが、ニューヨーク市警が銃声検知・位置特定システムを適切に監視・評価し、請求書を適切に審査・承認しているかどうかに関する調査結果と結論を裏付ける十分かつ適切な証拠を提供します。一部の情報は省略されています。完全なレポートについては元の URL を参照してください。