Problema 4057

Impacto de la auditoría ------------ ### Resumen de los hallazgos La auditoría encontró que el Departamento de Policía de la Ciudad de Nueva York (NYPD) garantiza que la facturación, las facturas y los pagos a ShotSpotter sean precisos, y que ShotSpotter generalmente cumple con sus obligaciones contractuales especificadas actualmente. Los auditores encontraron que las áreas de cobertura de sensores se establecieron inicialmente en Brooklyn y el Bronx porque los dos distritos tenían la mayor cantidad de tiroteos confirmados y, dentro de los dos distritos, generalmente se ubicaron en distritos con la mayor cantidad de tiroteos confirmados. La auditoría también encontró que ShotSpotter cumplió con sus objetivos de desempeño contractuales, que se centran en evitar "incidentes no detectados", la mayor parte del tiempo. Sin embargo, la auditoría encontró que el estándar de desempeño contractual no mide si las alertas enviadas a NYPD resultan en tiroteos confirmados. Cuando se compara con los estándares de desempeño contractual establecidos por NYPD, ShotSpotter cumplió con su objetivo del 90% para evitar incidentes no detectados en casi todos los distritos excepto Manhattan, pero cuando se compara con el número de tiroteos confirmados, el desempeño es mucho menor. Durante los meses de muestra de revisión en 2022 y 2023, las alertas de ShotSpotter solo dieron como resultado tiroteos confirmados entre el 8% y el 20% de las veces. Durante el mes de junio de 2023, por ejemplo, de las 940 alertas de ShotSpotter a las que respondió el NYPD, 771 no pudieron confirmarse como tiroteos al llegar al lugar (82%), 47 se determinaron como infundadas (5%) y 122 se confirmaron como tiroteos (13%). Los agentes del NYPD pasaron 426,9 horas investigando alertas que no se confirmaron como tiroteos. Si solo respondió un agente, esto equivale a casi 36 turnos de doce horas; Si dos oficiales respondieron, este número se duplica.[1] El NYPD actualmente no rastrea la cantidad de tiempo ─ o los costos de personal asociados ─ dedicados a responder a tales instancias. El NYPD no está de acuerdo con que los tiroteos confirmados deban usarse para medir el desempeño de ShotSpotter. Afirma que ShotSpotter mejora el tiempo de respuesta a posibles disparos, lo que a su vez aumenta la capacidad de brindar asistencia a las víctimas, aumenta la seguridad de los oficiales y proporciona una ubicación más precisa del posible tiroteo que una llamada al 911 sola. Sin embargo, el Departamento de Policía de Nueva York no mide los tiempos de respuesta a las alertas de ShotSpotter en comparación con los tiempos de respuesta a las llamadas al 911 ante disparos efectuados en el exterior, la métrica más estrechamente alineada con las alertas de ShotSpotter. La auditoría analizó los dos conjuntos de datos, el informe interno de seguimiento de ShotSpotter de OCD del NYPD y el informe de datos abiertos NYPD Call for Service, y descubrió que durante el mes de junio de 2023, los tiempos de respuesta promedio a las alertas de ShotSpotter fueron 1 minuto y 38 segundos más rápidos que los tiempos de respuesta a los informes al 911 de disparos al aire libre (3 minutos y 50 segundos para ShotSpotter frente a 5 minutos y 28 segundos para el 911), mucho menos que la diferencia de 5 minutos que se afirma en los datos disponibles públicamente.[2] La auditoría descubrió que la recopilación de datos del NYPD debería mejorarse, analizarse de manera más crítica y publicarse en aras de la transparencia antes El contrato de ShotSpotter, que vence en diciembre de 2024, se renueva. Los datos que actualmente recopila y publica el NYPD no respaldan una evaluación integral de la eficacia o la economía de la herramienta, no informan completamente al público ni a los funcionarios gubernamentales interesados en el rendimiento de ShotSpotter y, por lo tanto, actualmente no respaldan la renovación del contrato. ### Beneficios previstos La auditoría aumenta la transparencia en torno al uso de ShotSpotter y plantea preguntas sobre la evaluación del NYPD de su rendimiento. El NYPD ya ha gastado más de $45 millones en este producto y se ha comprometido a gastar otros $9 millones antes de que finalice el plazo del contrato actual. La auditoría insta al NYPD a evaluar de manera crítica y exhaustiva el rendimiento de ShotSpotter y determinar si su uso continuo sigue siendo lo mejor para los intereses de la ciudad. Introducción ------------ ### Antecedentes #### Sistema ShotSpotter El sistema ShotSpotter (ShotSpotter) es un sistema de detección y ubicación de disparos (GDLS) que utiliza sensores acústicos para detectar actividad de disparos para ayudar al Departamento de Policía de Nueva York a localizar la ubicación de los disparos sospechosos dentro de las áreas cubiertas por el sistema. Actualmente hay más de 2000 sensores instalados en los cinco distritos. El sistema fue creado y es administrado por ShotSpotter, Inc.[3] Cuando los sensores ShotSpotter detectan un disparo sospechoso, esa actividad se informa al Centro de revisión de incidentes de ShotSpotter, que cuenta con personal de ShotSpotter. Cada alerta registrada se analiza en el Centro de Revisión de Incidentes de ShotSpotter. La revisión tiene como objetivo confirmar o cambiar la clasificación de la máquina del tipo de incidente y está diseñada para completarse en menos de 60 segundos. La mayoría de las actividades detectadas por los sensores de ShotSpotter se revisan y se descartan como no relacionadas con disparos. Estas no dan lugar a alertas para el Departamento de Policía de Nueva York. Si el revisor clasifica el incidente como un disparo, ShotSpotter envía una alerta al Departamento de Policía de Nueva York con detalles, como la cantidad de disparos detectados, si parece que hay varios tiradores involucrados y si se cree que se han utilizado armas de alta capacidad o completamente automáticas. A continuación, la División de Operaciones del Departamento de Policía de Nueva York recibe una alerta a través de su sistema Domain Awareness. El posible incidente de disparos se crea en el sistema y se envía al precinto correspondiente del NYPD, donde los agentes de policía reciben alertas en sus teléfonos.[4] Luego, pueden ser enviados al lugar del incidente para investigar. Las cámaras de circuito cerrado de televisión (CCTV) a las que accede el NYPD también se pueden usar junto con el GDLS para ver la ubicación detectada por el sistema. #### Preocupaciones/debates de la comunidad Aunque ShotSpotter se usa ampliamente en las principales ciudades de los Estados Unidos, hay debates en curso sobre el uso de esta tecnología.[5] Los partidarios han atribuido la detección de ShotSpotter a una respuesta policial más rápida a los incidentes de tiroteos, mientras que los críticos han expresado su preocupación por la precisión de las alertas de ShotSpotter. Los críticos señalan que los falsos positivos (como los fuegos artificiales u otros sonidos fuertes) pueden conducir a un exceso de vigilancia en los barrios de minorías, ya que los agentes son enviados cuando no se ha cometido ningún delito. Los críticos también han expresado su preocupación por la capacidad de ShotSpotter para vigilar conversaciones privadas. En julio de 2019, a pedido de ShotSpotter, el Proyecto Policial de la Facultad de Derecho de la Universidad de Nueva York realizó una Auditoría de privacidad y evaluación de la tecnología de detección de disparos de ShotSpotter, Inc.. La auditoría de la Universidad de Nueva York concluyó que la tecnología de ShotSpotter "presenta riesgos de privacidad relativamente limitados", pero también señaló una pequeña posibilidad de que la tecnología "pueda capturar voces de personas cercanas a los sensores y posiblemente podría usarse para la vigilancia deliberada de la voz". La auditoría del Proyecto Policial hizo varias recomendaciones que ShotSpotter afirma haber adoptado. Estas incluyeron reducir el audio almacenado en sus sensores, mejorar los controles y la supervisión sobre el acceso al audio, aceptar no compartir las ubicaciones de los sensores y denegar solicitudes y citaciones para datos de audio.[6] Durante esta auditoría, el Departamento de Policía de Nueva York informó al equipo que ShotSpotter no revela la ubicación exacta de sus sensores al Departamento de Policía de Nueva York. #### Contrato del Departamento de Policía de Nueva York con ShotSpotter En 2014, el Departamento de Policía de Nueva York firmó un acuerdo con ShotSpotter para implementar el Sistema de Detección y Ubicación de Disparos. La Fase I del acuerdo requería que ShotSpotter instalara y mantuviera el sistema en cinco áreas de cobertura, que ShotSpotter dividió en zonas dentro de los distritos, cubriendo aproximadamente 15 millas cuadradas dentro de la ciudad de Nueva York durante un año. Según el acuerdo, las áreas de cobertura "abarcan los distritos del NYPD no solo con el mayor volumen de tiroteos confirmados, sino también con un alto número de llamadas de disparos (911) reportadas". El acuerdo fue modificado una vez en agosto de 2015 para expandirse a tres áreas de cobertura adicionales (Fase II), para un total de ocho áreas de cobertura. Al concluir el primer acuerdo, el NYPD firmó un segundo acuerdo con ShotSpotter en 2016 (Fase III) para mantener las áreas de cobertura existentes y expandir significativamente a 20 áreas de cobertura, con una cobertura de aproximadamente 60 millas cuadradas. El contrato requiere que ShotSpotter proporcione todos los servicios y equipos que sean necesarios para el mantenimiento y la expansión del sistema. Los términos del acuerdo de 2016 incluyeron cuatro años de servicios de suscripción para las ocho áreas de cobertura bajo el acuerdo de 2015 y cinco años de servicios de suscripción para las áreas ampliadas bajo este acuerdo. Posteriormente, el NYPD modificó el acuerdo cuatro veces (Fases IV a VI) para aumentar aún más el área de cobertura a un total de 90,33 millas cuadradas. Hasta la fecha, los cinco distritos tienen sensores ShotSpotter instalados en áreas con las tasas más altas de incidentes de tiroteos confirmados. En 2021, el NYPD ejerció la primera opción de renovación de tres años para extender el contrato hasta diciembre de 2024. La renovación de tres años aumentó el monto del contrato en $22 millones, lo que elevó el monto total del contrato a $54,6 millones. Entre el 14 de agosto de 2014 y el 30 de junio de 2023, el NYPD pagó a ShotSpotter $45,4 millones. #### Renovación del contrato y estándar de desempeño del NYPD de 2021 Cuando se renovó el acuerdo en 2021, el NYPD incluyó un acuerdo de nivel de servicio (SLA) como un nivel adicional de supervisión, estableciendo un estándar de desempeño donde "el 90% de los incidentes de disparos al aire libre sin supresores que utilicen munición estándar disponible comercialmente de calibre mayor a .25 dentro de las áreas de cobertura se detectarán y ubicarán dentro de los 25 metros de la ubicación real del disparo". Si ShotSpotter no detecta o clasifica incorrectamente una cierta cantidad de incidentes de disparos y, en consecuencia, no cumple con la tasa de desempeño del 90% en al menos dos meses del trimestre para cualquier distrito, se aplica un crédito SLA equivalente a las tarifas de ShotSpotter por dos semanas de servicio para el distrito afectado. El crédito se puede tomar contra la factura de ShotSpotter para el próximo período de suscripción anual, o para una expansión de ShotSpotter, o un reembolso al NYPD si eligen no seguir adelante con la próxima renovación de suscripción. El desempeño y el objetivo del 90% se definen en el contrato. Esta y otras métricas para medir la eficacia de la herramienta se analizan más adelante. ### Objetivos Los objetivos de esta auditoría fueron determinar si el Departamento de Policía de Nueva York supervisa y evalúa adecuadamente el Sistema de detección y ubicación de disparos, revisa y aprueba adecuadamente las facturas de ShotSpotter y confirmar si los sensores se colocaron inicialmente en lugares de la ciudad con las tasas de disparos más altas. ### Discusión de los resultados de la auditoría con el Departamento de Policía de Nueva York Los asuntos tratados en este informe se discutieron con los funcionarios del Departamento de Policía de Nueva York durante y al concluir esta auditoría. Se envió un Resumen de la Conferencia de Salida al Departamento de Policía de Nueva York y se discutió con los funcionarios del Departamento de Policía de Nueva York en una conferencia de salida celebrada el 17 de noviembre de 2023. El 27 de noviembre de 2023, presentamos un Informe Borrador al Departamento de Policía de Nueva York con una solicitud de comentarios por escrito. Recibimos una respuesta por escrito del NYPD el 22 de diciembre de 2023. Tras una revisión actualizada del tiempo de respuesta del NYPD a las alertas de ShotSpotter en comparación con las llamadas al 911 para informar tiroteos en el exterior y un análisis del tiempo empleado por el NYPD para concluir las investigaciones preliminares de las alertas de ShotSpotter, se modificó la información de la auditoría y se emitió un Borrador del Informe revisado el 9 de mayo de 2024. Recibimos una respuesta por escrito del NYPD el 3 de junio de 2024. En su respuesta, el NYPD estuvo de acuerdo con dos recomendaciones, estuvo en desacuerdo con una recomendación y no especificó si estaba de acuerdo o en desacuerdo con dos recomendaciones. La respuesta por escrito del NYPD se ha considerado en su totalidad y, cuando es pertinente, se han agregado cambios y comentarios al informe. El texto completo de la respuesta del NYPD se incluye como un apéndice a este informe. Hallazgos detallados ----------------- Si bien el NYPD en general ejerció una supervisión adecuada sobre el proveedor, la auditoría encontró que el estándar de desempeño contractual que el NYPD usa para medir el desempeño de ShotSpotter no mide si las alertas enviadas al NYPD resultan en tiroteos confirmados. ### El estándar de desempeño adoptado por el NYPD da como resultado calificaciones artificialmente altas para ShotSpotter El contrato entre el NYPD y ShotSpotter mide el desempeño con base en una fórmula que da como resultado calificaciones muy altas para la herramienta en la mayoría de los distritos, excepto Manhattan. Desde marzo de 2022, se exige que ShotSpotter cumpla con un objetivo de desempeño del 90% "de disparos comunitarios detectables (al aire libre, sin supresión) que ocurran dentro de un área de cobertura". El cumplimiento o no de este objetivo se basa en la siguiente fórmula: Incidentes publicados / (incidentes publicados + incidentes no detectados + falsos negativos)* [7]* Los "incidentes publicados" son alertas grabadas identificadas por los analistas en el Centro de revisión de incidentes de ShotSpotter como probables incidentes de tiroteos detectados por los dispositivos ShotSpotter e informados al NYPD. Los analistas examinan el audio del incidente junto con las "características visuales de los pulsos detectados y el incidente, como la cantidad de sensores participantes, la forma de la onda, la alineación del pulso y la dirección del sonido". Estos factores determinan si se envía una alerta al NYPD. Los "Incidentes no detectados" se definen como incidentes de tiroteos confirmados que ocurren al aire libre, dentro de las áreas de cobertura de ShotSpotter, que no son detectados por el sistema. Si el 911 o la patrulla alertan al NYPD de un incidente de tiroteo y ShotSpotter no envió ninguna alerta, el NYPD notifica a ShotSpotter inmediatamente sobre un incidente no detectado. Los "Falsos negativos" son incidentes de tiroteos clasificados incorrectamente como no relacionados con disparos según una revisión realizada por el personal de ShotSpotter, o cuando el sistema los descarta automáticamente. En estos casos, no se envió ninguna alerta al NYPD, pero el NYPD informó a ShotSpotter que se produjo un incidente de tiroteo. Para determinar el índice de rendimiento de ShotSpotter, se aplica la fórmula mencionada anteriormente y el número total de incidentes publicados se divide por el total combinado de incidentes publicados más todos los incidentes no detectados y los falsos negativos, para cada período bajo revisión. Al aplicar esta norma, ShotSpotter cumplió con sus objetivos de desempeño en el año calendario 2022 en todas las zonas, excepto en las ubicadas en Manhattan, donde ShotSpotter no logró alcanzar el objetivo de desempeño del 90 % en 8 de los 12 meses, con índices de desempeño que oscilaron entre el 78 % y el 89 %. En los meses en los que ShotSpotter no cumplió con su objetivo, hubo un mayor número tanto de incidentes no detectados como de falsos negativos, como se muestra a continuación en la Tabla I. El número de incidentes de tiroteos confirmados que ShotSpotter no detectó en Manhattan alcanzó un máximo de 25 en febrero de 2022. En 10 de los 12 meses de 2022, ShotSpotter no detectó 10 o más incidentes de tiroteos confirmados. El número de falsos negativos osciló entre 2 y 11 durante este tiempo. La revisión de los auditores de los datos disponibles de años anteriores mostró que este fue un problema constante entre agosto de 2019 y diciembre de 2022. Durante ese período, ShotSpotter no logró alcanzar la tasa de desempeño del 90% en Manhattan en 30 de los 41 meses.[8] Según ShotSpotter, los sensores no detectaron cierta actividad de disparos por varias razones, incluido el alto nivel de ruido, la naturaleza de la construcción en el área de Harlem de Manhattan y la densidad de edificios. ShotSpotter afirmó que ha tomado medidas para mejorar su desempeño en Harlem moviendo y reemplazando sensores e investigando áreas de cobertura. Los informes mensuales muestran que entre enero y junio de 2023, la tasa de desempeño contractual ha aumentado por encima del 90% en los cinco distritos. ### Tasas muy bajas de disparos confirmados detectados Cuando se evalúa de acuerdo con la fórmula acordada por NYPD y ShotSpotter, la herramienta funciona muy bien. Sin embargo, el estándar de desempeño en el contrato no considera los falsos positivos ni evalúa directamente la capacidad de la herramienta para identificar incidentes de tiroteos confirmados. Para hacerlo, los auditores revisaron los datos del informe de seguimiento ShotSpotter de NYPD (informe OCD) para determinar la correlación entre las alertas de ShotSpotter y los incidentes de tiroteos confirmados durante los meses muestreados del año fiscal 2023. La División de Operaciones de NYPD mantiene el informe OCD para rastrear los datos de ShotSpotter, incluida la cantidad de alertas y tiroteos confirmados. Las alertas de ShotSpotter se consideran incidentes de tiroteos confirmados cuando NYPD recupera evidencia como armas de fuego, balística o video, o si hay testigos presenciales, víctimas de disparos, arrestos sumarios o llamadas al 911 que informan un tiroteo. Los auditores revisaron inicialmente los meses de julio y septiembre de 2022 y encontraron que solo el 20% y el 17% de las alertas de ShotSpotter en estos meses eran tiroteos confirmados. Debido al bajo porcentaje de tiroteos confirmados registrados durante estos meses, la muestra se amplió para incluir el período de enero a junio de 2023. Durante este período, el porcentaje de incidentes de tiroteos confirmados fue incluso menor, cayendo a tasas que oscilaron entre el 8% y el 13%. El análisis que respalda estos números aparece a continuación en los Gráficos I y II. El 28 de septiembre de 2023, los auditores se reunieron con el Departamento de Policía de Nueva York para discutir el bajo porcentaje de incidentes de tiroteos confirmados atribuidos a las alertas de ShotSpotter. El Departamento de Policía de Nueva York sostiene que la cantidad de tiroteos confirmados en el informe OCD no es una medida adecuada de desempeño porque solo captura tiroteos confirmados según la investigación realizada en la escena. El Departamento de Policía de Nueva York afirma que la cantidad de tiroteos confirmados puede ser mayor. El Departamento de Policía de Nueva York sugiere que los eventos posteriores que no se rastrean actualmente pueden cambiar más tarde la disposición de una alerta a confirmada; Sin embargo, esta afirmación no se puede probar con precisión porque el NYPD no recopila los datos necesarios. Gráfico I: Número de incidentes de tiroteos confirmados frente al total de alertas de ShotSpotter Gráfico II: Porcentaje de alertas de ShotSpotter que llevaron a incidentes de tiroteos confirmados ### 426,9 horas dedicadas a responder a disparos infundados y no confirmados en un solo mes Cada vez que se considera que vale la pena investigar una alerta de ShotSpotter, se envían agentes de policía al lugar. Si no se encuentra evidencia de un disparo, el despliegue y cualquier tiempo asociado dedicado a investigar la alerta representan un posible desperdicio de recursos. El NYPD no recopila ni analiza directamente esta información, pero los auditores pudieron estimar el tiempo dedicado a responder a las alertas de ShotSpotter durante el mes de junio de 2023, utilizando el tiempo de despliegue en respuesta a una alerta, la "hora de cierre" registrada en el informe de Datos Abiertos y la disposición informada de la investigación que siguió inmediatamente. [9] Durante el mes de junio de 2023, hubo un total de 940 alertas de ShotSpotter (duplicados deducidos) recibidas por el NYPD. Como se muestra en la Tabla II a continuación, la mayoría de las alertas de ShotSpotter no fueron confirmadas (82%) en las que el NYPD no pudo confirmar que se había disparado un tiro debido a la falta de pruebas, o la investigación dio como resultado que una alerta se categorizara como infundada/falso positivo (5%). Solo 122 de las alertas (13%) dieron como resultado tiroteos confirmados. Sin embargo, se enviaron agentes del NYPD en respuesta a las 940 alertas y se dedicó tiempo a investigarlas. Los agentes del NYPD respondieron a 47 alertas infundadas y 771 no confirmadas. Los registros muestran que los agentes dedicaron un promedio de 20 minutos a investigar alertas infundadas y 32 minutos a investigar disparos no confirmados. Esto representa un total de 940 minutos dedicados a investigar alertas infundadas y casi 25.000 minutos a investigar alertas no confirmadas en un solo mes. Las dos categorías combinadas representan 426,9 horas durante un solo mes. Si un solo agente respondió, eso equivale a 36 turnos de doce horas; Si respondieran dos oficiales, la cantidad de turnos desperdiciados se duplicaría (consulte la Tabla II a continuación). Distribuido a lo largo de un año, esto potencialmente representa un desperdicio significativo de horas de los oficiales. Esto, a su vez, tiene consecuencias fiscales que la Ciudad no puede permitirse.[10] En una reunión celebrada el 15 de mayo de 2024, y en su respuesta de auditoría, el NYPD explicó que no se llama a los oficiales para que hagan horas extra para responder a las alertas de ShotSpotter, ya que los oficiales que ya están de patrulla asignados a los precintos responderán. Sin embargo, existe la posibilidad de que al responder a alertas no confirmadas y realizar investigaciones innecesarias, el uso general del tiempo de los oficiales pueda verse afectado y esto, a su vez, puede afectar la necesidad general de horas extra. ### El NYPD no analiza ni publica datos completos sobre el rendimiento de ShotSpotter La evaluación del NYPD sobre el rendimiento de ShotSpotter es inadecuada para responsabilizar al proveedor, y los datos capturados, analizados e informados no son suficientes para demostrar la eficacia de la herramienta. Aunque el NYPD tiene la capacidad de contar el porcentaje de alertas que se confirman como tiroteos, no calcula ni publica esta cifra. El NYPD niega que esta sea una medida útil de la eficacia de ShotSpotter y, además, sostiene que la cantidad real de tiroteos confirmados puede ser mayor que la calculada por los auditores. Esto se debe a que solo captura la disposición inicial después de la investigación en el informe OCD. El NYPD no rastrea si un disparo que no se confirma inmediatamente después de una alerta se confirma más tarde como un tiroteo, pero esta no es una buena razón para no medir ShotSpotter en función de la tasa de detección de tiroteos confirmados. El NYPD debe capturar y evaluar toda la información necesaria para determinar con precisión la tasa de detección de tiroteos confirmados. Saber si ShotSpotter detecta tiroteos con precisión es una pieza esencial de información necesaria para determinar si es una herramienta eficaz. El NYPD debe contabilizar el desperdicio al evaluar ShotSpotter El NYPD actualmente no evalúa el desperdicio potencial de horas de los oficiales dedicadas a responder a alertas infundadas o no confirmadas. El NYPD tiene los datos disponibles para realizar dicho análisis, pero la forma en que se capturan los datos actualmente hace que este sea un proceso laborioso. El NYPD rastrea el tiempo desde la recepción de una alerta de ShotSpotter hasta la llegada de la primera unidad de patrulla y la disposición inmediata, en el informe OCD utilizado para capturar datos de ShotSpotter, pero no captura el final de la investigación inicial o la hora de salida de los oficiales enviados en respuesta a una alerta. Esta información se captura en cambio como una "hora de cierre" de cada incidente en el informe de datos abiertos NYPD Call for Services. Para calcular el tiempo dedicado a responder a alertas infundadas o no confirmadas se requiere una comparación manual de eventos en los dos conjuntos de datos y luego un cálculo manual del tiempo empleado. El NYPD debe asegurarse de que puede identificar e informar fácilmente sobre el tiempo empleado por los oficiales en responder a informes infundados y no confirmados de disparos, así como los costos asociados de PS (personal), de forma regular. Seguimiento de los tiempos de respuesta relativos El NYPD sostiene que el tiempo de respuesta a las alertas de ShotSpotter salva vidas, pero actualmente no captura ni compara la diferencia en los tiempos de respuesta a las alertas frente a las llamadas al 911 realizadas para informar sobre tiroteos al aire libre. Los auditores pudieron derivar un tiempo de respuesta promedio comparando dos conjuntos de datos, el informe interno OCD ShotSpotter Tracking del NYPD y el informe Open Data NYPD Call for Service, y encontraron que durante el mes de junio de 2023 los tiempos de respuesta promedio a las alertas de ShotSpotter fueron 1 minuto y 38 segundos más rápidos que los tiempos de respuesta a los informes al 911 de disparos al aire libre (3 minutos 50 segundos para ShotSpotter frente a 5 minutos 28 segundos para el 911), mucho menos que la diferencia de 5 minutos reclamada en los datos disponibles públicamente. La obtención del tiempo de respuesta promedio fue una tarea laboriosa; el Departamento de Policía de Nueva York (NYPD, por sus siglas en inglés) debería mejorar su capacidad para generar y revisar estos datos de modo que pueda evaluar los tiempos de respuesta relativos de manera continua y consistente. Durante una reunión celebrada el 15 de mayo de 2024, y en su respuesta a la auditoría, el NYPD sostiene que la diferencia de tiempo, de hecho, es mayor, ya que los datos no pueden capturar el tiempo que tarda una persona en llamar al 911. El NYPD explicó que las alertas de ShotSpotter se envían al NYPD en promedio dentro de los 60 segundos posteriores a la revisión del sonido, mientras que una persona que llama al 911 para informar sobre un tiroteo puede dudar y esperar minutos antes de llamar al 911. Como se indicó en la reunión, no es factible para el NYPD o los auditores saber o analizar la cantidad de minutos que tarda una persona en llamar al 911 después de escuchar posibles disparos. Sin embargo, la responsabilidad del NYPD de monitorear y supervisar ShotSpotter se extiende a garantizar que se capturen, evalúen críticamente y se informen públicamente los datos necesarios para evaluar completamente la efectividad y la economía de la herramienta. ### La colocación de sensores generalmente se correlaciona con áreas con altas tasas de tiroteos Debido a las preocupaciones públicas sobre el impacto del sistema en vecindarios con poblaciones mayoritariamente minoritarias, los auditores cuestionaron cómo el NYPD determinó las áreas de cobertura.[11] El NYPD y ShotSpotter declararon que las decisiones de cobertura se basaron en la cantidad de tiroteos confirmados investigados por el NYPD y los informes del 911 sobre disparos efectuados. Según los funcionarios del NYPD, la Oficina del Jefe de Departamento y la Oficina de Estrategias de Control del Delito utilizaron información de tiroteos de años anteriores y datos históricos sobre delitos para decidir las áreas de cobertura iniciales, utilizando la misma metodología cada vez que el programa se expandió. La revisión de los auditores de los datos de tiroteos confirmados para 2014 y 2022 generalmente respalda esta afirmación, con algunas salvedades. Para determinar si los sensores se colocaron inicialmente en las áreas con el mayor número de tiroteos confirmados, los auditores revisaron y compararon los datos de tiroteos confirmados para 2014 informados por el Departamento de Policía de Nueva York en NYC Open Data y los compararon con las áreas de cobertura de los sensores en los distritos policiales relacionados.[12] Esto se complicó por el hecho de que los datos de tiroteos se registran por distrito, mientras que las zonas de cobertura no corresponden directamente a los límites de los distritos: las zonas cubren áreas superpuestas que pueden incluir uno o más distritos o partes de ellos. En 2015, el Departamento de Policía de Nueva York decidió establecer cinco zonas de cobertura que abarcaban 14 distritos en Brooklyn (nueve distritos) y el Bronx (cinco distritos). Esto se determinó en función de los datos de tiroteos de los años anteriores, que mostraron que Brooklyn y el Bronx tenían las estadísticas de tiroteos generales más altas de los cinco distritos. Esto siguió siendo así hasta 2022. Consulte el Gráfico III a continuación para ver una comparación del total de incidentes con disparos por distrito para 2014 y 2022. Gráfico III: Total de incidentes con disparos confirmados por distrito (2014 y 2022) Como se muestra en el Gráfico III, en 2014, el Bronx y Brooklyn tuvieron el mayor número de tiroteos confirmados: 446 en el Bronx y 614 en Brooklyn. Los auditores también analizaron detenidamente la ubicación inicial de los sensores por distrito. El análisis determinó que los sensores no siempre se habían colocado en los distritos con el mayor número de tiroteos confirmados. Si bien todos los distritos con el mayor número de tiroteos, excepto uno, estaban ubicados en el Bronx y Brooklyn, no siempre se colocaron sensores en los distritos con el mayor número de tiroteos dentro de estos dos distritos.[13] Inicialmente, los sensores se colocaron en cinco zonas que abarcaban 14 distritos: nueve distritos con algunos de los números más altos de tiroteos confirmados (que oscilaban entre 39 y 86 por distrito) y cinco distritos vecinos que tenían números más bajos (pero aún altos) de tiroteos confirmados (que oscilaban entre 21 y 37 por distrito). Sin embargo, hubo otras cinco áreas de distritos con altas tasas de tiroteos (que oscilaban entre 38 y 59 por distrito) que inexplicablemente no se incluyeron en la colocación inicial de sensores. Los sensores se instalaron inicialmente en los siguientes distritos: 40, 41, 42, 46 y 48 en el Bronx; y 67, 71, 73, 75, 77, 79, 81, 83 y 90 en Brooklyn. No se colocaron en los distritos 43, 44, 47, 69 y 113, todos los cuales tenían altas tasas de tiroteos. Estos distritos se agregaron posteriormente a las zonas de cobertura en 2016, 2017 y 2018. La Tabla III a continuación enumera los años en los que se agregó la cobertura. #### Mapeo de tiroteos confirmados Para examinar la ubicación de los sensores en toda la ciudad, los auditores mapearon los tiroteos confirmados por distrito y precinto. Estos mapas muestran una gran concentración de tiroteos en áreas de cobertura en 2014 y 2022. Los puntos en el Mapa I y el Mapa II a continuación muestran tiroteos confirmados por precinto en 2014 y 2022, respectivamente. El Mapa III muestra las áreas de cobertura de ShotSpotter a partir de 2022, superpuestas con tiroteos confirmados. Mapa I: Total de incidentes de disparos confirmados por distrito (2014) Mapa II: Total de incidentes de disparos confirmados por distrito (2022) Mapa III: Áreas de cobertura de ShotSpotter (2022) Para el año calendario 2022, los auditores determinaron que los sensores generalmente se colocaron en áreas con el mayor número de tiroteos confirmados. Esto se hizo superponiendo las áreas de cobertura de ShotSpotter en un mapa que muestra la cantidad de tiroteos confirmados en 2022 para todos los distritos y precintos. Nuevamente, este esfuerzo fue complicado en algunos casos, porque las áreas de cobertura de ShotSpotter no se correlacionan directamente con los límites de los distritos y pueden abarcar múltiples distritos, que pueden incluir sectores más pequeños dentro de un distrito. Por ejemplo, el distrito 41 en el Bronx puede no tener la mayor cantidad de tiroteos en general, pero el área con sensores en el distrito 41 se superpone con los distritos 40 y 42 en una zona con una gran cantidad de tiroteos confirmados. #### Datos a nivel de distrito El NYPD afirma que estableció zonas ShotSpotter en función del mayor número de tiroteos y datos históricos sobre delitos, y afirma además que determinó con precisión las zonas ShotSpotter en función de tasas de tiroteos más altas que no se correlacionaban con los distritos en su conjunto. Como resultado, las zonas ShotSpotter pueden abarcar áreas de varios distritos policiales en las que se producen muchos tiroteos dentro de las áreas de cobertura general. Esto fue difícil de verificar para los auditores, ya que el Departamento de Policía de Nueva York no conoce la ubicación exacta de los sensores. Sin embargo, las áreas de cobertura son en general consistentes con los datos de tiroteos a nivel de distrito. Si el Departamento de Policía de Nueva York hubiera colocado sensores basándose únicamente en los datos de tiroteos confirmados disponibles para cada distrito, ShotSpotter se habría desplegado en orden de mayor a menor, en los distritos que se muestran a continuación, en la Tabla III. Si el Departamento de Policía de Nueva York se hubiera basado únicamente en estos datos, cuatro distritos (47, 44, 43 y 69) habrían sido cubiertos antes. Todos los distritos menos uno a continuación se encuentran dentro de las zonas de cobertura inicial del Bronx y Brooklyn.[14] ### El Departamento de Policía de Nueva York no paga las facturas de manera oportuna La Sección 4-06 de las Reglas de la Junta de Política de Adquisiciones (Reglas PPB) requiere pagos rápidos a las empresas y organizaciones que hacen negocios con la Ciudad. En él se indica que el proceso de pago de facturas debe tardar 30 días o menos, a partir de la fecha de recepción o aceptación de la factura (fecha de IRA).[15] Después de examinar las facturas de ShotSpotter y los pagos de facturas del NYPD para los años fiscales 2021 a 2023, los auditores descubrieron que el NYPD tardó 94 días en promedio en pagar las facturas. El NYPD afirmó que esto se debía a que muchos empleados estaban en casa durante la pandemia y no tenían acceso a los archivos físicos en ese momento. Sin embargo, los auditores encontraron que el NYPD todavía pagó sus facturas tarde en 2023. Por ejemplo, una factura que se presentó en diciembre de 2022 no se pagó hasta abril de 2023. El NYPD declaró que ShotSpotter no ha emitido ninguna sanción por pagar facturas después de la fecha límite de 30 días posteriores a la fecha de la IRA. Es importante que el NYPD pague a sus proveedores a tiempo, ya que las Reglas de PPB permiten a los proveedores cobrar intereses por los pagos atrasados. También es política de la Ciudad procesar los pagos del contrato de manera eficiente y expedita para asegurar el pago de manera oportuna a las empresas y organizaciones que hacen negocios con la Ciudad. Recomendaciones --------------- Para abordar los hallazgos mencionados anteriormente, los auditores proponen que el NYPD debería: 1. Negarse a renovar el contrato de ShotSpotter cuando expire en diciembre de 2024 sin realizar primero una evaluación de desempeño más exhaustiva, considerando las tasas muy bajas de incidentes de tiroteos confirmados detectados y teniendo en cuenta el extenso tiempo que los oficiales del NYPD dedican a responder a alertas que finalmente no se confirman como tiroteos. Respuesta del NYPD: El NYPD no estuvo de acuerdo con esta recomendación, afirmando que "...la no renovación de los servicios de ShotSpotter puede poner en peligro al público y no renovar el contrato de ShotSpotter hasta que el Departamento realice un análisis más profundo sería una medida prematura. El Departamento seguirá manteniendo conversaciones con ShotSpotter para mejorar el rendimiento y la evaluación de la tecnología; sin embargo, no es factible realizar una evaluación antes del período de renovación del contrato... En resumen, la pérdida del programa ShotSpotter daría como resultado un entorno de trabajo menos seguro para los agentes y una mayor probabilidad de encuentros violentos para todos los neoyorquinos". Respuesta del auditor: Los auditores reiteran la necesidad de que el NYPD vuelva a evaluar el rendimiento de ShotSpotter y su capacidad para detectar tiroteos antes de que se renueve el contrato; observamos que quedan casi 6 meses del plazo del contrato actual, lo que deja tiempo suficiente para reconsiderar el rendimiento general del producto. 1. Desarrollar estándares de desempeño más significativos para la precisión de ShotSpotter que tengan en cuenta mejor la tasa muy alta de alertas que finalmente no se confirman como tiroteos. Respuesta del NYPD: El NYPD no estuvo de acuerdo ni en desacuerdo con esta recomendación. Afirmó que "el NYPD está limitado en lo que puede considerar un "tiroteo confirmado" junto con una alerta de ShotSpotter debido a la naturaleza del trabajo policial y las alertas que no resultan en la recuperación de evidencia (es decir, balística, daños a la propiedad, casquillos de bala/munición real, armas de fuego, video, testigos oculares o auditivos y/o víctimas). Como se discutió en reuniones anteriores, el Departamento está abierto a cualquier recomendación de los auditores para mejorar los cálculos de los estándares, pero no ha recibido un estándar recomendado". Respuesta del auditor: Los hallazgos de los auditores muestran una diferencia significativa entre la evaluación de la herramienta en función del estándar de desempeño contractual y la evaluación de la capacidad de la herramienta para detectar tiroteos reales. Esta discrepancia es significativa y debe abordarse. El NYPD señala en su respuesta que los tiroteos confirmados no son viables como medio para medir su eficacia, en parte porque sostiene que los "tiroteos confirmados" no incluyen las confirmaciones que se producen después de una investigación más exhaustiva y otras actividades. El NYPD debería poder evaluar la precisión general de la herramienta de una manera que tenga en cuenta las confirmaciones que se producen más tarde en el tiempo a medida que se dispone de más pruebas. 1. Para aumentar la transparencia, el NYPD debería recopilar y publicar datos relevantes, incluidos el número de alertas publicadas, el porcentaje de alertas que dan lugar a tiroteos confirmados, el número de falsos negativos e incidentes no detectados, el tiempo y los costos de personal dedicados a responder a las alertas que en última instancia no se confirman como tiroteos, y los tiempos de respuesta relativos a las alertas de ShotSpotter frente a los informes del 911 de disparos en el exterior. *Respuesta del NYPD: *El NYPD no estuvo de acuerdo ni en desacuerdo con esta recomendación, afirmó que "las cifras de tiroteos cambian constantemente en función de las investigaciones y otros factores que siguen a los tiroteos y, por lo tanto, las partes que no están familiarizadas con los datos podrían malinterpretar la información. Además, esto tendría que pasar por varios canales para determinar la viabilidad y legalidad de dicha solicitud de información". *Respuesta del auditor: *Los auditores reiteran la necesidad de una mayor transparencia. No hay nada inherentemente confidencial en los diversos puntos de datos recomendados para su publicación y, dado el nivel de debate público sobre los méritos de esta herramienta, existe un fuerte interés público en que los datos estén disponibles para su revisión. 1. Continuar el seguimiento con ShotSpotter, Inc. en las áreas de cobertura donde no se cumple la tasa de rendimiento del 90% y asegurarse de que ShotSpotter, Inc. mantenga la tasa de rendimiento del Acuerdo de nivel de servicio acordada. Respuesta del NYPD: El NYPD estuvo de acuerdo con esta recomendación. 1. Pagar sus facturas dentro de los 30 días posteriores a la fecha de recepción o aceptación de la factura según las Reglas de la Junta de Política de Adquisiciones § 4-06. Respuesta del NYPD: El NYPD estuvo de acuerdo con esta recomendación. ### Seguimiento de las recomendaciones Se realizará un seguimiento periódico para determinar el estado de implementación de cada recomendación contenida en este informe. Las actualizaciones de estado informadas por la agencia se incluyen en el Rastreador de recomendaciones de auditoría disponible aquí: https://comptroller.nyc.gov/services/for-the-public/audit/audit-recommendations-tracker/ Alcance y metodología --------------------- Realizamos esta auditoría de desempeño de acuerdo con las Normas de auditoría gubernamental generalmente aceptadas (GAGAS). GAGAS requiere que planifiquemos y realicemos la auditoría para obtener evidencia suficiente y apropiada para proporcionar una base razonable para nuestros hallazgos y conclusiones basados en nuestros objetivos de auditoría. Creemos que la evidencia obtenida proporciona una base razonable para nuestros hallazgos y conclusiones dentro del contexto de nuestro(s) objetivo(s) de auditoría. Esta auditoría se realizó de acuerdo con las responsabilidades de auditoría del Contralor de la Ciudad como se establece en el Capítulo 5, §93, de la Carta de la Ciudad de Nueva York. El alcance de esta auditoría fue del 1 de julio de 2020 al 30 de junio de 2023.[16] Para comprender el contrato entre NYPD y ShotSpotter, Inc. para el Sistema de detección y ubicación de disparos, los auditores obtuvieron y revisaron lo siguiente: - Reglas de la Junta de Política de Adquisiciones (PPB) - Reglas de la Ciudad de Nueva York - Título 9 - Directiva del Contralor N.° 1 - "Principios de control interno" - Código Administrativo de la Ciudad de Nueva York - Título 6 - Contratos, compras y franquicias - Acuerdos contractuales, enmiendas y acuerdo de renovación de NYPD con ShotSpotter, Inc. - Código Administrativo de NYPD Guía - Procedimiento 325-43 Para lograr los objetivos de la auditoría y obtener una comprensión de la supervisión del NYPD de su contrato con ShotSpotter y su proceso de pagos, los auditores realizaron recorridos con los siguientes funcionarios del NYPD: - El Director y un Auditor de la Unidad de Responsabilidad Fiscal del NYPD, - El Director y Capitán de la División de Asuntos Fiscales de la Oficina de Tecnología de la Información (ITB), - El Inspector Adjunto de ITB, - El Inspector Adjunto y dos Tenientes de la División de Operaciones del NYPD, - El Jefe Adjunto de Estrategias de Control del Crimen Para obtener una comprensión del Sistema de Detección y Ubicación de Disparos, los auditores realizaron un recorrido con los siguientes funcionarios de ShotSpotter Inc.: - El Vicepresidente Sénior de Atención al Cliente y Servicios Profesionales, - El Ingeniero de Soporte Técnico Para examinar la precisión y puntualidad de los pagos de facturas del NYPD a ShotSpotter, los auditores extrajeron de forma independiente el Historial de Solicitudes de Pago por archivo de datos de Proveedor del Sistema de Gestión Financiera de la Ciudad (FMS) para los años fiscales 2021 a 2023 y los compararon con las facturas de ShotSpotter para los años fiscales 2021 a 2023. Año fiscal 2023. Para determinar la confiabilidad de los datos de pago de facturas del NYPD, los auditores examinaron los datos de CheckBook NYC del año fiscal 2021 al año fiscal 2023 para compararlos con los datos de FMS del año fiscal 2021 al año fiscal 2023. Para determinar la eficacia del Sistema de detección y localización de disparos, los auditores seleccionaron con criterio el mes con la tasa de rendimiento más baja (julio de 2022) y el mes de datos más actualizado en el momento de la prueba inicial (septiembre de 2022) y analizaron el Informe de puntuación de ShotSpotter y lo compararon con los informes de seguimiento de alertas de la División de Operaciones del NYPD y el informe de errores de ShotSpotter. Los auditores luego examinaron meses adicionales desde enero de 2023 hasta junio de 2023. Para determinar la precisión de los datos de tiroteos del NYPD, utilizando los mismos dos meses seleccionados anteriormente (julio de 2022 y septiembre de 2022), los auditores examinaron el informe de tiroteos de sangre de ITB generado por el NYPD y lo compararon con el Informe de incidentes de tiroteos del sitio web de datos abiertos de la ciudad de Nueva York.[17] Los auditores examinaron dos meses de activaciones de ShotSpotter seleccionando a criterio para probar el mes con la tasa de rendimiento más baja en el año fiscal 2023 (julio de 2022) y el mes más actual de datos en el momento de la prueba inicial (septiembre de 2022). Los auditores también examinaron meses adicionales (de enero de 2023 a junio de 2023). Para confirmar que el NYPD seleccionó las ubicaciones de los sensores ShotSpotter en función del mayor número de tiroteos, los auditores revisaron los datos de disparos de 2014 a 2022 obtenidos del sitio web NYC Open Data. Los auditores utilizaron el software de mapeo Tableau para trazar los lugares de los tiroteos y los compararon con el mapa del área de cobertura de ShotSpotter proporcionado por el NYPD. Para obtener información sobre la demografía de las áreas de cobertura de ShotSpotter, los auditores utilizaron los datos del Censo de 2020 del mapa interactivo de NYC Population FactFinder en el sitio web del Departamento de Planificación Urbana de la Ciudad de Nueva York (https://popfactfinder.planning.nyc.govhttps://popfactfinder.planning.nyc.gov). Los auditores superpusieron los límites de los distritos del NYPD en el mapa interactivo de Population FactFinder y luego seleccionaron las áreas aproximadas para el análisis demográfico según el mapa del área de cobertura de ShotSpotter proporcionado por el NYPD. Para determinar si ShotSpotter mejoró el tiempo de respuesta del NYPD, los auditores revisaron el informe de seguimiento de alertas del NYPD para septiembre de 2022, que era el mes de datos más actualizado en el momento de la prueba inicial, y revisaron el tiempo de recepción de alertas de ShotSpotter con el tiempo de llegada del NYPD y calcularon el tiempo promedio. Luego, los auditores compararon el tiempo de respuesta promedio de las alertas de ShotSpotter con el tiempo de respuesta de extremo a extremo de los informes del 911 de la ciudad de Nueva York para incidentes críticos para septiembre de 2022. Para realizar un análisis actualizado y específico sobre el tiempo de respuesta promedio, los auditores revisaron el informe de seguimiento de ShotSpotter del NYPD para junio de 2023 (el último mes de nuestro alcance) y calcularon los promedios desde el incidente hasta la llegada de la primera unidad. Los auditores también realizaron un análisis del informe de datos abiertos NYPD Call for Services y extrajeron las alertas de ShotSpotter para revisar la marca de tiempo de cierre (hora de la disposición final) que solo se encuentra en el informe de datos abiertos. Los auditores calcularon entonces el tiempo promedio que los oficiales que respondieron tardaron en cerrar la investigación preliminar de alertas infundadas, no confirmadas y confirmadas. También calculamos el tiempo promedio de respuesta de las llamadas al 911 que involucraron disparos realizados en el exterior para obtener información más específica sobre la respuesta de principio a fin del 911 a este incidente crítico específico (excluyendo todos los demás tipos de incidentes que no involucraron disparos realizados en el exterior). Para probar la precisión y validez de los datos informáticos del Sistema de Detección y Ubicación de Disparos, los auditores seleccionaron con criterio el mes con la tasa de rendimiento más baja (julio de 2022) y el mes de datos más actualizado en el momento de la prueba inicial (septiembre de 2022) y examinaron el informe ShotSpotter Scorecard generado a partir de ShotSpotter, el informe de seguimiento de ShotSpotter de OCD y el informe de tiroteos de sangre de ITB generado por el Departamento de Policía de Nueva York. Los auditores examinaron además meses adicionales desde enero de 2023 hasta junio de 2023. Para determinar si ShotSpotter facturó a NYPD de acuerdo con el contrato, los auditores compararon los contratos y enmiendas de ShotSpotter con los pagos de facturas para el año fiscal 2021 al año fiscal 2023. Los auditores recalcularon los montos de las facturas en función de las tarifas de suscripción que figuran en los contratos y enmiendas y luego los compararon con los pagos de facturas. Para determinar si NYPD pagó a ShotSpotter, Inc. el monto correcto, los auditores compararon los datos de FMS para el año fiscal 2021 al año fiscal 2023 con las facturas de ShotSpotter para el año fiscal 2021 al año fiscal 2023. Para determinar si ShotSpotter cumplió con el requisito del contrato de proveedores MWBE, los auditores examinaron el informe de utilización de MWBE de NYPD y los datos de Checkbook NYC para determinar si NYPD logró el mínimo de emplear proveedores MWBE por el 4% del valor total en dólares del contrato. Si bien los resultados de las pruebas no son proyectables, sí brindan evidencia suficiente y apropiada para respaldar los hallazgos y conclusiones sobre si el Departamento de Policía de Nueva York monitorea y evalúa adecuadamente el Sistema de Detección y Ubicación de Disparos y revisa y aprueba las facturas de manera adecuada. Se omite cierta información. Consulte la URL original para ver el informe completo.