Incidente 831: Los escáneres de armas con inteligencia artificial del metro de Nueva York arrojan una alta tasa de falsos positivos y no detectan armas en una prueba piloto de un mes de duración.
Descripción: La ciudad de Nueva York implementó un escáner de armas con inteligencia artificial durante un programa piloto de un mes, con resultados limitados. A pesar de no encontrar armas durante la fase de prueba de septiembre de 2024, se registraron 118 falsos positivos en los que se registró a una persona bajo sospecha de portar un arma sin que se detectaran armas.
Editor Notes: The 118 false positives can be considered a privacy invasion, and according to some cited legal advocacy groups, a violation of due process. Reconstructing the timeline of events: (1) March 28, 2024: Mayor Eric Adams announces plans to deploy Evolv's AI-powered weapons scanners in selected NYC subway stations. (2) Summer 2024: Pilot program begins, deploying AI scanners across 20 subway stations. (3) September 2024: NYPD completes a 30-day testing period with the scanners, performing 2,749 scans and recording 118 false positives and no firearms detections. (4) October 23, 2024: NYPD releases a brief statement summarizing the pilot results, which is marked at the incident date for our purposes, even though each false positive (as well as the potential for firearms to have slipped past detection) may be considered discrete incidents in and of themselves.
Herramientas
Nuevo InformeNueva RespuestaDescubrirVer Historial
El Monitor de Incidentes y Riesgos de IA de la OCDE (AIM) recopila y clasifica automáticamente incidentes y riesgos relacionados con la IA en tiempo real a partir de fuentes de noticias reputadas en todo el mundo.
Entidades
Ver todas las entidadesAlleged: Evolv Technology developed an AI system deployed by New York City Government, which harmed New York City subway riders.
Estadísticas de incidentes
Risk Subdomain
A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
7.3. Lack of capability or robustness
Risk Domain
The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
- AI system safety, failures, and limitations
Entity
Which, if any, entity is presented as the main cause of the risk
AI
Timing
The stage in the AI lifecycle at which the risk is presented as occurring
Post-deployment
Intent
Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
Unintentional
Informes del Incidente
Cronología de Informes
NUEVA YORK (AP) — Un programa piloto que probó escáneres de armas con inteligencia artificial dentro de algunas estaciones del metro de Nueva York este verano no detectó ningún pasajero con armas de fuego, pero dio alertas falsas más de 100…

Actualizado: Esta publicación ha sido actualizada, ya que el original posiblemente exageró tanto lo que decía el acuerdo de la FTC con respecto a lo que Evolv podría comercializar como la respuesta de Evolv al mismo (lo que sugiere que inte…
Variantes
Una "Variante" es un incidente de IA similar a un caso conocido—tiene los mismos causantes, daños y sistema de IA. En lugar de enumerarlo por separado, lo agrupamos bajo el primer incidente informado. A diferencia de otros incidentes, las variantes no necesitan haber sido informadas fuera de la AIID. Obtenga más información del trabajo de investigación.
¿Has visto algo similar?
Incidentes Similares
Did our AI mess up? Flag the unrelated incidents

Uber AV Killed Pedestrian in Arizona
· 25 informes

Predictive Policing Biases of PredPol
· 17 informes
Incidentes Similares
Did our AI mess up? Flag the unrelated incidents

Uber AV Killed Pedestrian in Arizona
· 25 informes

Predictive Policing Biases of PredPol
· 17 informes