Incident 831: Les scanners d'armes à feu IA du métro de New York génèrent un taux élevé de faux positifs et ne détectent aucune arme à feu lors d'un test pilote d'un mois
Description: La ville de New York a déployé un scanner d'armes basé sur l'IA pour un projet pilote d'un mois, avec un succès mitigé. Bien qu'aucune arme n'ait été détectée lors de la phase de test de septembre 2024, 118 faux positifs ont été constatés : une personne a été fouillée pour suspicion de port d'arme, sans qu'aucune arme ne soit réellement détectée.
Editor Notes: The 118 false positives can be considered a privacy invasion, and according to some cited legal advocacy groups, a violation of due process. Reconstructing the timeline of events: (1) March 28, 2024: Mayor Eric Adams announces plans to deploy Evolv's AI-powered weapons scanners in selected NYC subway stations. (2) Summer 2024: Pilot program begins, deploying AI scanners across 20 subway stations. (3) September 2024: NYPD completes a 30-day testing period with the scanners, performing 2,749 scans and recording 118 false positives and no firearms detections. (4) October 23, 2024: NYPD releases a brief statement summarizing the pilot results, which is marked at the incident date for our purposes, even though each false positive (as well as the potential for firearms to have slipped past detection) may be considered discrete incidents in and of themselves.
Outils
Nouveau rapportNouvelle RéponseDécouvrirVoir l'historique
Le Moniteur des incidents et risques liés à l'IA de l'OCDE (AIM) collecte et classe automatiquement les incidents et risques liés à l'IA en temps réel à partir de sources d'information réputées dans le monde entier.
Entités
Voir toutes les entitésAlleged: Evolv Technology developed an AI system deployed by New York City Government, which harmed New York City subway riders.
Statistiques d'incidents
Risk Subdomain
A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
7.3. Lack of capability or robustness
Risk Domain
The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
- AI system safety, failures, and limitations
Entity
Which, if any, entity is presented as the main cause of the risk
AI
Timing
The stage in the AI lifecycle at which the risk is presented as occurring
Post-deployment
Intent
Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
Unintentional
Rapports d'incidents
Chronologie du rapport
NEW YORK (AP) — Un programme pilote testant des scanners d'armes à feu alimentés par l'IA dans certaines stations de métro de New York cet été n'a détecté aucun passager avec des armes à feu - mais a donné de fausses alertes plus de 100 foi…
Mise à jour : Cet article a été mis à jour, car l’original exagérait potentiellement à la fois ce que disait le règlement de la FTC concernant ce qu’Evolv pouvait commercialiser ainsi que la réponse d’Evolv à ce règlement (suggérant qu’elle…
Variantes
Une "Variante" est un incident de l'IA similaire à un cas connu—il a les mêmes causes, les mêmes dommages et le même système intelligent. Plutôt que de l'énumérer séparément, nous l'incluons sous le premier incident signalé. Contrairement aux autres incidents, les variantes n'ont pas besoin d'avoir été signalées en dehors de la base de données des incidents. En savoir plus sur le document de recherche.
Vous avez vu quelque chose de similaire ?
Incidents similaires
Did our AI mess up? Flag the unrelated incidents
Uber AV Killed Pedestrian in Arizona
· 25 rapports
Predictive Policing Biases of PredPol
· 17 rapports
Incidents similaires
Did our AI mess up? Flag the unrelated incidents
Uber AV Killed Pedestrian in Arizona
· 25 rapports
Predictive Policing Biases of PredPol
· 17 rapports