Description: NYC implemented an AI enabled weapons scanner for a month-long pilot with limited success. Despite not finding any weapons during the September 2024 testing phase, there were 118 false positives in which a person was searched under suspicion of carrying a weapon with no actual gun detections.
Editor Notes: The 118 false positives can be considered a privacy invasion, and according to some cited legal advocacy groups, a violation of due process. Reconstructing the timeline of events: (1) March 28, 2024: Mayor Eric Adams announces plans to deploy Evolv's AI-powered weapons scanners in selected NYC subway stations. (2) Summer 2024: Pilot program begins, deploying AI scanners across 20 subway stations. (3) September 2024: NYPD completes a 30-day testing period with the scanners, performing 2,749 scans and recording 118 false positives and no firearms detections. (4) October 23, 2024: NYPD releases a brief statement summarizing the pilot results, which is marked at the incident date for our purposes, even though each false positive (as well as the potential for firearms to have slipped past detection) may be considered discrete incidents in and of themselves.
Alleged: Evolv Technology developed an AI system deployed by New York City Government, which harmed New York City subway riders.
インシデントのステータス
Risk Subdomain
A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
7.3. Lack of capability or robustness
Risk Domain
The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
- AI system safety, failures, and limitations
Entity
Which, if any, entity is presented as the main cause of the risk
AI
Timing
The stage in the AI lifecycle at which the risk is presented as occurring
Post-deployment
Intent
Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
Unintentional
インシデントレポート
レポートタイムライン
ニューヨーク（AP通信）— ニューヨーク市の地下鉄駅構内で今夏に実施されたAI搭載武器スキャナーの試験運用では、銃器を所持する乗客は検知されなかったが、新たに公開された警察のデータによると、100回以上誤検知があった。
警察によると、約3,000回の捜索で、スキャナーは118件以上の誤検知と12本のナイフを検出したが、陽性反応 が公共交通機関で許可されているポケットナイフなどの違法な刃物や工具を指しているかどうかは明らかにしなかった。
民主党員でハイテク愛好家のエリック・アダム…
更新: この投稿は更新されました。元の投稿では、Evolv が販売できるものに関する FTC の和解内容と、それに対する Evolv の対応 (合意した和解を制限しようとすることを示唆) の両方を誇張していた可能性がありま す。誤解を招くような説明をしてしまったことをお詫びし、それに応じて記事を更新しました。
Evolv は業界に新しく参入した企業かもしれませんが、すでに名声を得ています。しかも、良い評判ではありません。
これは、ニューヨーク市長のエリック・アダムス氏の一連の公…
バリアント
「バリアント」は既存のAIインシデントと同じ原因要素を共有し、同様な被害を引き起こし、同じ知的システムを含んだインシデントです。バリアントは完全に独立したインシデントとしてインデックスするのではなく、データベースに最初に投稿された同様なインシデントの元にインシデントのバリエーションとして一覧します。インシデントデータベースの他の投稿タイプとは違い、バリアントではインシデントデータベース以外の根拠のレポートは要求されません。詳細についてはこの研究論文を参照してください
