Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる

インシデント 831: NYC Subway AI Weapons Scanners Yield High False Positive Rate and Detect No Guns in Month-Long Pilot Test

概要: NYC implemented an AI enabled weapons scanner for a month-long pilot with limited success. Despite not finding any weapons during the September 2024 testing phase, there were 118 false positives in which a person was searched under suspicion of carrying a weapon with no actual gun detections.
Editor Notes: The 118 false positives can be considered a privacy invasion, and according to some cited legal advocacy groups, a violation of due process. Reconstructing the timeline of events: (1) March 28, 2024: Mayor Eric Adams announces plans to deploy Evolv's AI-powered weapons scanners in selected NYC subway stations. (2) Summer 2024: Pilot program begins, deploying AI scanners across 20 subway stations. (3) September 2024: NYPD completes a 30-day testing period with the scanners, performing 2,749 scans and recording 118 false positives and no firearms detections. (4) October 23, 2024: NYPD releases a brief statement summarizing the pilot results, which is marked at the incident date for our purposes, even though each false positive (as well as the potential for firearms to have slipped past detection) may be considered discrete incidents in and of themselves.

ツール

新しいレポート新しいレポート新しいレスポンス新しいレスポンス発見する発見する履歴を表示履歴を表示

組織

すべての組織を表示
Alleged: Evolv Technology developed an AI system deployed by New York City Government, which harmed New York City subway riders.

インシデントのステータス

インシデントID
831
レポート数
2
インシデント発生日
2024-10-23
エディタ
Daniel Atherton
Applied Taxonomies
MIT

MIT 分類法のクラス

Machine-Classified
分類法の詳細

Risk Subdomain

A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
 

7.3. Lack of capability or robustness

Risk Domain

The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
 
  1. AI system safety, failures, and limitations

Entity

Which, if any, entity is presented as the main cause of the risk
 

AI

Timing

The stage in the AI lifecycle at which the risk is presented as occurring
 

Post-deployment

Intent

Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
 

Unintentional

インシデントレポート

レポートタイムライン

+1
ニューヨーク市地下鉄で使用されているAI搭載の武器スキャナー、1か月のテストで銃はゼロ
FTC、「銃器探知」技術メーカーのEvolvに、誇張された金属探知機の有効性を誇張するのをやめるよう命令
ニューヨーク市地下鉄で使用されているAI搭載の武器スキャナー、1か月のテストで銃はゼロ

ニューヨーク市地下鉄で使用されているAI搭載の武器スキャナー、1か月のテストで銃はゼロ

apnews.com

FTC、「銃器探知」技術メーカーのEvolvに、誇張された金属探知機の有効性を誇張するのをやめるよう命令

FTC、「銃器探知」技術メーカーのEvolvに、誇張された金属探知機の有効性を誇張するのをやめるよう命令

techdirt.com

ニューヨーク市地下鉄で使用されているAI搭載の武器スキャナー、1か月のテストで銃はゼロ
apnews.com · 2024
自動翻訳済み

ニューヨーク(AP通信)— ニューヨーク市の地下鉄駅構内で今夏に実施されたAI搭載武器スキャナーの試験運用では、銃器を所持する乗客は検知されなかったが、新たに公開された警察のデータによると、100回以上誤検知があった。

警察によると、約3,000回の捜索で、スキャナーは118件以上の誤検知と12本のナイフを検出したが、陽性反応が公共交通機関で許可されているポケットナイフなどの違法な刃物や工具を指しているかどうかは明らかにしなかった。

民主党員でハイテク愛好家のエリック・アダム…

FTC、「銃器探知」技術メーカーのEvolvに、誇張された金属探知機の有効性を誇張するのをやめるよう命令
techdirt.com · 2024
自動翻訳済み

更新: この投稿は更新されました。元の投稿では、Evolv が販売できるものに関する FTC の和解内容と、それに対する Evolv の対応 (合意した和解を制限しようとすることを示唆) の両方を誇張していた可能性があります。誤解を招くような説明をしてしまったことをお詫びし、それに応じて記事を更新しました。

Evolv は業界に新しく参入した企業かもしれませんが、すでに名声を得ています。しかも、良い評判ではありません。

これは、ニューヨーク市長のエリック・アダムス氏の一連の公…

バリアント

「バリアント」は既存のAIインシデントと同じ原因要素を共有し、同様な被害を引き起こし、同じ知的システムを含んだインシデントです。バリアントは完全に独立したインシデントとしてインデックスするのではなく、データベースに最初に投稿された同様なインシデントの元にインシデントのバリエーションとして一覧します。インシデントデータベースの他の投稿タイプとは違い、バリアントではインシデントデータベース以外の根拠のレポートは要求されません。詳細についてはこの研究論文を参照してください

よく似たインシデント

テキスト類似度による

Did our AI mess up? Flag the unrelated incidents

Uber AV Killed Pedestrian in Arizona

Tempe police release report, audio, photo

Mar 2018 · 25 レポート
Predictive Policing Biases of PredPol

Policing the Future

Nov 2015 · 17 レポート
Police Departments Reported ShotSpotter as Unreliable and Wasteful

Gunshot detection system gets mixed reviews nationally

Oct 2012 · 15 レポート
前のインシデント次のインシデント

よく似たインシデント

テキスト類似度による

Did our AI mess up? Flag the unrelated incidents

Uber AV Killed Pedestrian in Arizona

Tempe police release report, audio, photo

Mar 2018 · 25 レポート
Predictive Policing Biases of PredPol

Policing the Future

Nov 2015 · 17 レポート
Police Departments Reported ShotSpotter as Unreliable and Wasteful

Gunshot detection system gets mixed reviews nationally

Oct 2012 · 15 レポート

リサーチ

  • “AIインシデント”の定義
  • “AIインシデントレスポンス”の定義
  • データベースのロードマップ
  • 関連研究
  • 全データベースのダウンロード

プロジェクトとコミュニティ

  • AIIDについて
  • コンタクトとフォロー
  • アプリと要約
  • エディタのためのガイド

インシデント

  • 全インシデントの一覧
  • フラグの立ったインシデント
  • 登録待ち一覧
  • クラスごとの表示
  • 分類法

2024 - AI Incident Database

  • 利用規約
  • プライバシーポリシー
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • 1420c8e