概要: FacebookのAIモデレーションシステムは、カリフォルニア州の山火事シーズン中に、避難や火災追跡に関するリアルタイム情報など、重要な緊急情報を含む数十件の投稿を誤ってフラグ付けし、削除しました。カリフォルニア州消防局や米国森林局といった公式機関からの投稿はスパムと判定され、重要な情報へのアクセスが制限されることで人命が危険にさらされる可能性がありました。ユーザーからの苦情にもかかわらず、この問題は解決せず、Facebookはメディアからの問い合わせを受けて初めてこの問題を認めました。
推定: Meta と Facebookが開発し提供したAIシステムで、California residents , Wildfire evacuees , Emergency responders , Disaster relief workers , Fire safety coordinators , Facebook users と Facebook users in disaster zonesに影響を与えた
インシデントのステータス
Risk Subdomain
A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
7.3. Lack of capability or robustness
Risk Domain
The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
- AI system safety, failures, and limitations
Entity
Which, if any, entity is presented as the main cause of the risk
AI
Timing
The stage in the AI lifecycle at which the risk is presented as occurring
Post-deployment
Intent
Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
Unintentional
インシデントレポート
レポートタイムライン
日曜日の午後2時頃、ローリ・ハッチンソンさんの娘が「火事だ」と叫びながら家の中に駆け込んできた。
灰色の煙の柱が、湖の真向かいにある北カリフォルニアの辺鄙な町クリアレイクから急速に立ち上っていた。元消防士で消防署長と結婚したハッチンソンさんは、夫が消防無線をオンにしたので携帯電話をつかんだ。通信指令員が避難と近隣の郡からの応援を要請していた。数分後、現在は消防安全コーディネーターとして働くハッチンソンさんは、ボイルズ火災について知っていることをレイク郡消防安全協議会のFace…

報道によると、Facebookは、山火事シーズンが米国西部に広がる中、重要な安全情報を削除している。
The Washington Postによる調査では、6月以降、合計20件の火災が発生した地域で、このテクノロジー大手が投稿にフラグを付けて削除した事例が数十件あることが判明した。投稿には、山火事の動きに関するライブアラートを提供する非営利リソースである火災安全アプリWatch Dutyへのリンクやスクリーンショットが含まれることが多かった。カリフォルニア州の火災が発生しやす…

バリアント
「バリアント」は既存のAIインシデントと同じ原因要素を共有し、同様な被害を引き起こし、同じ知的システムを含んだインシデントです。バリアントは完全に独立したインシデントとしてイ ンデックスするのではなく、データベースに最初に投稿された同様なインシデントの元にインシデントのバリエーションとして一覧します。インシデントデータベースの他の投稿タイプとは違い、バリアントではインシデントデータベース以外の根拠のレポートは要求されません。詳細についてはこの研究論文を参照してください
似たようなものを見つけましたか?
よく似たインシデント
Did our AI mess up? Flag the unrelated incidents
Waze Navigates Motorists into Wildfires
· 22 レポート

Uber AV Killed Pedestrian in Arizona
· 25 レポート
Security Robot Rolls Over Child in Mall
· 27 レポート
よく似たインシデント
Did our AI mess up? Flag the unrelated incidents
Waze Navigates Motorists into Wildfires
· 22 レポート

Uber AV Killed Pedestrian in Arizona
· 25 レポート
Security Robot Rolls Over Child in Mall
· 27 レポート