Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる

レポート 5347

関連インシデント

インシデント 11095 Report
Year-long AI Surveillance Pilot in Two South Australian Aged Care Facilities Reportedly Overwhelmed Staff with False Positives

Loading...
介護施設のAIビデオ監視試験で誤報が多すぎると監査人が指摘
ifsecglobal.com · 2022

ロン・アラルーフ氏の報告によると、南オーストラリア州の2つの介護施設で連邦政府の資金援助を受けて実施されたCCTVシステムの試験運用では、転倒や悲鳴を検知するために人工知能が活用されましたが、12ヶ月間で1万2000件以上の誤検知が発生しました。

PwCによる試験運用の監査では、AI技術は「高齢者向け住宅における事故検知において、まだ十分な精度に達していない」ことが判明しました。さらに、システムの精度は設計通り時間の経過とともに向上したものの、職員や経営陣が許容できるレベルには達していないと指摘されています。

78万5000豪ドル(約46万7000ポンド)を投じたこの試験運用に関する報告書では、試験運用の最終数ヶ月において、職員がすべてのアラートに対応できず、実際の転倒にも職員が対応しなかった事例が少なくとも1件あったことが明らかになりました。

AI監視システムは、映像と音声をキャプチャし、過度の音や動きを検知すると職員に警告するように設計されていました。しかし、職員が入居者のケアのためにしゃがんだり、かがんだりした際に、誤ってアラートを発していました。

映像および音声記録

試験運用で使用された監視システムは、録画機能を内蔵したカメラと音声機器で構成されており、転倒、救助要請、叫び声など、特定の動きや音を検知するようにAIがプログラムされています。また、独立したオフサイトの監視センターも設置されていました。オペレーターは映像を視聴することはありませんが、事件に関するテキストアラートを受信すると介護スタッフに連絡します。カメラと音声レコーダーは、共用エリア(屋内と屋外)と入居者の寝室に設置されました。寝室のカメラとレコーダーは、個々の入居者の同意を得た場合にのみ使用されました。

このシステムでは、イベントが検知されると、イベント発生前の90秒間とイベント発生後の5分間が録画されます。映像は60日間保存され、その後ネットワーク接続ストレージ(NAS)システムに転送され、7年間保存されます。これにより、受信したすべてのアラートの監査証跡が提供されます。

試験運用には、システムのキャリブレーションを行うための4ヶ月間の試運転期間が含まれていました。パイロットスタディの期間中、以下の調整が行われました。

  • 周囲の騒音レベルが高い場合に対応するため、音声録音装置の感度を下げる
  • 継続的なシステムのトレーニングとテスト(技術提供者を現場に派遣し、システムが検知・学習するための動作を実演するなど)
  • 死角を減らすため、カメラを追加設置する
  • AIが無生物(例:椅子に掛けられたコート)と人間を識別できるようにするための一連の技術パッチ、およびAIアルゴリズムの精度向上のための改良

監査の結果、各拠点で発生した誤報の件数は予想外で、職員にとって許容できないレベルであることが判明しました。パイロットスタディの最初の数か月間に発生した誤報の件数は、両拠点の職員が警報対応に伴う作業負荷に圧倒されるほどでした。

スタディの最終数か月には、職員はすべての警報に対応できなくなりました。実際には転倒事故であったにもかかわらず、職員が対応しなかった事例が少なくとも1件ありました。

試験期間中にAIが「成熟」

誤報が多かったにもかかわらず、システムは住民の転倒など、実際の事故を検知できるほど成熟していました。調査期間の最後の3か月(2022年1月から3月)では、CCTV技術によって実際の事故の22%が検知されました(2021年7月から12月までは2%未満でした)。

報告書では、居住型ケアの様々な側面がシステムの実現可能性に影響を与えていることが明らかになりました。例えば、

  • 入居者の行動:例えば、部屋の周りで身体を動かしたり、頻繁に大きな声で発声したりする入居者は、検知される可能性が高くなります。
  • 空間内の人数:複数の人が空間内にいると、AIが事前にプログラムされた動きや音を正確に検知する能力に影響します。例えば、スタッフの体がカメラの視界を遮る場合などです。
  • 環境要因:室内の家具や雑然としたものが少ないと、アラートの件数は減少する傾向があります。一方、雑然としたもの、家具、または家具の位置が移動すると、アラートの件数は増加する傾向があります。

報告書は、CCTVシステムが施設で提供される品質と安全性に、プラスにもマイナスにも影響を与えていないと結論付けています。報告書は次のように述べている。「今後、居住型介護のデジタル化が進むことが予想されます。CCTVパイロットプロジェクトのような実証実験から学び、テクノロジーが果たすべき役割、そして居住型介護の質と安全性を支えるために、いつ、どのようにテクノロジーを活用するのが適切かを判断することが重要です。このパイロットプロジェクトは当初の目標達成には至りませんでしたが、オーストラリアの政府や高齢者介護業界が居住型介護における監視技術の導入を検討する際に役立つ知見は数多くあります。」

狼少年の叫び

南オーストラリア州のクリス・ピクトン保健大臣はABCニュースに対し、1万2000件もの誤報は「全く容認できない」と述べた。

「つまり、職員はこのシステムから発せられる誤報に何度も対応しなければならず、ベッドサイドで患者のケアに費やす時間を奪っていたのです」とピクトン保健大臣は述べた。

「報告書は、実際に記録された事実に基づく通報がいくつかあったものの、職員が対応していなかったことを指摘しています。これは、いわゆる『狼少年』のケースと化したためです。」

南オーストラリア州保健局は、高齢者ケアにおける監視とモニタリングの役割、特に利用可能な様々なテクノロジーについて議論する資料を発表しました。

情報源を読む

リサーチ

  • “AIインシデント”の定義
  • “AIインシデントレスポンス”の定義
  • データベースのロードマップ
  • 関連研究
  • 全データベースのダウンロード

プロジェクトとコミュニティ

  • AIIDについて
  • コンタクトとフォロー
  • アプリと要約
  • エディタのためのガイド

インシデント

  • 全インシデントの一覧
  • フラグの立ったインシデント
  • 登録待ち一覧
  • クラスごとの表示
  • 分類法

2024 - AI Incident Database

  • 利用規約
  • プライバシーポリシー
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd