南オーストラリア州の高齢者介護施設2カ所で、転倒や虐待を検知するために設計されたAIベースの監視技術を12ヶ月間試験的に導入したところ、1万2000件以上の誤報が出されたことが調査で明らかになった。
膨大な数の警報が警報疲労を引き起こし、すでに多忙を極めていた職員は「圧倒」され、少なくとも1件の事例では、頻繁な誤報のために職員が入居者の転倒事故に対応できなかった。
CCTVの試験的導入は2021年3月にマウントプレザント高齢者介護施設とホートゲートハウスで開始され、共用エリアと入居者の寝室にカメラとマイクが設置された。寝室で録画装置をオンにすることについては、入居者57人のうち41人またはその保護者の同意を得た。
このプロジェクトの目的は、高齢者介護におけるサポートの質と安全性の向上を背景に、「居住型介護施設における監視とモニタリングの受容性と実現可能性を調査する」ことだった。
高齢者ケアの質と安全に関する3年間の王立委員会では、この分野に関する厳しい報告が提出され、2021年3月の最終報告書では数十件の改善勧告が提出されました。
このシステムは「転倒、介助、助けを求める声、叫び声など、特定の動きや音を検知」するようにプログラムされており、イベント発生時に監視センターにテキストメッセージが送信されます。その後、メッセージは高齢者ケア施設の職員に伝えられます。
使用されたAIは、「時間の経過とともに学習し、施設や入居者に特有の行動や音声の合図を認識する能力を向上させるように設計」されています。
しかし、PwCによる独立評価では、「AI技術のアラート発生率が高かった」ことが判明し、パイロットプログラムは「高齢者住宅におけるインシデントの検知精度がまだ十分ではなかった」ことを意味しています。
「時間の経過とともに改善が進められたにもかかわらず、12ヶ月間のパイロット期間中、システムは2つの施設で1万2000件以上のアラートを生成しましたが、これらは『真のイベント』として検証されませんでした」と報告書は述べ、これらのアラートの多くは、プログラムされた動作であるスタッフのしゃがみ込みに関するものだったと付け加えています。
「これらのケースでは、シ ステムはプログラムされた動作や音を検知していたものの、プログラムされた動作と、居住型ケアで想定される同様の動作や音を確実に区別することができませんでした。」
報告書によると、AI学習期間中の「誤アラート」はある程度予想されていたものの、その多さは「予想外」であったため、2021年10月にパイロットプログラムにしゃがみ込みを認識する「座り込み転倒」アラートが導入されました。
しかし、片膝をつく動作は「看護師や介護士が一般的に行うケアの姿勢である『ナイトポジション』」に似ているため、システムはこの動作も転倒として検出し、誤アラートが急増しました。
パイロット試験の最終数か月間にシステムがさらに成熟した結果、「入居者の転倒など、品質および安全性に関わる実際の事象を検知」できるようになり、実際の事象の検知率は試験開始時のわずか2%から22%に向上しました。
しかし、アラート疲れは続き、「パイロット試験の最終数か月間は、職員はもはやすべてのアラートに対応できなくなり」、結果として「実際には入居者の転倒であったアラートに職員が対応しなかった事例が少なくとも1件発生しました」。
報告書は、「評価の結果、CCTVシステムによって各施設で発生した『誤報』の件数は予想外で、職員にとって許容できないものであったことが判明しました」と述べています。
「パイロット試験の最初の数か月間に発生した誤報の件数は、両施設の職員がアラート対応に伴う作業負荷に圧倒されていたことを示しています。」
報告書は、パイロットプログラムの終了時点で、「パイロットプログラムで使用されたAIベース の監視システムが、施設で提供されるケアの質と安全性にプラスまたはマイナスの影響を与えた」という証拠はないと結論付けました。
南オーストラリア州のクリス・ピクトン保健大臣は、この「不完全な」導入により、職員が「実際にはリスクがなかったにもかかわらず、入居者への安全リスクがある」という警告に繰り返し対応せざるを得なくなったと述べました。
「つまり、職員はこのシステムから発せられる誤報に何度も対応しなければならず、ベッドサイドで患者をケアする時間を奪って、この不完全なITシステムの問題を報告する必要があったのです」と、ピクトン保健大臣は水曜日に記者団に語りました。
「明らかにシステムは適切に機能しておらず、誤報の量は許容できるレベルではありません。そのため、職員はこれらの誤報にすべて対応できないように対策を講じる必要があったのは明らかです。」
「報告書では、実際に真実の通報があったケースがいくつかあったと指摘しているが、それはこのシステムに対する『オオカミ少年』のケースになったため、職員がそれらに対応していなかったことを意味する。」