人工知能（AI）は、虐待を防止し、社会的に弱い立場にある人々（里親家庭の子ども）（https://imprintnews.org/top-stories/in-a-new-study-georgia-professor-explores-the-use-of-artificial-intelligence-in-the-child-welfare-field/256116）、老人ホームの成人、そして学校に通う生徒（https://scienceblog.cincinnatichildrens.org/how-artificial-intelligence-could-help-reduce-risk-of-school-violence/）など）を保護するために急速に導入されています。これらのツールは、危険をリアルタイムで検知し、深刻な危害が発生する前に当局に警告することを約束しています。
開発者は、例えば自然言語処理（書き言葉や話し言葉を解釈するAIの一種）を用いて、テキストメッセージ内の脅迫、操作、支配のパターンを検出しようとしています。この情報は、家庭内暴力の検出に役立ち、裁判所や法執行機関による早期介入を支援する可能性があります。一部の児童福祉機関は、別の一般的なAI技術である予測モデリングを用いて、どの家族や個人が虐待の「リスク」が最も高いかを計算しています。
AIツールは、慎重に実装されれば、安全性と効率性を高める可能性を秘めています。例えば、予測モデルはソーシャルワーカーを支援し、リスクの高いケースを優先し、より早期に介入することに役立ってきました。
しかし、15年間の家庭内暴力の研究の経験を持つソーシャルワーカーとして、そして里親制度のケースマネージャー、児童虐待調査員、幼児期コーディネーターとして最前線で5年間勤務した経験を持つ私は、善意に基づいたシステムが、本来保護すべき人々をしばしば見捨ててしまうことを目の当たりにしてきました。
現在、私はiCareの開発に携わっています。これは、顔や声ではなく手足の動きを分析し、身体的暴力を検知するAI搭載監視カメラです。私は重要な問いに取り組んでいます。AIは本当に弱い立場の人々を守るのに役立つのでしょうか？それとも、長年彼らに害を与えてきた同じシステムを自動化しているだけなのでしょうか？
新しいテクノロジー、古くからの不正
多くのAIツールは、過去のデータを分析することで「学習」するように訓練されています。[https://theconversation.com/ai-doesnt-really-learn-and-knowing-why-will-help-you-use-it-more-responsibly-250923]。しかし、歴史は不平等、偏見、そして誤った前提に満ちています。 AIを設計、テスト、そして資金提供する人々も同様です。
つまり、AIアルゴリズムは人種差別や階級差別といった体系的な差別を再現してしまう可能性があるということです。ペンシルベニア州アレゲニー郡で行われた2022年の研究では、家族のリスクレベルを評価する予測リスクモデル（ホットラインのスタッフが電話をスクリーニングする際に役立つスコア）を人間の監視なしで使用した場合、黒人の子どもが調査対象としてフラグ付けされる頻度は白人の子どもよりも20%高くなることがわかりました。ソーシャルワーカーが意思決定に参加すると、その差は9%に減少しました。
言語ベースのAIはバイアスを強化する可能性もあります。例えば、ある研究では、自然言語処理システムがアフリカ系アメリカ人の俗語を「攻撃的」と誤分類する割合が、標準的なアメリカ英語よりも大幅に高く、特定の文脈では最大62%も高いことが示されました。
一方、2023年の研究では、AIモデルは文脈の手がかりを捉えるのに苦労することが多く、皮肉や冗談のメッセージが 深刻な脅威や苦痛の兆候と誤分類される可能性があることがわかりました。
これらの欠陥は、保護システムにおいてより大きな問題を再現する可能性があります。有色人種は、児童福祉制度において長らく過剰な監視を受けてきました。これは、文化的な誤解や偏見が原因である場合もあります。研究によると、黒人および先住民族の家族は、白人家族と比較して、収入やその他の社会経済的要因を考慮しても、不釣り合いに高い割合の通報、調査、家族分離に直面していることが示されています。
こうした格差の多くは、数十年にわたる差別的な政策決定に根付いた構造的な人種差別（https://doi.org/10.1177/0002716220980329）に起因しており、また、過重労働のケースワーカーによる暗黙の偏見や裁量的な意思決定にも起因しています。
支援よりも監視
AIシステムが脆弱なグループへの危害を軽減する場合でも、多くの場合、憂慮すべきコストがかかります。
例えば、病院や高齢者介護施設では、AI搭載カメラが職員、来訪者、入居者間の身体的攻撃を検知するために使用されています（https://www.scylla.ai/7-reasons-to-implement-ai-video-analytics-in-healthcare-facilities/）。商用ベンダーはこれらのツールを安全対策のイノベーションとして宣伝していますが、その使用は保護とプライバシーのバランスに関する深刻な倫理的懸念を引き起こします。
2022年にオーストラリアで実施されたパイロットプログラムでは、2つの介護施設に設置されたAIカメラシステムが12か月間で1万2000件以上の誤報を生成し、職員を圧倒し、少なくとも1件の実際の事件を見逃しました。独立系報告書によると、このプログラムの精度は「職員と経営陣が許容できるレベルに達していなかった」とのことです。
子どもたちも影響を受けています。米国の学校では、Gaggle、GoGuardian、SecurlyといったAI監視ツールが、生徒の安全を守るためのツールとして販売されています。これらのプログラムは生徒のデバイスにインストールすることができ、オンライン活動を監視し、疑わしい行動があれば警告を発します。
しかし、これらのプログラムは、軽度の暴力を含む短編小説を書いたり、メンタルヘルスに関するトピックを調べたりするなど、無害な行動も警告することが示されています。 AP通信の調査によると、これらのシステムは、性別やセクシュアリティに関する検索や会話を監視することで、保護者や学校管理者にLGBTQ+の生徒を暴露していることが明らかになっています。
他のシステムは、教室のカメラとマイクを使って「攻撃性」を検知しますが、笑ったり、咳をしたり、乱暴に振る舞ったりといった通常の行動を誤認することが多く、場合によっては介入や懲戒処分につながることもあります。
これらは単なる技術的な不具合ではなく、AIの学習と展開方法における深刻な欠陥を反映しています。AIシステムは、人間によって選択・ラベル付けされた過去のデータから学習します。これらのデータは、しばしば社会的不平等と偏見を反映しています。社会学者ヴァージニア・ユーバンクスが著書『Automating Inequality』で述べているように、AIシステムはこうした長年の害悪を拡大させる危険性があります。
罰ではなくケア
AIは依然として善の力となり得ると私は信じていますが、それは開発者が、これらのツールが守るべき人々の尊厳を最優先に考える場合に限られます。私は「トラウマ対応AI」と呼ぶ4つの主要原則からなる枠組みを開発しました。
-
生存者のコントロール：人々は、監視される方法、時期、そして監視されるか否かについて発言権を持つべきです。ユーザーが自身のデータに対するコントロールをより強めることで、AIシステムへの信頼を高める とともに、安全確保や支援へのアクセスのための個別プランの作成といったサポートサービスへの関与を高めることができます。
-
人間による監視：研究によると、ソーシャルワーカーの専門知識とAIのサポートを組み合わせることで、公平性が向上し、児童虐待が減少 することが示されています。アレゲニー郡では、ケースワーカーが専門的判断に加え、アルゴリズムによるリスクスコアを一つの要素として を用いて、どの児童虐待報告を調査するかを決定しました。
-
バイアス監査：政府や開発者は、人種的および経済的バイアスについてAIシステムをテスト することがますます推奨されています。 IBMのAI Fairness 360、GoogleのWhat-If Tool、Fairlearnなどのオープンソースツールは、機械学習モデルにおけるこのようなバイアスの検出と削減に役立ちます。
-
プライバシーバイデザイン：テクノロジーは人々の尊厳を守るように構築されるべきです。Amnesiaなどのオープンソースツール、Googleの差分プライバシーライブラリ、MicrosoftのSmartNoiseは、個人を特定できる情報を削除または隠蔽することで、機密データを匿名化するのに役立ちます。さらに、顔のぼかしなどのAI技術は、動画や写真データに含まれる個人の身元を匿名化する可能性があります。
これらの原則を尊重するということは、罰ではなく、配慮をもって対応するシステムを構築することを意味します。
すでに有望なモデルが登場しています。ストーカーウェア対策連合とそのパートナーは、被害者を技術開発のあらゆる段階（ニーズ評価からユーザーテスト、倫理的監視まで）に含めることを提唱しています。
法整備も重要です。例えば、2025年5月5日、モンタナ州知事は、州政府および地方自治体が、人間による実質的な監視なしに個人に関するAIを用いた自動意思決定を行うことを制限する法律に署名しました。この法律は、政府システムにおけるAIの活用方法について透明性を義務付け、差別的なプロファイリングを禁止しています。
私が学生に教えているように、革新的な介入は、害悪の連鎖を断ち切るものであり、永続させるものではありません。AIが人間の文脈や思いやりの能力に取って代わることは決してありません。しかし、正しい価値観を基盤とすることで、AIは私たちがより多くの状況判断や思いやりを提供できるよう支援してくれるかもしれません。