レポート 4140

ビクトリア州家族・公平・住宅省（DFFH）の児童保護サービスは、職場で生成型人工知能を使用することを少なくとも1年間禁止されている。

この禁止措置は、Chat GPTを使用して子供のリスク評価を生成し、それを裁判所に提出したケースワーカーに対する調査で、グルーミング行為が肯定的な親のサポートと誤解されていたことが判明したことを受けて実施された。

生成型人工知能（GenAI）の規制されていない使用が継続的に拡大している最も真に衝撃的な例の1つとして、[ビクトリア州情報コミッショナー事務所（OVIC）]（https://ovic.vic.gov.au/wp-content/uploads/2024/09/DFFH-ChatGPT-investigation-report-20240924.pdf）は水曜日、「DFFHの管理における大きな欠陥は、従業員のGenAIツールへのアクセスを管理する技術的ソリューションの使用である」として、DFFHにコンプライアンス通知を発行したことを明らかにした。

「副長官は、ChatGPT や同様の GenAI ツールは児童保護職員が使用することを禁止すべきであると考えている」と OVIC は述べ、DFFH に対する新しい要件を明記した。この要件は、職場での GenAI の使用や児童保護業務の資料作成のための外部での使用を基本的に禁止している。

この禁止措置は、CPW1 と呼ばれる児童保護職員が ChatGPT を使用して「児童裁判所に提出された報告書の作成を支援し、幼い子供に危害が及ぶリスクと、児童を家庭外養護に預けるべきかどうかに関する情報を提供した」事件の調査から生じた報告書によって引き起こされた。

この報告書には、報告書の作成を AI に委任する危険なエラーが含まれていた。これらは人間によるレビューで発見されたが、裁判所に提出されたままだった。

明確に言えば、緊急ケアの保護申請は、「児童保護局が、子供の両親が性的犯罪に関連して告発されたという情報を受け取ったためである。これらの告発は、子供に対する性的犯罪とは関係がなかった」ためである。

しかし、すぐに調査するのに十分な懸念があり、児童保護局は「子供は容認できない危害を受ける危険にさらされている」と評価し、児童裁判所に緊急保護による保護申請を発行しました。その結果、裁判所は子供を両親の保護から引き離す暫定命令を出しました。」

最初の緊急移送命令は問題ありませんでしたが、AI によって漂流したのは、「子供の長期的な保護措置を規定する最終保護命令を取得する」ためのその後の申請でした。

「約 1 週間後の追加の法廷審問の日に、DFFH の法務担当者が保護申請レポートを確認し、レポートで使用されている異常な言葉とリスク評価の妥当性に関する懸念を特定しました。PA レポートが ChatGPT を使用して作成されたと疑った担当者は、関連する児童保護部門に懸念を報告しました」と OVIC の調査レポートは述べています。

「特に懸念されるのは、PA レポートが子供のおもちゃについて矛盾した方法で言及していることです。つまり、個人情報が不正確で、リスク評価が不適切であるということです」と OVIC は述べています。

「子供のおもちゃに関する矛盾した分析」という見出しの下で、AI の結果と限界は、まあ、吐き気を催すほどです。

「まず、PA レポートは、子供の父親が特定のおもちゃ、人形を性的目的で使用した方法について言及しました。レポートはその後、同じおもちゃを注目すべき強みとして言及し、両親が子供に「年齢相応のおもちゃ」を提供したことを指摘し、子供の発達ニーズを育む努力を強調しました」と OVIC は指摘しました。

OVIC レポートによると、調査に対して DFFH は次のように伝えました。「この過度に肯定的な表現は、子供に及ぼされるリスクのレベルを最小限にしています。「年齢相応のおもちゃの存在」は、子供の人形との性行為の文脈では不適切です。性的に逸脱した暴力的な行動は最小限に抑えられています (「不正行為の疑い」)。また、大人が子育てにおいて性的暴力や逸脱と並んで配慮と支援を示したと述べることは、二重拘束を浮き彫りにしています。」

「この点から、児童保護事件に関する情報が ChatGPT に入力されたが、LLM の運用方法と前述の関連するリスクと一致して、ChatGPT は関連するコンテキストを適切に理解できず、結果として不適切で不正確なコンテンツを生成したことがわかります」と OVIC の報告書は述べています。

「生成されたコンテンツは、明らかに子供へのリスクの指標となるはずのものを、親の積極的な養育能力の指標として提示しています。」

そのため、AI は現在、DFFH で無給休暇を取っています。

「これを踏まえて、OVIC は、DFFH の管理における大きな欠陥は、従業員の GenAI ツールへのアクセスを管理する技術的ソリューションの使用であると考えています。具体的には、副長官は、ChatGPT および同様の GenAI ツールを児童保護従業員が使用することを禁止する必要があると考えています」と OVIC は述べています。

「したがって、OVIC は、DFFH が次の特定の措置を講じることを要求するコンプライアンス通知を発行しました。

1. 児童保護スタッフに、Web ベースまたは外部のアプリケーション プログラミング インターフェイス (API) ベースの GenAI テキスト ツール (ChatGPT など) を公式の職務の一部として使用しないよう指示する。この指示は、2024 年 9 月 24 日までに発行する必要があります。3

2. 児童保護スタッフが次の Web ベースまたは外部の API ベースの GenAI テキスト ツールを使用しないように、インターネット プロトコル ブロッキングおよび/またはドメイン ネーム サーバー ブロッキングを実装および維持する: ChatGPT、ChatSonic、Claude、Copy.AI、Meta AI、Grammarly、HuggingChat、Jasper、NeuroFlash、Poe、ScribeHow、QuillBot、Wordtune、Gemini、および Copilot。このリストには、一般的に使用される検索エンジンの機能として含まれている GenAI ツールは含まれていません。」

リストは続きます。

また、「児童保護スタッフが Microsoft365 Copilot を使用できないようにするための制御を実施および維持する。この措置は 2024 年 11 月 5 日までに実施し、2026 年 11 月 5 日まで維持する必要がある」という要件もあります。

これが罪の追放やモラトリアムのように聞こえるなら、それはその通りです。ある連邦委員会で大歓迎されるはずです。