ビクトリア州の家族・公平・住宅省（DFFH）は、児童保護担当者が児童裁判所に提出する報告書を作成するために ChatGPT を使用したことを受けて、さまざまな生成 AI ツールへのアクセスを禁止およびブロックするよう指示されました。
州の情報コミッショナーは、作成された報告書には「不正確な個人情報が含まれており、子供へのリスクを軽視している」と述べました。
「幸いにも、この件で子供の事件の結果は変わらなかったが、潜在的な危害が生じた可能性は容易に想像できる」とビクトリア州情報コミッショナー事務所（OVIC）は調査報告書[pdf]で述べた。（https://ovic.vic.gov.au/wp-content/uploads/2024/09/DFFH-ChatGPT-investigation-report-20240924.pdf）
裁判所に提出された報告書には、児童保護担当者による「子供のリスクとニーズ、および子供の安全と発達を保障する親の能力に関する評価」が含まれることになっている。
この件では、ChatGPTが「性的犯罪で起訴された親と同居を続ける場合に幼い子供が被るリスクを説明する」役割を果たしていたことが判明した。
ケースワーカーは、報告書のテキストを作成するために、ケース固有の「個人的かつ機密性の高い」情報を ChatGPT に入力していたことが判明しました。これは、州のプライバシー規則に対する重大な違反です。
「このケースの情報は、海外企業の OpenAI に開示され、DFFH の 管理外で公開されました」と OVIC は述べています。
「OpenAI は現在、その情報を保有しており、それが今後どのように使用され、開示されるかを決定できます。」
OVIC による報告書の調査では、ケースの個人情報の不正確さから、「従業員のトレーニングや児童保護ガイドラインに見合わない言語、不適切な文構造」まで、ChatGPT の使用を示す多数の「兆候」が見つかりました。
ChatGPT の使用は、この 1 件の裁判よりも広範囲に及んでいた可能性もあります。
OVIC によると、1 年間にわたってケースワーカーのユニットが処理したすべてのケースを内部調査した結果、「児童保護関連の文書を作成するために ChatGPT が使用された可能性がある兆候のあるケースが 100 件特定されました。」
さらに、2023年後半には、「DFFH全体の従業員約900人がChatGPTウェブサイトにアクセスしており、これは従業員の約13％に相当します。」
OVICは、スタッフが生成AIの使用に関する特別なトレーニングやガイダンスを受けていなかったことを発見しました。
これを受けて、OVICは、生成AIツールの使用を禁止し、技術的に内部でアクセスをブロックするよう、同省にコンプライアンス通知を発行しました。
同省は、昨日までに、すべてのスタッフに公開生成AIツールの使用を禁止する指示を出すことになっていた。
同省は、11月5日までに、「Webベースまたは外部APIベースのGenAIテキストツール（ChatGPT、ChatSonic、Claude、Copy.AI、Meta AI、Grammarly、HuggingChat、Jasper、NeuroFlash、Poe、ScribeHow、QuillBot、Wordtune、Gemini、および[Microsoft 365] Copilotを含む）」へのアクセスをブロックする技術的制御を実施する必要 があります。
このケースワーカーは、もはや同省に雇用されていない。
OVICへの書簡で、同省は児童保護報告書を「作成」する際にChatGPTが「無許可で使用されたことを認めた」が、さらに「機密性の高い業務事項のコンテンツを作成するために...職員がChatGPTを使用した」という証拠はないと主張した。OVICはこの主張を否定した。
DFFHは、この事件は「孤立した」ものであり、同省でのGenAIの使用は「頻繁ではない」と付け加えた。