Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる

インシデント 807: ChatGPT Introduces Errors in Critical Child Protection Court Report

概要: A child protection worker in Victoria used ChatGPT to draft a report submitted to the Children's Court. The AI-generated report contained inaccuracies and downplayed risks to the child, resulting in a privacy breach when sensitive information was shared with OpenAI.
Editor Notes: Reconstructing the timeline of events: Between July and December 2023, according to reporting, nearly 900 employees of Victoria’s Department of Families, Fairness, and Housing (DFFH), representing 13% of the workforce, accessed ChatGPT. In early 2024, a case worker used ChatGPT to draft a child protection report submitted to the Children’s Court. This report contained significant inaccuracies, including the misrepresentation of personal details and a downplaying of risks to the child, whose parents had been charged with sexual offenses. Following this incident, an internal review of the case worker’s unit revealed that over 100 other cases showed signs of potential AI involvement in drafting child protection documents. On September 24, 2024, the department was instructed to ban the use of public generative AI tools and to notify staff accordingly, but the Office of the Victorian Information Commissioner (OVIC) found this directive had not been fully implemented. The next day, on September 25, 2024, OVIC released its investigation findings, confirming the inaccuracies in the ChatGPT-generated report and outlined the risks associated with AI use in child protection cases. OVIC issued a compliance notice requiring DFFH to block access to generative AI tools by November 5, 2024.

ツール

新しいレポート新しいレポート新しいレスポンス新しいレスポンス発見する発見する履歴を表示履歴を表示

組織

すべての組織を表示
Alleged: OpenAI developed an AI system deployed by Department of Families Fairness and Housing , Government of Victoria と Employee of Department of Families Fairness and Housing, which harmed Unnamed child と Unnamed family of child.

インシデントのステータス

インシデントID
807
レポート数
7
インシデント発生日
2024-09-25
エディタ
Daniel Atherton
Applied Taxonomies
MIT

MIT 分類法のクラス

Machine-Classified
分類法の詳細

Risk Subdomain

A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
 

2.1. Compromise of privacy by obtaining, leaking or correctly inferring sensitive information

Risk Domain

The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
 
  1. Privacy & Security

Entity

Which, if any, entity is presented as the main cause of the risk
 

Human

Timing

The stage in the AI lifecycle at which the risk is presented as occurring
 

Post-deployment

Intent

Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
 

Intentional

インシデントレポート

レポートタイムライン

児童保護従事者によるChatGPTの使用に関する調査+2
ビクトリア州のケースワーカーがChatGPTを使用して児童保護報告書を起草
+2
ビクトリア州の裁判で児童保護職員がChatGPTを使用した後、AI禁止命令
オーストラリア情報コミッショナー、ChatGPTのリスクを軽視し児童保護機関でのGenAIの使用を中止
児童保護従事者によるChatGPTの使用に関する調査

児童保護従事者によるChatGPTの使用に関する調査

ovic.vic.gov.au

ビクトリア州のケースワーカーがChatGPTを使用して児童保護報告書を起草

ビクトリア州のケースワーカーがChatGPTを使用して児童保護報告書を起草

itnews.com.au

ビクトリア州の福祉機関、児童保護問題でGenAIから追放される

ビクトリア州の福祉機関、児童保護問題でGenAIから追放される

themandarin.com.au

ビクトリア州の裁判で児童保護職員がChatGPTを使用した後、AI禁止命令

ビクトリア州の裁判で児童保護職員がChatGPTを使用した後、AI禁止命令

theguardian.com

ビクトリア州の児童保護担当者が保護報告に ChatGPT を使用

ビクトリア州の児童保護担当者が保護報告に ChatGPT を使用

cyberdaily.au

ビクトリア州の児童保護機関、報告書の失態を受けてAIの使用を禁止

ビクトリア州の児童保護機関、報告書の失態を受けてAIの使用を禁止

newsbytesapp.com

オーストラリア情報コミッショナー、ChatGPTのリスクを軽視し児童保護機関でのGenAIの使用を中止

オーストラリア情報コミッショナー、ChatGPTのリスクを軽視し児童保護機関でのGenAIの使用を中止

medianama.com

児童保護従事者によるChatGPTの使用に関する調査
ovic.vic.gov.au · 2024
自動翻訳済み

以下はレポートのエグゼクティブ サマリーのコピーです。レポートの全文をご覧になるには、OVIC が提供する PDF をダウンロードしてください。

エグゼクティブ サマリー

背景

2023 年 12 月、家族・公平・住宅省 (DFFH) は、情報コミッショナー事務所 (OVIC) にプライバシー インシデントを報告し、児童保護ワーカー (CPW1) が保護申請レポート (PA レポート) を作成する際に ChatGPT2 を使用していたことを説明しました。このレポートは、性犯罪…

ビクトリア州のケースワーカーがChatGPTを使用して児童保護報告書を起草
itnews.com.au · 2024
自動翻訳済み

ビクトリア州の家族・公平・住宅省(DFFH)は、児童保護担当者が児童裁判所に提出する報告書を作成するために ChatGPT を使用したことを受けて、さまざまな生成 AI ツールへのアクセスを禁止およびブロックするよう指示されました。

州の情報コミッショナーは、作成された報告書には「不正確な個人情報が含まれており、子供へのリスクを軽視している」と述べました。

「幸いにも、この件で子供の事件の結果は変わらなかったが、潜在的な危害が生じた可能性は容易に想像できる」とビクトリア州情報…

ビクトリア州の福祉機関、児童保護問題でGenAIから追放される
themandarin.com.au · 2024
自動翻訳済み

ビクトリア州家族・公平・住宅省(DFFH)の児童保護サービスは、職場で生成型人工知能を使用することを少なくとも1年間禁止されている。

この禁止措置は、Chat GPTを使用して子供のリスク評価を生成し、それを裁判所に提出したケースワーカーに対する調査で、グルーミング行為が肯定的な親のサポートと誤解されていたことが判明したことを受けて実施された。

生成型人工知能(GenAI)の規制されていない使用が継続的に拡大している最も真に衝撃的な例の1つとして、[ビクトリア州情報コミッショ…

ビクトリア州の裁判で児童保護職員がChatGPTを使用した後、AI禁止命令
theguardian.com · 2024
自動翻訳済み

ビクトリア州の児童保護機関は、職員がChatGPTに危険にさらされている子供の名前を含む大量の個人情報を入力したことが判明した後、職員に生成AIサービスの使用を禁止するよう命じられた。

家族・公平・住宅省は、保護申請報告書の作成中に職員がChatGPTを使用した疑いがあったため、昨年12月にビクトリア州情報コミッショナー事務所にこの件を報告した。

オヴィック氏によると、この報告書は、両親が性的犯罪で起訴された幼い子供に関する事件で児童裁判所に提出された。起訴は子供に対する犯罪…

ビクトリア州の児童保護担当者が保護報�告に ChatGPT を使用
cyberdaily.au · 2024
自動翻訳済み

ビクトリア州の児童保護機関は、ケースワーカーが ChatGPT を使用して児童保護報告書を作成したために機密データが提出され、多数の不正確な情報が生成されたことを受けて、AI ツールの使用を禁止するよう命じられました。

ビクトリア州情報コミッショナー事務所 (OVIC) は、ケースワーカーが ChatGPT を使用して保護申請報告書を作成した疑いがあることを家族・公平・住宅省 (DFFH) が発見した後、昨年 12 月にこの事件の報告を受けました。

この報告書は、性的犯罪の結…

ビクトリア州の児童保護機関、報告書の失態を受けてAIの使用を禁止
newsbytesapp.com · 2024
自動翻訳済み

ストーリーの内容

ビクトリア州の児童保護機関は、職員による生成型 人工知能 (AI) サービスの使用を禁止しました。この決定は、ある職員が、ChatGPT に、弱い立場にある子供の名前を含む大量の個人情報を入力したことが発覚した後に下されました。家族・公平・住宅省は、昨年 12 月にこの事件をビクトリア州情報コミッショナー事務所 (Ovic) に報告しました。

個人情報を含む報告書は、幼い子供が関与する事件で児童裁判所に提出されました。この子供の両親は、性的犯罪に関連した罪で…

オーストラリア情報コミッショナー、ChatGPTのリスクを軽視し児童保護機関でのGenAIの使用を中止
medianama.com · 2024
自動翻訳済み

州レベルのオーストラリア情報コミッショナーは、ビクトリア州の児童保護機関に対し、生成AIサービスの使用を停止するよう命令した。情報コミッショナーによると、機関のスタッフは、性犯罪者であるとされる両親と一緒に暮らし続けた場合に特定の子供が直面する可能性のあるリスクに関するレポートを作成するために、大量の個人情報をChatGPTに入力した。

情報コミッショナーの説明によると、スタッフはChatGPTを使用することで、子供へのリスクを軽視することになった。たとえば、レポートでは、父…

バリアント

「バリアント」は既存のAIインシデントと同じ原因要素を共有し、同様な被害を引き起こし、同じ知的システムを含んだインシデントです。バリアントは完全に独立したインシデントとしてインデックスするのではなく、データベースに最初に投稿された同様なインシデントの元にインシデントのバリエーションとして一覧します。インシデントデータベースの他の投稿タイプとは違い、バリアントではインシデントデータベース以外の根拠のレポートは要求されません。詳細についてはこの研究論文を参照してください

よく似たインシデント

テキスト類似度による

Did our AI mess up? Flag the unrelated incidents

Australian Automated Debt Assessment System Issued False Notices to Thousands

Centrelink's debt recovery system lacks transparency and treated some customers unfairly, ombudsman finds

Jul 2015 · 39 レポート
Australian Retailers Reportedly Captured Face Prints of Their Customers without Consent

Facial recognition technology: Major retailers secretly creating “face prints” of their customers, says Choice

May 2022 · 2 レポート
Airbnb's Trustworthiness Algorithm Allegedly Banned Users without Explanation, and Discriminated against Sex Workers

Is Airbnb using an algorithm to ban users from the platform?

Jul 2017 · 6 レポート
前のインシデント次のインシデント

よく似たインシデント

テキスト類似度による

Did our AI mess up? Flag the unrelated incidents

Australian Automated Debt Assessment System Issued False Notices to Thousands

Centrelink's debt recovery system lacks transparency and treated some customers unfairly, ombudsman finds

Jul 2015 · 39 レポート
Australian Retailers Reportedly Captured Face Prints of Their Customers without Consent

Facial recognition technology: Major retailers secretly creating “face prints” of their customers, says Choice

May 2022 · 2 レポート
Airbnb's Trustworthiness Algorithm Allegedly Banned Users without Explanation, and Discriminated against Sex Workers

Is Airbnb using an algorithm to ban users from the platform?

Jul 2017 · 6 レポート

リサーチ

  • “AIインシデント”の定義
  • “AIインシデントレスポンス”の定義
  • データベースのロードマップ
  • 関連研究
  • 全データベースのダウンロード

プロジェクトとコミュニティ

  • AIIDについて
  • コンタクトとフォロー
  • アプリと要約
  • エディタのためのガイド

インシデント

  • 全インシデントの一覧
  • フラグの立ったインシデント
  • 登録待ち一覧
  • クラスごとの表示
  • 分類法

2024 - AI Incident Database

  • 利用規約
  • プライバシーポリシー
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • 1420c8e