Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Incident 807: ChatGPT Introduces Errors in Critical Child Protection Court Report

Description: A child protection worker in Victoria used ChatGPT to draft a report submitted to the Children's Court. The AI-generated report contained inaccuracies and downplayed risks to the child, resulting in a privacy breach when sensitive information was shared with OpenAI.
Editor Notes: Reconstructing the timeline of events: Between July and December 2023, according to reporting, nearly 900 employees of Victoria’s Department of Families, Fairness, and Housing (DFFH), representing 13% of the workforce, accessed ChatGPT. In early 2024, a case worker used ChatGPT to draft a child protection report submitted to the Children’s Court. This report contained significant inaccuracies, including the misrepresentation of personal details and a downplaying of risks to the child, whose parents had been charged with sexual offenses. Following this incident, an internal review of the case worker’s unit revealed that over 100 other cases showed signs of potential AI involvement in drafting child protection documents. On September 24, 2024, the department was instructed to ban the use of public generative AI tools and to notify staff accordingly, but the Office of the Victorian Information Commissioner (OVIC) found this directive had not been fully implemented. The next day, on September 25, 2024, OVIC released its investigation findings, confirming the inaccuracies in the ChatGPT-generated report and outlined the risks associated with AI use in child protection cases. OVIC issued a compliance notice requiring DFFH to block access to generative AI tools by November 5, 2024.

Outils

Nouveau rapportNouveau rapportNouvelle RéponseNouvelle RéponseDécouvrirDécouvrirVoir l'historiqueVoir l'historique

Entités

Voir toutes les entités
Alleged: OpenAI developed an AI system deployed by Department of Families Fairness and Housing , Government of Victoria et Employee of Department of Families Fairness and Housing, which harmed Unnamed child et Unnamed family of child.

Statistiques d'incidents

ID
807
Nombre de rapports
7
Date de l'incident
2024-09-25
Editeurs
Daniel Atherton
Applied Taxonomies
MIT

Classifications de taxonomie MIT

Machine-Classified
Détails de la taxonomie

Risk Subdomain

A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
 

2.1. Compromise of privacy by obtaining, leaking or correctly inferring sensitive information

Risk Domain

The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
 
  1. Privacy & Security

Entity

Which, if any, entity is presented as the main cause of the risk
 

Human

Timing

The stage in the AI lifecycle at which the risk is presented as occurring
 

Post-deployment

Intent

Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
 

Intentional

Rapports d'incidents

Chronologie du rapport

Enquête sur l'utilisation de ChatGPT par un intervenant de la protection de l'enfance+2
L'assistante sociale de Vic a utilisé ChatGPT pour rédiger un rapport sur la protection de l'enfance
+2
Interdiction de l'IA ordonnée après qu'un travailleur de la protection de l'enfance a utilisé ChatGPT dans une affaire judiciaire victorienne
Le commissaire australien à l'information met fin à l'utilisation de GenAI par l'Agence de protection de l'enfance alors que ChatGPT minimise les risques
Enquête sur l'utilisation de ChatGPT par un intervenant de la protection de l'enfance

Enquête sur l'utilisation de ChatGPT par un intervenant de la protection de l'enfance

ovic.vic.gov.au

L'assistante sociale de Vic a utilisé ChatGPT pour rédiger un rapport sur la protection de l'enfance

L'assistante sociale de Vic a utilisé ChatGPT pour rédiger un rapport sur la protection de l'enfance

itnews.com.au

Une agence de protection sociale victorienne bannie de GenAI après la débâcle de la protection de l'enfance

Une agence de protection sociale victorienne bannie de GenAI après la débâcle de la protection de l'enfance

themandarin.com.au

Interdiction de l'IA ordonnée après qu'un travailleur de la protection de l'enfance a utilisé ChatGPT dans une affaire judiciaire victorienne

Interdiction de l'IA ordonnée après qu'un travailleur de la protection de l'enfance a utilisé ChatGPT dans une affaire judiciaire victorienne

theguardian.com

Un travailleur de la protection de l'enfance de Victoria utilise ChatGPT pour signaler une protection

Un travailleur de la protection de l'enfance de Victoria utilise ChatGPT pour signaler une protection

cyberdaily.au

L'agence de protection de l'enfance de Victoria interdit l'utilisation de l'IA après la débâcle du rapport

L'agence de protection de l'enfance de Victoria interdit l'utilisation de l'IA après la débâcle du rapport

newsbytesapp.com

Le commissaire australien à l'information met fin à l'utilisation de GenAI par l'Agence de protection de l'enfance alors que ChatGPT minimise les risques

Le commissaire australien à l'information met fin à l'utilisation de GenAI par l'Agence de protection de l'enfance alors que ChatGPT minimise les risques

medianama.com

Enquête sur l'utilisation de ChatGPT par un intervenant de la protection de l'enfance
ovic.vic.gov.au · 2024
Traduit par IA

Voici une copie du résumé du rapport. Pour consulter le rapport dans son intégralité, veuillez télécharger le PDF fourni par l'OVIC.

Résumé

Contexte

En décembre 2023, le ministère des Familles, de l'Équité et du Logement (DFFH) a signalé un…

L'assistante sociale de Vic a utilisé ChatGPT pour rédiger un rapport sur la protection de l'enfance
itnews.com.au · 2024
Traduit par IA

Le Département des familles, de l'équité et du logement de Victoria (DFFH) a reçu l'ordre d'interdire et de bloquer l'accès à une gamme d'outils d'IA générative après qu'un travailleur de la protection de l'enfance a utilisé ChatGPT pour ré…

Une agence de protection sociale victorienne bannie de GenAI après la débâcle de la protection de l'enfance
themandarin.com.au · 2024
Traduit par IA

Le service de protection de l’enfance du Département des familles, de l’équité et du logement de Victoria (DFFH) s’est vu interdire d’utiliser l’intelligence artificielle générative sur le lieu de travail pendant au moins un an.

L’interdict…

Interdiction de l'IA ordonnée après qu'un travailleur de la protection de l'enfance a utilisé ChatGPT dans une affaire judiciaire victorienne
theguardian.com · 2024
Traduit par IA

L'agence de protection de l'enfance de Victoria a reçu l'ordre d'interdire au personnel d'utiliser des services d'IA générative après qu'un travailleur a été découvert pour avoir saisi des quantités importantes d'informations personnelles, …

Un travailleur de la protection de l'enfance de Victoria utilise ChatGPT pour signaler une protection
cyberdaily.au · 2024
Traduit par IA

L’agence de protection de l’enfance de Victoria a reçu l’ordre d’interdire l’utilisation d’outils d’IA après qu’un travailleur social a utilisé ChatGPT pour rédiger un rapport de protection d’enfant, ce qui a entraîné la soumission de donné…

L'agence de protection de l'enfance de Victoria interdit l'utilisation de l'IA après la débâcle du rapport
newsbytesapp.com · 2024
Traduit par IA

Quelle est l'histoire

L'agence de protection de l'enfance de Victoria a interdit à son personnel d'utiliser des services d'intelligence artificielle (IA) générative. Cette décision intervient après qu'il a été découvert qu'un employé avait …

Le commissaire australien à l'information met fin à l'utilisation de GenAI par l'Agence de protection de l'enfance alors que ChatGPT minimise les risques
medianama.com · 2024
Traduit par IA

Un commissaire à l’information australien a ordonné à l’agence de protection de l’enfance de l’État de Victoria de cesser d’utiliser des services d’IA générative. Selon le commissaire à l’information, le personnel de l’agence a saisi une qu…

Variantes

Une "Variante" est un incident qui partage les mêmes facteurs de causalité, produit des dommages similaires et implique les mêmes systèmes intelligents qu'un incident d'IA connu. Plutôt que d'indexer les variantes comme des incidents entièrement distincts, nous listons les variations d'incidents sous le premier incident similaire soumis à la base de données. Contrairement aux autres types de soumission à la base de données des incidents, les variantes ne sont pas tenues d'avoir des rapports en preuve externes à la base de données des incidents. En savoir plus sur le document de recherche.

Incidents similaires

Par similarité textuelle

Did our AI mess up? Flag the unrelated incidents

Australian Automated Debt Assessment System Issued False Notices to Thousands

Centrelink's debt recovery system lacks transparency and treated some customers unfairly, ombudsman finds

Jul 2015 · 39 rapports
Australian Retailers Reportedly Captured Face Prints of Their Customers without Consent

Facial recognition technology: Major retailers secretly creating “face prints” of their customers, says Choice

May 2022 · 2 rapports
Airbnb's Trustworthiness Algorithm Allegedly Banned Users without Explanation, and Discriminated against Sex Workers

Is Airbnb using an algorithm to ban users from the platform?

Jul 2017 · 6 rapports
Incident précédentProchain incident

Incidents similaires

Par similarité textuelle

Did our AI mess up? Flag the unrelated incidents

Australian Automated Debt Assessment System Issued False Notices to Thousands

Centrelink's debt recovery system lacks transparency and treated some customers unfairly, ombudsman finds

Jul 2015 · 39 rapports
Australian Retailers Reportedly Captured Face Prints of Their Customers without Consent

Facial recognition technology: Major retailers secretly creating “face prints” of their customers, says Choice

May 2022 · 2 rapports
Airbnb's Trustworthiness Algorithm Allegedly Banned Users without Explanation, and Discriminated against Sex Workers

Is Airbnb using an algorithm to ban users from the platform?

Jul 2017 · 6 rapports

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • ecd56df