Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Incidente 807: ChatGPT Introduces Errors in Critical Child Protection Court Report

Descripción: A child protection worker in Victoria used ChatGPT to draft a report submitted to the Children's Court. The AI-generated report contained inaccuracies and downplayed risks to the child, resulting in a privacy breach when sensitive information was shared with OpenAI.
Editor Notes: Reconstructing the timeline of events: Between July and December 2023, according to reporting, nearly 900 employees of Victoria’s Department of Families, Fairness, and Housing (DFFH), representing 13% of the workforce, accessed ChatGPT. In early 2024, a case worker used ChatGPT to draft a child protection report submitted to the Children’s Court. This report contained significant inaccuracies, including the misrepresentation of personal details and a downplaying of risks to the child, whose parents had been charged with sexual offenses. Following this incident, an internal review of the case worker’s unit revealed that over 100 other cases showed signs of potential AI involvement in drafting child protection documents. On September 24, 2024, the department was instructed to ban the use of public generative AI tools and to notify staff accordingly, but the Office of the Victorian Information Commissioner (OVIC) found this directive had not been fully implemented. The next day, on September 25, 2024, OVIC released its investigation findings, confirming the inaccuracies in the ChatGPT-generated report and outlined the risks associated with AI use in child protection cases. OVIC issued a compliance notice requiring DFFH to block access to generative AI tools by November 5, 2024.

Herramientas

Nuevo InformeNuevo InformeNueva RespuestaNueva RespuestaDescubrirDescubrirVer HistorialVer Historial

Entidades

Ver todas las entidades
Alleged: OpenAI developed an AI system deployed by Department of Families Fairness and Housing , Government of Victoria y Employee of Department of Families Fairness and Housing, which harmed Unnamed child y Unnamed family of child.

Estadísticas de incidentes

ID
807
Cantidad de informes
7
Fecha del Incidente
2024-09-25
Editores
Daniel Atherton
Applied Taxonomies
MIT

Clasificaciones de la Taxonomía MIT

Machine-Classified
Detalles de la Taxonomía

Risk Subdomain

A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
 

2.1. Compromise of privacy by obtaining, leaking or correctly inferring sensitive information

Risk Domain

The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
 
  1. Privacy & Security

Entity

Which, if any, entity is presented as the main cause of the risk
 

Human

Timing

The stage in the AI lifecycle at which the risk is presented as occurring
 

Post-deployment

Intent

Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
 

Intentional

Informes del Incidente

Cronología de Informes

Investigación sobre el uso de ChatGPT por parte de un trabajador de Protección Infantil+2
Trabajador social de Victoria utilizó ChatGPT para redactar un informe de protección infantil
+2
Ordenan la prohibición de AI después de que un trabajador de protección infantil utilizara ChatGPT en un caso judicial de Victoria
El Comisionado de Información de Australia suspende el uso de GenAI para la Agencia de Protección Infantil mientras ChatGPT minimiza el riesgo
Investigación sobre el uso de ChatGPT por parte de un trabajador de Protección Infantil

Investigación sobre el uso de ChatGPT por parte de un trabajador de Protección Infantil

ovic.vic.gov.au

Trabajador social de Victoria utilizó ChatGPT para redactar un informe de protección infantil

Trabajador social de Victoria utilizó ChatGPT para redactar un informe de protección infantil

itnews.com.au

La agencia de bienestar de Victoria fue expulsada de GenAI tras el desastre de la protección infantil

La agencia de bienestar de Victoria fue expulsada de GenAI tras el desastre de la protección infantil

themandarin.com.au

Ordenan la prohibición de AI después de que un trabajador de protección infantil utilizara ChatGPT en un caso judicial de Victoria

Ordenan la prohibición de AI después de que un trabajador de protección infantil utilizara ChatGPT en un caso judicial de Victoria

theguardian.com

Trabajador de protección infantil de Victoria utiliza ChatGPT para generar informes de protección

Trabajador de protección infantil de Victoria utiliza ChatGPT para generar informes de protección

cyberdaily.au

La agencia de protección infantil de Victoria prohíbe el uso de inteligencia artificial tras el debacle del informe

La agencia de protección infantil de Victoria prohíbe el uso de inteligencia artificial tras el debacle del informe

newsbytesapp.com

El Comisionado de Información de Australia suspende el uso de GenAI para la Agencia de Protección Infantil mientras ChatGPT minimiza el riesgo

El Comisionado de Información de Australia suspende el uso de GenAI para la Agencia de Protección Infantil mientras ChatGPT minimiza el riesgo

medianama.com

Investigación sobre el uso de ChatGPT por parte de un trabajador de Protección Infantil
ovic.vic.gov.au · 2024
Traducido por IA

A continuación se incluye una copia del resumen ejecutivo del informe. Para ver el informe completo, descargue el PDF proporcionado por la OVIC.

Resumen ejecutivo

Antecedentes

En diciembre de 2023, el Departamento de Familias, Equidad y Viv…

Trabajador social de Victoria utilizó ChatGPT para redactar un informe de protección infantil
itnews.com.au · 2024
Traducido por IA

El Departamento de Familias, Equidad y Vivienda (DFFH) de Victoria recibió la orden de prohibir y bloquear el acceso a una variedad de herramientas de inteligencia artificial generativa después de que un trabajador de protección infantil us…

La agencia de bienestar de Victoria fue expulsada de GenAI tras el desastre de la protección infantil
themandarin.com.au · 2024
Traducido por IA

El servicio de protección infantil del Departamento de Familias, Equidad y Vivienda (DFFH) de Victoria tiene prohibido utilizar inteligencia artificial generativa en el lugar de trabajo durante al menos un año.

La prohibición se produce des…

Ordenan la prohibición de AI después de que un trabajador de protección infantil utilizara ChatGPT en un caso judicial de Victoria
theguardian.com · 2024
Traducido por IA

La agencia de protección infantil de Victoria ha recibido la orden de prohibir a su personal el uso de servicios de inteligencia artificial generativa después de que se descubriera que un trabajador había introducido cantidades significativ…

Trabajador de protección infantil de Victoria utiliza ChatGPT para generar informes de protección
cyberdaily.au · 2024
Traducido por IA

La agencia de protección infantil de Victoria recibió la orden de prohibir el uso de herramientas de inteligencia artificial después de que un asistente social utilizara ChatGPT para redactar un informe de protección infantil, lo que dio lu…

La agencia de protección infantil de Victoria prohíbe el uso de inteligencia artificial tras el debacle del informe
newsbytesapp.com · 2024
Traducido por IA

¿Cuál es la historia?

La agencia de protección infantil de Victoria ha impuesto una prohibición a su personal de utilizar servicios de inteligencia artificial (IA) generativa. Esta decisión se produce después de que se descubriera que un em…

El Comisionado de Información de Australia suspende el uso de GenAI para la Agencia de Protección Infantil mientras ChatGPT minimiza el riesgo
medianama.com · 2024
Traducido por IA

Un Comisionado de Información de Australia a nivel estatal ha ordenado a la agencia de protección infantil del estado de Victoria que deje de utilizar servicios de inteligencia artificial generativa. Según el Comisionado de Información, el …

Variantes

Una "Variante" es un incidente que comparte los mismos factores causales, produce daños similares e involucra los mismos sistemas inteligentes que un incidente de IA conocido. En lugar de indexar las variantes como incidentes completamente separados, enumeramos las variaciones de los incidentes bajo el primer incidente similar enviado a la base de datos. A diferencia de otros tipos de envío a la base de datos de incidentes, no se requiere que las variantes tengan informes como evidencia externa a la base de datos de incidentes. Obtenga más información del trabajo de investigación.

Incidentes Similares

Por similitud de texto

Did our AI mess up? Flag the unrelated incidents

Australian Automated Debt Assessment System Issued False Notices to Thousands

Centrelink's debt recovery system lacks transparency and treated some customers unfairly, ombudsman finds

Jul 2015 · 39 informes
Australian Retailers Reportedly Captured Face Prints of Their Customers without Consent

Facial recognition technology: Major retailers secretly creating “face prints” of their customers, says Choice

May 2022 · 2 informes
Airbnb's Trustworthiness Algorithm Allegedly Banned Users without Explanation, and Discriminated against Sex Workers

Is Airbnb using an algorithm to ban users from the platform?

Jul 2017 · 6 informes
Incidente AnteriorSiguiente Incidente

Incidentes Similares

Por similitud de texto

Did our AI mess up? Flag the unrelated incidents

Australian Automated Debt Assessment System Issued False Notices to Thousands

Centrelink's debt recovery system lacks transparency and treated some customers unfairly, ombudsman finds

Jul 2015 · 39 informes
Australian Retailers Reportedly Captured Face Prints of Their Customers without Consent

Facial recognition technology: Major retailers secretly creating “face prints” of their customers, says Choice

May 2022 · 2 informes
Airbnb's Trustworthiness Algorithm Allegedly Banned Users without Explanation, and Discriminated against Sex Workers

Is Airbnb using an algorithm to ban users from the platform?

Jul 2017 · 6 informes

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • ecd56df