Incidentes Asociados
El Departamento de Familias, Equidad y Vivienda (DFFH) de Victoria recibió la orden de prohibir y bloquear el acceso a una variedad de herramientas de inteligencia artificial generativa después de que un trabajador de protección infantil usara ChatGPT para redactar un informe presentado ante el Tribunal de Menores.
El comisionado de información del estado dijo que el informe resultante "contenía información personal inexacta, lo que restaba importancia a los riesgos para el niño".
"Afortunadamente, no cambió el resultado del caso del niño, pero es fácil ver el daño potencial que podría haber surgido", dijo la Oficina del Comisionado de Información de Victoria (OVIC) [en una investigación [pdf]] (https://ovic.vic.gov.au/wp-content/uploads/2024/09/DFFH-ChatGPT-investigation-report-20240924.pdf)
El informe presentado al tribunal tiene como objetivo contener la propia "evaluación de un trabajador de protección infantil de los riesgos y necesidades del niño, y de la capacidad de los padres para velar por la seguridad y el desarrollo del niño".
Se determinó que ChatGPT, en este caso, había desempeñado un papel en la "descripción de los riesgos que corría un niño pequeño si continuaba viviendo en casa con sus padres, que habían sido acusados de delitos sexuales".
Se descubrió que el trabajador social había ingresado información "personal y confidencial" específica del caso en ChatGPT para generar el texto del informe, lo que constituye una grave violación de las normas de privacidad del estado.
"La información de este caso se reveló a OpenAI, una empresa extranjera, y se divulgó fuera del control de DFFH", dijo OVIC.
"OpenAI ahora tiene esa información y puede determinar cómo se usa y divulga en el futuro".
El examen del informe por parte de OVIC encontró numerosos "indicadores" del uso de ChatGPT, que van desde imprecisiones con los detalles personales del caso hasta "lenguaje no acorde con la capacitación de los empleados y las pautas de protección infantil, así como una estructura de oraciones inapropiada".
El uso de ChatGPT también puede haber sido más amplio que este caso judicial.
OVIC dijo que una revisión interna realizada por el departamento de todos los casos manejados por la unidad del trabajador social durante un período de un año "identificó 100 casos con indicadores de que ChatGPT puede haber sido utilizado para redactar documentos relacionados con la protección infantil".
Además, en la segunda mitad de 2023, "casi 900 empleados de DFFH habían accedido al sitio web ChatGPT, lo que representa casi el 13 por ciento de su fuerza laboral".
OVIC descubrió que el personal no había recibido capacitación ni orientación específica sobre el uso de la IA generativa.
En respuesta, OVIC emitió un aviso de cumplimiento al departamento para prohibir el uso de herramientas de IA generativa y bloquear técnicamente el acceso a ellas internamente.
Se suponía que el departamento había emitido una instrucción a todo el personal prohibiendo el uso de herramientas públicas de IA generativa para ayer.
Tiene hasta el 5 de noviembre para implementar controles técnicos que bloqueen el acceso a "herramientas de texto GenAI basadas en la web o API externas [incluidas] ChatGPT; ChatSonic; Claude; Copy.AI; Meta AI; Grammarly; HuggingChat; Jasper; NeuroFlash; Poe; ScribeHow; QuillBot; Wordtune; Gemini; y [Microsoft 365] Copilot".
El asistente social ya no está empleado por el departamento.
En una carta dirigida a la OVIC, el departamento "aceptó que hubo un uso no autorizado" de ChatGPT al "desarrollar" el informe de protección infantil, pero continuó afirmando que no había evidencia de que ChatGPT fuera utilizado por "algún miembro del personal... para generar contenido para asuntos laborales sensibles", una afirmación que la OVIC rechazó.
El DFFH agregó que el incidente fue "aislado" y que el uso de GenAI en el departamento "no es prolífico".