Incidentes Asociados
La agencia de protección infantil de Victoria ha recibido la orden de prohibir a su personal el uso de servicios de inteligencia artificial generativa después de que se descubriera que un trabajador había introducido cantidades significativas de información personal, incluido el nombre de un niño en riesgo, en ChatGPT.
El Departamento de Familias, Equidad y Vivienda informó del asunto a la Oficina del Comisionado de Información de Victoria en diciembre del año pasado después de que se sospechara que el trabajador había utilizado ChatGPT mientras redactaba un informe de solicitud de protección.
Ovic dijo que el informe se había presentado ante el tribunal de menores en un caso relacionado con un niño pequeño cuyos padres habían sido acusados en relación con delitos sexuales. Los cargos no estaban relacionados con delitos contra el niño.
En el informe de la Ovic sobre su investigación del asunto (https://ovic.vic.gov.au/wp-content/uploads/2024/09/DFFH-ChatGPT-investigation-report-20240924.pdf) publicado el martes, el comisionado, Sean Morrison, encontró que había múltiples indicios en todo el informe de que se había utilizado ChatGPT. Esto incluía el uso de un lenguaje que no era estándar según las pautas de protección infantil y estructuras de oraciones inapropiadas.
"Más significativamente, partes del informe incluían información personal que no era precisa", decía el informe.
"De particular preocupación, el informe describía la muñeca de un niño, que se informó a la protección infantil que había sido utilizada por el padre del niño con fines sexuales, como una fortaleza notable de los esfuerzos de los padres para apoyar las necesidades de desarrollo del niño con 'juguetes apropiados para su edad'".
Ovic dijo que el uso de ChatGPT tuvo el efecto de restar importancia a la gravedad del daño real o potencial al niño, con el potencial de afectar las decisiones sobre el cuidado del niño.
Pero también dijo que el informe no cambió la toma de decisiones ni de la agencia de protección infantil ni del tribunal.
Introducir la información en ChatGPT fue una divulgación no autorizada de información bajo el control del departamento, dijo Ovic.
Después de una investigación más profunda del uso de ChatGPT por parte del departamento, Ovic descubrió que el trabajador podría haber utilizado ChatGPT en 100 casos para redactar documentos relacionados con la protección infantil, y en todo el departamento, desde julio a diciembre de 2023, casi 900 empleados habían accedido al sitio web de ChatGPT, lo que representa casi el 13% de la fuerza laboral.
Ovic encontró que ninguno de los otros usos tuvo el mismo impacto potencial que el informe inicial.
El trabajador admitió haber utilizado ChatGPT para generar el informe "para ahorrar tiempo y presentar el trabajo de manera más profesional", pero negó haber ingresado información personal.
Los compañeros de trabajo dijeron que el trabajador en cuestión "había demostrado su uso de ChatGPT a otros, y que esto implicaba ingresar nombres de clientes en la herramienta para crear contenido".
Ovic descubrió que, según el balance de probabilidades, el trabajador había ingresado información personal.
El regulador emitió órdenes al departamento, incluido el bloqueo de IP y dominios para una variedad de sitios web de IA generativa, incluidos ChatGPT, Meta AI, Gemini y Copilot. El bloqueo debe estar vigente durante dos años a partir del 5 de noviembre.
En respuesta, el departamento dijo que aceptaba los hallazgos y que trabajaría para implementar las órdenes. Dijo que ya no empleaba al trabajador.
Ovic dejó la puerta abierta para el uso de IA generativa en el futuro, pero dijo que el entorno de riesgo tendría que cambiar y que sería un listón alto para la protección infantil.
"El comisionado adjunto cree que puede haber algunos casos de uso específicos en los que el riesgo sea menor que otros, pero que la protección infantil, por su naturaleza, requiere los más altos estándares de cuidado", dijo Ovic.
"Cualquier solicitud para modificar las acciones especificadas en relación con el personal, la información o las actividades de protección infantil deberá ir acompañada de los más altos estándares de evidencia verificable".