Incidentes Asociados
La agencia de protección infantil de Victoria recibió la orden de prohibir el uso de herramientas de inteligencia artificial después de que un asistente social utilizara ChatGPT para redactar un informe de protección infantil, lo que dio lugar a que se enviaran datos confidenciales y se generaran varias inexactitudes.
La Oficina del Comisionado de Información de Victoria (OVIC) recibió informes del incidente en diciembre del año pasado después de que el Departamento de Familias, Equidad y Vivienda (DFFH) descubriera que se sospechaba que un asistente social había redactado un informe de solicitud de protección utilizando ChatGPT.
El informe se utilizó en el Tribunal de Menores en un caso relacionado con un niño que había cambiado de familia como resultado de delitos sexuales.
Ahora, la OVIC ha determinado que el DFFH no "tomó medidas razonables" para proteger los datos personales del niño y garantizar la precisión de los informes.
Si bien el resultado para el niño no cambió, determinó que "una cantidad significativa de información personal y delicada" se ingresó en ChatGPT, lo que significa que se reveló a OpenAI fuera del control del DFFH.
También se determinó que el informe contenía datos inexactos “que restaban importancia a los riesgos para el niño en el caso”.
“Resulta especialmente preocupante que el informe describiera una muñeca de un niño (que, según se informó a la protección infantil, había sido utilizada por el padre del niño con fines sexuales) como una fortaleza notable de los esfuerzos de los padres para apoyar las necesidades de desarrollo del niño con ‘juguetes apropiados para su edad’”, dijo el comisionado de información de Victoria, Sean Morrison.
Las investigaciones destacaron varios puntos que indicaban que ChatGPT podría haberse utilizado para el informe. Finalmente, el trabajador admitió haber utilizado ChatGPT para el informe para “ahorrar tiempo y presentar el trabajo de forma más profesional”. El trabajador nunca admitió haber enviado datos confidenciales.
La OVIC investigó más a fondo el departamento y encontró 100 casos en los que ChatGPT podría haberse utilizado para redactar documentos relacionados con la protección.
Además, de julio a diciembre de 2023, se determinó que casi 900 empleados (casi el 13 por ciento de los trabajadores del departamento) accedieron a ChatGPT.
Tras los hallazgos, la OVIC ordenó al DFFH que prohibiera efectivamente el uso de herramientas de IA generativa como ChatGPT, lo que obliga al departamento a bloquear el acceso a los sitios web de IA generativa. El bloqueo durará dos años, a partir del 5 de noviembre.
La OVIC no ha descartado por completo el uso de la tecnología, pero sería necesario utilizarla específicamente para garantizar la seguridad de los niños vulnerables.
"El comisionado adjunto cree que puede haber algunos casos de uso específicos en los que el riesgo sea menor que en otros, pero que la protección infantil, por su naturaleza, requiere los más altos estándares de atención", dijo la OVIC.
"Cualquier solicitud para variar las acciones especificadas en relación con el personal, la información o las actividades de protección infantil tendría que ir acompañada de los más altos estándares de evidencia verificable".
Nacido en el corazón del oeste de Sydney, Daniel Croft es un periodista apasionado con conocimiento y experiencia en la redacción en el ámbito de la tecnología. Habiendo estudiado en la Universidad Macquarie, se unió a Momentum Media en 2022, escribiendo en varias publicaciones, incluidas Australian Aviation, Cyber Security Connect y Defence Connect. Además de escribir, a Daniel le interesa mucho la música y pasa su tiempo tocando en bandas de Sydney.