Incidentes Asociados
¿Cuál es la historia?
La agencia de protección infantil de Victoria ha impuesto una prohibición a su personal de utilizar servicios de inteligencia artificial (IA) generativa. Esta decisión se produce después de que se descubriera que un empleado había introducido información personal sustancial, incluido el nombre de un niño vulnerable, en ChatGPT. El Departamento de Familias, Equidad y Vivienda informó este incidente a la Oficina del Comisionado de Información de Victoria (Ovic) en diciembre del año pasado.
El informe que contenía la información personal se presentó a un tribunal de menores en un caso que involucraba a un niño pequeño. Los padres de este niño enfrentaban cargos relacionados con delitos sexuales, aunque estos cargos no estaban directamente relacionados con el niño. La investigación de Ovic sobre el incidente reveló varias señales que indicaban el uso de ChatGPT en la redacción del informe, incluido un lenguaje no estándar y estructuras de oraciones inapropiadas.
El informe de Ovic destacó que partes del informe de protección infantil contenían información personal inexacta. Un ejemplo preocupante fue la tergiversación de la muñeca de un niño, que se informó que había sido utilizada por el padre con fines sexuales. El sistema de inteligencia artificial describió esto como un aspecto positivo de los esfuerzos de los padres por proporcionar "juguetes apropiados para la edad". Este mal uso de ChatGPT se consideró que disminuía la gravedad del daño potencial al niño y podría haber influido en las decisiones sobre su cuidado.
Ovic afirmó que ingresar la información en ChatGPT constituyó una divulgación no autorizada de información bajo el control del departamento. Una investigación posterior reveló que el empleado podría haber utilizado ChatGPT en 100 casos mientras preparaba documentos relacionados con la protección infantil. Entre julio y diciembre de 2023, casi 900 empleados habían accedido al sitio web ChatGPT, lo que representa casi el 13% de la fuerza laboral. Sin embargo, ninguno de estos casos tuvo un impacto tan significativo como el informe inicial.
El empleado confesó haber utilizado ChatGPT para generar el informe "para ahorrar tiempo y presentar el trabajo de forma más profesional", pero negó haber ingresado información personal. Sin embargo, sus colegas afirmaron que este individuo había mostrado a otros cómo usar ChatGPT ingresando los nombres de los clientes en la herramienta. Con base en estos testimonios, Ovic concluyó que era probable que el trabajador hubiera ingresado información personal en el sistema.
En respuesta al incidente, Ovic emitió órdenes al departamento, incluido el bloqueo de IP y dominios para varios sitios web de IA generativa como ChatGPT, Gemini, Meta AI y Copilot. Este bloqueo debe estar vigente durante dos años a partir del 5 de noviembre. El departamento aceptó estas conclusiones y afirmó que implementará las órdenes. También confirmó que el empleado involucrado ya no trabaja para ellos.