Incidents associés
L'agence de protection de l'enfance de Victoria a reçu l'ordre d'interdire au personnel d'utiliser des services d'IA générative après qu'un travailleur a été découvert pour avoir saisi des quantités importantes d'informations personnelles, y compris le nom d'un enfant à risque, dans ChatGPT.
Le ministère des Familles, de l'Équité et du Logement a signalé l'affaire au Bureau du Commissaire à l'information de Victoria en décembre dernier après que le travailleur a été soupçonné d'avoir utilisé ChatGPT lors de la rédaction d'un rapport de demande de protection.
Ovic a déclaré que le rapport avait été soumis au tribunal pour enfants dans une affaire concernant un jeune enfant dont les parents avaient été accusés d'infractions sexuelles. Les accusations ne concernaient pas des infractions contre l'enfant.
Dans le rapport d'enquête d'Ovic sur cette affaire publié mardi, le commissaire Sean Morrison a constaté que de nombreuses indications indiquaient que ChatGPT avait été utilisé. Il s'agissait notamment de l'utilisation d'un langage non conforme aux directives de protection de l'enfance et de structures de phrases inappropriées.
"Plus important encore, certaines parties du rapport incluaient des informations personnelles qui n'étaient pas exactes", indique le rapport.
"Ce qui est particulièrement inquiétant, le rapport décrit une poupée pour enfant - qui a été signalée à la protection de l'enfance comme ayant été utilisée par le père de l'enfant à des fins sexuelles - comme un élément notable des efforts des parents pour soutenir les besoins de développement de l'enfant avec des "jouets adaptés à l'âge". "
Ovic a déclaré que l'utilisation de ChatGPT avait pour effet de minimiser la gravité du préjudice réel ou potentiel causé à l'enfant, avec le potentiel d'influencer les décisions concernant les soins de l'enfant.
Mais il a également déclaré que le rapport n'a pas modifié la prise de décision de l'agence de protection de l'enfance ou du tribunal.
La saisie des informations dans ChatGPT constituait une divulgation non autorisée d'informations sous le contrôle du département, a déclaré Ovic.
Après une enquête plus approfondie sur l'utilisation de ChatGPT par le département, Ovic a découvert que le travailleur avait peut-être utilisé ChatGPT dans 100 cas pour rédiger des documents liés à la protection de l'enfance, et dans l'ensemble du département de juillet à décembre 2023, près de 900 employés avaient accédé au site Web de ChatGPT, ce qui représente près de 13 % de l'effectif.
Ovic a constaté qu'aucune des autres utilisations n'avait le même impact potentiel que le rapport initial.
Le travailleur a admis avoir utilisé ChatGPT pour générer le rapport « pour gagner du temps et présenter le travail de manière plus professionnelle », mais a nié avoir saisi des informations personnelles.
Des collègues ont déclaré que le travailleur en question « avait démontré son utilisation de ChatGPT à d'autres personnes, et que cela impliquait de saisir les noms des clients dans l'outil pour créer du contenu ».
Ovic a constaté que, selon la prépondérance des probabilités, le travailleur avait saisi des informations personnelles.
Le régulateur a émis des ordres au ministère, notamment le blocage des adresses IP et des domaines pour une gamme de sites Web d'IA générative, notamment ChatGPT, Meta AI, Gemini et Copilot. Le blocage doit être en place pendant deux ans à compter du 5 novembre.
En réponse, le ministère a déclaré qu'il acceptait les conclusions et qu'il travaillerait à la mise en œuvre des ordres. Il a déclaré qu'il n'employait plus le travailleur.
Ovic a laissé la porte ouverte à l'utilisation de l'IA générative à l'avenir, mais a déclaré que l'environnement de risque devrait changer et que la barre serait haute pour la protection de l'enfance.
« Le commissaire adjoint estime qu'il peut y avoir des cas d'utilisation spécifiques où le risque est moindre que d'autres, mais que la protection de l'enfance, de par sa nature, exige les normes de soins les plus élevées », a déclaré Ovic.
« Toute demande de modification des mesures spécifiées concernant le personnel, les informations ou les activités de protection de l'enfance devrait être accompagnée des normes les plus élevées de preuves vérifiables. »