Incidents associés
Le Département des familles, de l'équité et du logement de Victoria (DFFH) a reçu l'ordre d'interdire et de bloquer l'accès à une gamme d'outils d'IA générative après qu'un travailleur de la protection de l'enfance a utilisé ChatGPT pour rédiger un rapport soumis au tribunal pour enfants.
Le commissaire à l'information de l'État a déclaré que le rapport résultant « contenait des informations personnelles inexactes, minimisant les risques pour l'enfant ».
« Heureusement, cela n'a pas changé l'issue du dossier de l'enfant, mais il est facile de voir le préjudice potentiel qui aurait pu survenir », a déclaré le Bureau du Commissaire à l'information de Victoria (OVIC) dans une enquête [pdf].](https://ovic.vic.gov.au/wp-content/uploads/2024/09/DFFH-ChatGPT-investigation-report-20240924.pdf)
Le rapport soumis au tribunal est censé contenir la propre « évaluation par un agent de protection de l'enfance des risques et des besoins de l'enfant, ainsi que de la capacité des parents à assurer la sécurité et le développement de l'enfant ».
ChatGPT, dans ce cas, a été jugé comme ayant joué un rôle dans « la description des risques posés à un jeune enfant s'il continuait à vivre à la maison avec ses parents, qui avaient été accusés d'infractions sexuelles ».
L'assistante sociale a été reconnue coupable d'avoir saisi des informations « personnelles et sensibles » spécifiques à l'affaire dans ChatGPT pour générer le texte du rapport - une violation grave des règles de confidentialité de l'État.
« Les informations de cette affaire ont été divulguées à OpenAI, une société étrangère, et diffusées hors du contrôle du DFFH », a déclaré l'OVIC.
« OpenAI détient désormais ces informations et peut déterminer comment elles sont utilisées et divulguées ultérieurement. »
L'examen du rapport par l'OVIC a révélé de nombreux « indicateurs » d'utilisation de ChatGPT, allant d'inexactitudes dans les détails personnels de l'affaire, à « un langage non proportionné à la formation des employés et aux directives de protection de l'enfance, ainsi qu'à une structure de phrase inappropriée. »
L'utilisation de ChatGPT peut également avoir été plus large que cette seule affaire judiciaire.
L'OVIC a déclaré qu'un examen interne effectué par le ministère sur tous les cas traités par l'unité de l'assistante sociale sur une période d'un an « a identifié 100 cas avec des indicateurs que ChatGPT pourrait avoir été utilisé pour rédiger des documents liés à la protection de l'enfance. »
De plus, au cours du second semestre 2023, « près de 900 employés du DFFH ont accédé au site Web ChatGPT, ce qui représente près de 13 % de son effectif ».
L'OVIC a constaté que le personnel n'avait reçu aucune formation ou orientation spécifique sur l'utilisation de l'IA générative.
En réponse, l'OVIC a émis un avis de conformité au département pour interdire l'utilisation d'outils d'IA générative et pour bloquer techniquement l'accès à ces outils en interne.
Le département était censé avoir émis une directive à tout le personnel interdisant l'utilisation d'outils d'IA générative publics d'ici hier.
Il a jusqu'au 5 novembre pour mettre en œuvre des contrôles techniques bloquant l'accès aux « outils de texte GenAI basés sur le Web ou sur des API externes [y compris] ChatGPT ; ChatSonic ; Claude ; Copy.AI ; Meta AI ; Grammarly ; HuggingChat ; Jasper ; NeuroFlash ; Poe ; ScribeHow ; QuillBot ; Wordtune ; Gemini ; et [Microsoft 365] Copilot ».
L'assistante sociale n'est plus employée par le département.
Dans une lettre adressée à l'OVIC, le département a « reconnu qu'il y avait eu une utilisation non autorisée » de ChatGPT lors de « l'élaboration » du rapport sur la protection de l'enfance, mais a ensuite affirmé qu'il n'y avait aucune preuve que ChatGPT ait été utilisé par « un quelconque membre du personnel... pour générer du contenu sur des questions professionnelles sensibles » - une affirmation rejetée par l'OVIC.
Le DFFH a ajouté que l'incident était « isolé » et que l'utilisation de GenAI au sein du département « n'est pas prolifique ».