Incidents associés
L’agence de protection de l’enfance de Victoria a reçu l’ordre d’interdire l’utilisation d’outils d’IA après qu’un travailleur social a utilisé ChatGPT pour rédiger un rapport de protection d’enfant, ce qui a entraîné la soumission de données sensibles et la génération d’un certain nombre d’inexactitudes.
Le Bureau du Commissaire à l’information de Victoria (OVIC) a reçu des rapports sur l’incident en décembre dernier après que le Département des familles, de l’équité et du logement (DFFH) a découvert qu’un travailleur social était soupçonné d’avoir rédigé un rapport de demande de protection à l’aide de ChatGPT.
Le rapport a été utilisé devant le tribunal pour enfants dans une affaire concernant un enfant qui avait changé de famille à la suite d’infractions sexuelles.
L’OVIC a maintenant constaté que le DFFH n’avait pas « pris de mesures raisonnables » pour protéger les données personnelles de l’enfant et garantir un rapport précis.
Bien que le résultat pour l’enfant n’ait pas changé, il a déterminé qu’« une quantité importante d’informations personnelles et délicates » avait été saisie dans ChatGPT, ce qui signifie qu’elles ont été divulguées à OpenAI en dehors du contrôle du DFFH.
L’enquête a également révélé que le rapport contenait des données inexactes « qui minimisaient les risques pour l’enfant dans cette affaire ».
« Ce qui est particulièrement inquiétant, c’est que le rapport décrivait une poupée d’enfant – qui avait été signalée à la protection de l’enfance comme ayant été utilisée par le père de l’enfant à des fins sexuelles – comme un élément notable des efforts des parents pour soutenir les besoins de développement de l’enfant avec des « jouets adaptés à son âge » », a déclaré le commissaire à l’information de Victoria, Sean Morrison.
Les enquêtes ont mis en évidence plusieurs points indiquant que ChatGPT avait pu être utilisé pour le rapport. Finalement, le travailleur a admis avoir utilisé ChatGPT pour le rapport afin de « gagner du temps et de présenter son travail de manière plus professionnelle ». Le travailleur n’a jamais admis avoir soumis des données sensibles.
L’OVIC a enquêté plus avant sur le département et a découvert 100 cas dans lesquels ChatGPT aurait pu être utilisé pour rédiger des documents liés à la protection.
En outre, de juillet à décembre 2023, il a été déterminé que près de 900 employés (près de 13 % des employés du département) ont accédé à ChatGPT.
Suite à ces conclusions, l'OVIC a ordonné au DFFH d'interdire effectivement l'utilisation d'outils d'IA générative comme ChatGPT, obligeant le département à bloquer l'accès aux sites Web d'IA générative. Le blocage durera deux ans, à compter du 5 novembre.
L'OVIC n'a pas complètement exclu l'utilisation de la technologie, mais celle-ci devrait être utilisée spécifiquement pour assurer la sécurité des enfants vulnérables.
« Le commissaire adjoint estime qu'il peut y avoir des cas d'utilisation spécifiques où le risque est moindre que d'autres, mais que la protection de l'enfance, de par sa nature, exige les normes de soins les plus élevées », a déclaré l'OVIC.
« Toute demande de modification des actions spécifiées concernant le personnel, les informations ou les activités de protection de l'enfance devrait être accompagnée des normes les plus élevées de preuves vérifiables. »
Né au cœur de l'ouest de Sydney, Daniel Croft est un journaliste passionné qui comprend et a de l'expérience dans l'écriture dans le domaine technologique. Après avoir étudié à l'université Macquarie, il a rejoint Momentum Media en 2022, écrivant pour un certain nombre de publications, notamment Australian Aviation, Cyber Security Connect et Defence Connect. En dehors de l'écriture, Daniel s'intéresse vivement à la musique et passe son temps à jouer dans des groupes autour de Sydney.