Incidents associés
Le service de protection de l’enfance du Département des familles, de l’équité et du logement de Victoria (DFFH) s’est vu interdire d’utiliser l’intelligence artificielle générative sur le lieu de travail pendant au moins un an.
L’interdiction intervient après qu’une enquête sur un travailleur social qui a utilisé Chat GPT pour générer des évaluations des risques pour les enfants et les a ensuite soumises aux tribunaux a révélé que les actions de toilettage avaient été interprétées à tort comme un soutien parental positif.
Dans l’un des exemples les plus choquants de la progression persistante de l’utilisation non réglementée de l’intelligence artificielle générative (GenAI), le Bureau du Commissaire à l’information de Victoria (OVIC) a révélé mercredi qu’il avait émis un avis de conformité au DFFH car « une lacune majeure dans les contrôles du DFFH est l’utilisation de solutions techniques pour gérer l’accès des employés aux outils GenAI ».
« Le commissaire adjoint considère que ChatGPT et d’autres outils GenAI similaires devraient être interdits d’utilisation par les employés de la protection de l’enfance », a déclaré l’OVIC, précisant les nouvelles exigences pour la DFFH qui interdisent essentiellement GenAI sur le lieu de travail ou son utilisation externe pour créer du matériel pour le travail de protection de l’enfance.
Les interdictions ont été déclenchées par le rapport découlant d’une enquête sur une affaire où un travailleur de la protection de l’enfance surnommé CPW1 a utilisé ChatGPT pour aider à générer un rapport « soumis au tribunal pour enfants, pour fournir des informations sur les risques de préjudice pour un jeune enfant et s’il devait être placé en placement hors du domicile ».
Le rapport contenait des erreurs dangereuses où la délégation à l’IA pour générer le rapport s’est produite. Celles-ci ont été détectées lors de l’examen par un humain mais ont quand même été soumises au tribunal.
Pour être clair, la demande de protection pour les soins d’urgence était due au fait que « la protection de l’enfance a reçu des informations selon lesquelles les parents de l’enfant avaient été accusés d’infractions sexuelles. Ces accusations n’étaient pas liées à des infractions sexuelles contre l’enfant ».
Mais il y avait suffisamment d’inquiétudes pour enquêter immédiatement et la protection de l’enfance a estimé que « l’enfant risquait de subir un préjudice inacceptable et a déposé une demande de protection par soins d’urgence auprès du tribunal pour enfants. Le tribunal a alors rendu des ordonnances provisoires retirant l’enfant de la garde de ses parents ».
L’ordonnance initiale de retrait d’urgence était correcte, mais c’est une demande ultérieure « pour obtenir une ordonnance de protection définitive établissant des dispositions de protection à long terme pour l’enfant » qui a dérapé via AI.
« Un représentant légal du DFFH a examiné le rapport de demande de protection le jour d’une nouvelle audience au tribunal environ une semaine plus tard et a identifié des préoccupations concernant le langage inhabituel utilisé dans le rapport et l’adéquation de l’évaluation des risques. Soupçonnant que le rapport PA avait été rédigé à l’aide de ChatGPT, le représentant a fait part de ses préoccupations au service de protection de l’enfance compétent », indique le rapport d’enquête de l’OVIC.
« Ce qui est particulièrement préoccupant, c’est que le rapport PA faisait référence à un jouet pour enfant de manière contradictoire – de sorte que les informations personnelles étaient inexactes et l’évaluation des risques était inappropriée », a déclaré l’OVIC.
Sous le titre « Analyse contradictoire au sujet d’un jouet pour enfant », les conséquences et les limites de l’IA sont, eh bien, nauséabondes.
« Tout d’abord, le rapport de l’AP a fait référence à la façon dont le père de l’enfant a utilisé un jouet particulier, une poupée, à des fins sexuelles. Le rapport a ensuite fait référence au même jouet comme un atout notable, dans la mesure où les parents avaient fourni à l’enfant des « jouets adaptés à l’âge », qui ont été utilisés pour souligner leurs efforts pour répondre aux besoins de développement de l’enfant », a souligné l’OVIC.
Le rapport de l’OVIC indique que son enquête a été informée par le DFFH que « cette formulation trop positive minimise le niveau de risque posé à l’enfant. « La présence de jouets adaptés à l’âge » est inappropriée dans le contexte d’une activité sexuelle se produisant avec la poupée de l’enfant ; les comportements sexuellement déviants et violents sont minimisés (« faute présumée ») ; et le fait d’affirmer que les adultes ont fait preuve d’attention et de soutien dans leur rôle parental parallèlement à la violence sexuelle et à la déviance met en évidence une double contrainte. »
« Cet aspect suggère que des informations sur le dossier de protection de l’enfance ont été saisies dans ChatGPT mais, conformément au fonctionnement des LLM et aux risques associés mentionnés ci-dessus, ChatGPT n’a pas bien compris le contexte pertinent et a généré en conséquence un contenu inapproprié et inexact », indique le rapport de l’OVIC.
« Le contenu généré présente ce qui devrait clairement être un indicateur de risque pour l’enfant comme une indication de la capacité positive des parents à s’occuper de lui. »
Alors maintenant, AI prend un peu de congé sans solde au DFFH.
« Compte tenu de cela, l’OVIC considère qu’une lacune majeure dans les contrôles du DFFH est l’utilisation de solutions techniques pour gérer l’accès des employés aux outils GenAI. Plus précisément, le commissaire adjoint considère que ChatGPT et des outils GenAI similaires devraient être interdits d’utilisation par les employés de la protection de l’enfance », a déclaré l’OVIC.
« L’OVIC a donc émis un avis de conformité exigeant que le DFFH prenne les mesures spécifiées suivantes :
- Donner une directive au personnel de la protection de l’enfance stipulant qu’il ne doit pas utiliser d’outils de texte GenAI basés sur le Web ou sur une interface de programmation d’application (API) externe (tels que ChatGPT) dans le cadre de ses fonctions officielles. Cette directive doit être émise avant le 24 septembre 20243.
- Mettre en œuvre et maintenir le blocage du protocole Internet et/ou le blocage du serveur de noms de domaine pour empêcher le personnel de la protection de l’enfance d’utiliser les outils de texte GenAI basés sur le Web ou sur une API externe suivants : ChatGPT ; ChatSonic ; Claude ; Copy.AI ; Meta AI ; Grammarly ; HuggingChat ; Jasper ; NeuroFlash ; Poe ; ScribeHow ; QuillBot ; Wordtune ; Gemini ; et Copilot. La liste n’intègre pas les outils GenAI qui sont inclus en tant que fonctionnalités dans les moteurs de recherche couramment utilisés. »
Et la liste est longue.
Il existe également une obligation de « mettre en œuvre et maintenir des contrôles pour empêcher le personnel de la protection de l’enfance d’utiliser Microsoft365 Copilot. Cette mesure doit être mise en œuvre d’ici le 5 novembre 2024 et maintenue jusqu’au 5 novembre 2026. »
Si cela ressemble à une élimination des péchés ou à un moratoire, c’est parce que c’est le cas. Cela devrait faire un véritable carton dans un certain comité fédéral.