Incidents associés
Galileu, un outil d'intelligence artificielle développé par le Tribunal régional du travail de la 4e région (TRT-RS) et nationalisé par le Conseil supérieur de la justice du travail (CSJT), a détecté une tentative de manipulation dans la requête initiale d'une affaire jugée par le 3e Tribunal du travail de Parauapebas (PA). Cette affaire fait l'objet d'une décision rendue ce mercredi 12 mai par le juge Luiz Carlos de Araújo Santos Junior.
Lors du traitement du document, Galileu a détecté des sections cachées contenant des instructions adressées à l'intelligence artificielle elle-même. Ce contenu enjoignait le système à contester superficiellement la requête et à ne pas remettre en cause les documents, indépendamment de la commande reçue. Cette technique est connue sous le nom d'injection de code. Dès sa détection, le système a émis une alerte claire à l'utilisateur, précisant les détails techniques de l'incident. De plus, il a empêché le traitement du contenu inséré malveillantment par l'outil.
Rapport technique et décision judiciaire
Galileu s'est limité à rapporter les faits techniques, sans qualifier le comportement ni proposer de mesure procédurale. Le magistrat n'a pas fondé sa décision uniquement sur l'alerte : il a examiné le contenu indiqué par le système avant d'agir. Ce n'est qu'après cette vérification humaine que le juge a évalué la situation, examiné les conséquences potentielles et motivé sa décision, conformément à l'exigence de contrôle humain lors de l'utilisation de l'intelligence artificielle par le pouvoir judiciaire.
Selon Natacha Moraes de Oliveira, secrétaire générale à la Technologie et à l'Innovation du TRT-RS (Tribunal régional du travail du Rio Grande do Sul), cette affaire illustre l'importance pour les utilisateurs de privilégier les outils institutionnels qui prennent toutes les précautions nécessaires, à l'instar de Galilée, lors de l'utilisation de l'intelligence artificielle. « Contrôler ce type d'attaque, comme l'injection de commandes ou même de données pour tenter de manipuler les résultats générés par les outils d'IA, est loin d'être simple. Cela requiert l'application de techniques spécialisées pour les identifier », souligne Natacha.
Sécurité intégrée dès la conception
Le comportement de Galileo – identification de l’anomalie, alerte de l’utilisateur et préservation du pouvoir de décision humain – est conforme aux principales recommandations techniques internationales en matière de sécurité des systèmes d’intelligence artificielle. Ces recommandations préconisent précisément cette combinaison de mesures face aux tentatives d’injection de vulnérabilités (OWASP LLM01 ; NIST AI 600-1 MS-2.7-007/MS-4.2-001 ; NCSC/CISA §1 ; MITRE ATLAS AML.T0051).
L’utilisation de Galileo est conforme à la résolution n° 615/2025 du Conseil national de la justice (CNJ), qui encadre l’utilisation de l’intelligence artificielle par le pouvoir judiciaire selon des principes tels que le contrôle humain effectif, la sécurité de l’information, la transparence et le respect des droits fondamentaux. Fin de l’article.
Source : Secrétariat général à la technologie et à l’innovation