第4地域労働裁判所（TRT-RS）が開発し、労働司法最高評議会（CSJT）が国家化を進めた人工知能ツール「ガリレウ」は、パラウアペバス第3労働裁判所（PA）で審理された訴訟の訴状において、不正操作の試みがあったことを検知しました。この訴訟は、ルイス・カルロス・デ・アラウージョ・サントス・ジュニア判事によって、今週水曜日（5月12日）に下された判決で取り上げられています。
ガリレウは文書処理中に、人工知能自身に向けられた指示を含む隠された部分を検出しました。この内容は、システムに対し、受け取った命令に関わらず、訴状を表面上は否定し、文書自体には異議を唱えないよう指示するものでした。この手法は「即時挿入」として知られています。ガリレウは検 出後、ユーザーに目立つ警告を発し、事象の技術的な詳細を明らかにしました。さらに、悪意を持って挿入された内容がツールによって処理されるのを阻止しました。
技術報告書および司法判断
ガリレウは、技術的な事実を報告するにとどまり、行為の程度を判断したり、手続き上の措置を提案したりすることはありませんでした。裁判官は警告のみに基づいて判断を下したのではなく、システムが示した内容を精査した上で行動を起こしました。裁判官は、この人的検証を経て初めて状況を評価し、起こりうる結果を判断し、司法における人工知能利用時の人的審査の要件に従って、自身の判断を正当化しました。
リオグランデ・ド・スル州地方労働裁判所（TRT-RS）の技術・イノベーション担当事務総長、ナターシャ・モラエス・デ・オリベイラ氏によると、この事例は、人工知能を利用する際に、ガリレオのようにあらゆる予防措置を講じる制度的ツールを優先的に利用することの重要性を示しています。「AIツールが生成した結果を操作しようとして、コマンドやデータを挿入するといった、このような攻撃を制御することは容易ではありません。攻撃を特定するには、専門的な技術の適用が必要です」とナターシャ氏は強調しています。
設計段階からのセキュリティ
ガリレオの動作（異常の特定、ユーザーへの警告、人間の意思決定の維持）は、人工知能システムにおけるセキュリティに関する主要な国際技術ガイドラインに準拠しています。これらのガイドラインは、即時インジェクション攻撃への対策として、まさにこのような一連の措置を推奨しています（OWASP LLM01、NIST AI 600-1 MS-2.7-007/MS-4.2-001、NCSC/CISA §1、MITRE ATLAS AML.T0051）。
ガリレオの利用は、司法府における人工知能の利用を、効果的な人的監督、情報セキュリティ、透明性、基本的人権の尊重といった原則に基づいて規制する国家司法評議会（CNJ）決議第615/2025号を遵守しています。
出典：技術革新総局