Incidentes Asociados
Galileu, una herramienta de inteligencia artificial desarrollada por el Tribunal Regional del Trabajo de la 4.ª Región (TRT-RS) y nacionalizada por el Consejo Superior de Justicia Laboral (CSJT), identificó un intento de manipulación en la demanda inicial de un caso juzgado por el 3.er Tribunal del Trabajo de Parauapebas (PA). El caso se aborda en una resolución emitida este miércoles 12 de mayo por el Juez Luiz Carlos de Araújo Santos Junior.
Al procesar el documento, Galileu detectó secciones ocultas con instrucciones dirigidas a la propia inteligencia artificial. El contenido instruía al sistema a impugnar la demanda superficialmente y a no cuestionar los documentos, independientemente de la orden recibida. Esta técnica se conoce como inyección de avisos. Al detectarla, el sistema emitió una alerta destacada al usuario, identificando los detalles técnicos del incidente. Además, impidió que la herramienta procesara el contenido insertado maliciosamente.
Informe Técnico y Decisión Judicial
Galileu se limitó a informar sobre los hechos técnicos, sin calificar la conducta ni proponer ninguna acción procesal. El magistrado no basó su decisión únicamente en la alerta: examinó el contenido indicado por el sistema antes de tomar cualquier medida. Solo después de esta verificación humana, el juez evaluó la situación, determinó las posibles consecuencias y justificó su decisión, de conformidad con el requisito de revisión humana en el uso de inteligencia artificial por parte del Poder Judicial.
Según la Secretaria General de Tecnología e Innovación del TRT-RS (Tribunal Regional del Trabajo de Rio Grande do Sul), Natacha Moraes de Oliveira, el caso demuestra la importancia de que los usuarios prioricen las herramientas institucionales que toman todas las precauciones, como lo hizo Galileo, al utilizar inteligencia artificial. "Controlar este tipo de ataques, como la inyección de comandos o incluso datos para intentar manipular los resultados generados por herramientas de IA, no es tarea fácil. Requiere la aplicación de técnicas especializadas para identificarlos", subraya Natacha.
Seguridad desde el diseño
El comportamiento de Galileo —identificar la anomalía, alertar al usuario y preservar la toma de decisiones humana— cumple con las principales directrices técnicas internacionales sobre seguridad en sistemas de inteligencia artificial, que recomiendan precisamente esta combinación de medidas ante intentos de inyección rápida (OWASP LLM01; NIST AI 600-1 MS-2.7-007/MS-4.2-001; NCSC/CISA §1; MITRE ATLAS AML.T0051).
El uso de Galileo cumple con la Resolución n.º 615/2025 del Consejo Nacional de Justicia (CNJ), que regula el uso de la inteligencia artificial por parte del Poder Judicial con base en principios como la supervisión humana efectiva, la seguridad de la información, la transparencia y el respeto de los derechos fundamentales. Fin del artículo.
Fuente: Secretaría General de Tecnología e Innovación