A continuación se incluye una copia del resumen ejecutivo del informe. Para ver el informe completo, descargue el PDF proporcionado por la OVIC.

Resumen ejecutivo

Antecedentes

En diciembre de 2023, el Departamento de Familias, Equidad y Vivienda (DFFH) informó sobre un incidente de privacidad a la Oficina del Comisionado de Información (OVIC), explicando que un trabajador de Protección Infantil (CPW1) había utilizado ChatGPT2 al redactar un Informe de solicitud de protección (Informe PA). El informe se había presentado al Tribunal de Menores en un caso relacionado con un niño pequeño cuyos padres habían sido acusados en relación con delitos sexuales.

Los informes PA son esenciales para proteger a los niños vulnerables que requieren una intervención protectora ordenada por el tribunal para garantizar su seguridad, necesidades y derechos. Estos informes contienen la evaluación de los trabajadores de Protección Infantil de los riesgos y las necesidades del niño, y de la capacidad de los padres para velar por la seguridad y el desarrollo del niño.

A pesar de su popularidad, existen diversos riesgos de privacidad asociados con el uso de herramientas de inteligencia artificial generativa (GenAI) como ChatGPT. Los riesgos más relevantes en las circunstancias actuales son los relacionados con la información personal inexacta y la divulgación no autorizada de información personal.

Después de realizar averiguaciones preliminares con el DFFH, el Comisionado Adjunto de Privacidad y Protección de Datos inició una investigación en virtud del artículo 8C(2)(e) de la Ley de Privacidad y Protección de Datos (PDP) con vistas a decidir si se debe emitir un aviso de cumplimiento al DFFH en virtud del artículo 78 de esa Ley. La OVIC puede emitir un aviso de cumplimiento cuando determina que:

a. una organización ha infringido uno o más de los Principios de Privacidad de la Información (IPP);

b. la infracción es grave, reiterada o flagrante; y

c. se debe exigir a la organización que tome medidas específicas dentro de un plazo determinado para garantizar el cumplimiento de los IPP.

Hallazgos

La investigación de la OVIC confirmó los hallazgos iniciales del DFFH: que CPW1 utilizó ChatGPT para redactar el Informe de Privacidad de la Información e ingresó información personal al hacerlo.

En el informe se encontraron diversos indicadores del uso de ChatGPT, relacionados tanto con el análisis como con el lenguaje utilizado en el informe. Entre ellos, se incluía el uso de un lenguaje que no se correspondía con la formación de los empleados y las directrices de Protección Infantil, así como una estructura de oraciones inadecuada.

Más importante aún, algunas partes del informe incluían información personal que no era precisa. Un aspecto especialmente preocupante era que el informe describía la muñeca de un niño (que, según se informó a Protección Infantil, había sido utilizada por el padre del niño con fines sexuales) como una notable fortaleza de los esfuerzos de los padres por apoyar las necesidades de desarrollo del niño con "juguetes apropiados para su edad".

Por tanto, el uso de ChatGPT tuvo el efecto de restar importancia a la gravedad del daño real o potencial al niño, con el potencial de afectar a las decisiones sobre el cuidado del niño. Afortunadamente, las deficiencias del informe no cambiaron en última instancia la toma de decisiones ni de Protección Infantil ni del Tribunal en relación con el niño.

Al introducir información personal y confidencial sobre la madre, el padre, el cuidador y el niño en ChatGPT, CPW1 también reveló esta información a OpenAI (la empresa que opera ChatGPT). Esta divulgación no autorizada liberó la información del control de DFFH y OpenAI pudo determinar cualquier uso o divulgación posterior de la misma.

Si bien la investigación se centró en el incidente del Informe de PA, OVIC también consideró otros posibles usos de ChatGPT por parte de CPW1 y su equipo en general, además de examinar el uso general de ChatGPT en DFFH. Esto reveló que:

• Una revisión interna de DFFH de todos los casos de protección infantil manejados por la unidad de trabajo más amplia de CPW1 durante un período de un año, identificó 100 casos con indicadores de que ChatGPT podría haber sido utilizado para redactar documentos relacionados con la protección infantil.

• Durante el período de julio a diciembre de 2023, casi 900 empleados de DFFH habían accedido al sitio web de ChatGPT, lo que representa casi el 13 por ciento de su fuerza laboral.

Infracción de las IPP

Si bien el incidente del Informe de PA puede haber implicado la infracción de múltiples IPP, la investigación de OVIC consideró específicamente la gestión de DFFH de los riesgos asociados con el uso de ChatGPT a través de la lente de dos IPP:

• IPP 3.1: que requiere que las organizaciones tomen medidas razonables para asegurarse de que la información personal que recopila, usa o divulga sea precisa, completa y actualizada.

• IPP 4.1: que requiere que las organizaciones tomen medidas razonables para proteger la información personal que posee contra el uso indebido y la pérdida, y contra el acceso, la modificación o la divulgación no autorizados.

DFFH presentó a la investigación de OVIC que tenía una serie de controles implementados en el momento del incidente del Informe de PA en forma de políticas, procedimientos y materiales de capacitación existentes (como su Política de uso aceptable de la tecnología y módulos de aprendizaje electrónico sobre privacidad, seguridad y derechos humanos).

Sin embargo, la OVIC determinó que estos controles estaban lejos de ser suficientes para mitigar los riesgos de privacidad asociados con el uso de ChatGPT en asuntos de protección infantil. No se podía esperar que el personal adquiriera una comprensión de cómo utilizar adecuadamente las nuevas herramientas GenAI como ChatGPT a partir de estos materiales de orientación general.

No había evidencia de que, en el momento del incidente del Informe de PA, el DFFH hubiera hecho otros intentos de educar o capacitar al personal sobre cómo funcionan las herramientas GenAI y los riesgos de privacidad asociados con ellas. Además, no había reglas departamentales establecidas sobre cuándo y cómo se deben o no utilizar estas herramientas. Tampoco existían controles técnicos para restringir el acceso a herramientas como ChatGPT.

Básicamente, el DFFH no tenía controles destinados a abordar los riesgos de privacidad específicos asociados con ChatGPT y las herramientas GenAI en general. Por lo tanto, el Comisionado Adjunto determinó que el DFFH contravenía tanto el IPP 3.1 como el IPP 4.1 y determinó que las contravenciones eran "graves" a los efectos de la sección 78(1)(b)(i) de la Ley PDP.

Emisión de un aviso de cumplimiento

La decisión de emitir un aviso de cumplimiento requirió que OVIC analizara las circunstancias actuales y considerara si DFFH actualmente tiene controles razonables establecidos para prevenir infracciones similares de IPP 3.1 e IPP 4.1.

Desde el incidente del Informe de PA, DFFH ha publicado una Guía específica de Inteligencia Artificial Generativa para “ayudar a los empleados a comprender los riesgos, limitaciones y oportunidades de usar herramientas GenAI como ChatGPT”. También ha promovido esta guía a través de actividades de concienciación.

Si bien el contenido de esta guía es ampliamente adecuado para el propósito, debe notarse que DFFH casi no tiene visibilidad sobre cómo las herramientas GenAI están siendo utilizadas por el personal. A pesar del alcance del uso de herramientas GenAI en DFFH, no tiene forma de determinar si se está ingresando información personal en estas herramientas y cómo se está aplicando el contenido generado por GenAI.

En estas circunstancias, los controles que DFFH tiene establecidos son insuficientes para mitigar los riesgos de que el uso de herramientas GenAI resulte en información personal inexacta o en la divulgación no autorizada de información personal. Este es particularmente el caso en asuntos de protección infantil, donde los riesgos de daño por el uso de herramientas GenAI son demasiado grandes para ser manejados únicamente con políticas y orientación.

Dado esto, OVIC considera que una brecha importante en los controles de DFFH es el uso de soluciones técnicas para gestionar el acceso de los empleados a las herramientas GenAI. Específicamente, el Comisionado Adjunto considera que ChatGPT y herramientas GenAI similares deberían tener prohibido ser utilizadas por empleados de Protección Infantil. Por lo tanto, OVIC emitió un aviso de cumplimiento que requiere que DFFH debe tomar las siguientes acciones específicas:

1. Emitir una instrucción al personal de Protección Infantil que establezca que no deben usar ninguna herramienta de texto GenAI basada en la web o externa basada en una Interfaz de Programación de Aplicaciones (API) (como ChatGPT) como parte de sus deberes oficiales. Esta instrucción debe emitirse antes del 24 de septiembre de 20243.

2. Implementar y mantener el bloqueo del Protocolo de Internet y/o el bloqueo del Servidor de Nombres de Dominio para evitar que el personal de Protección Infantil use las siguientes herramientas de texto GenAI basadas en la web o externas basadas en API: ChatGPT; ChatSonic; Claude; Copy.AI; Meta AI; Grammarly; HuggingChat; Jasper; NeuroFlash; Poe; ScribeHow; QuillBot; Wordtune; Gemini; y Copilot. La lista no incorpora herramientas GenAI que se incluyen como funciones en los motores de búsqueda de uso común. Esta acción debe implementarse antes del 5 de noviembre de 2024 y mantenerse hasta el 5 de noviembre de 2026.

3. Implementar y mantener un programa para escanear regularmente herramientas de texto GenAI basadas en la web o en API externas que surjan y que sean similares a las especificadas en la Acción 2, para permitir el bloqueo efectivo del acceso para el personal de Protección Infantil. Esta acción debe implementarse antes del 5 de noviembre de 2024 y mantenerse hasta el 5 de noviembre de 2026.

4. Implementar y mantener controles para evitar que el personal de Protección Infantil use Microsoft365 Copilot. Esta medida debe implementarse antes del 5 de noviembre de 2024 y mantenerse hasta el 5 de noviembre de 2026.

5. Notificar a la OVIC sobre la implementación de cada una de las Acciones Especificadas 1 a 4, explicando los pasos tomados para implementar las respectivas Acciones Especificadas.

6. Presentar un informe a la OVIC sobre su monitoreo de la eficacia de las Acciones Especificadas enumeradas 1 a 4 el 3 de marzo de 2025; el 3 de septiembre de 2025; el 3 de marzo de 2026; y el 3 de septiembre de 2026.

Respuesta del DFFH a la investigación

La OVIC acoge con agrado la respuesta del DFFH a los hallazgos y conclusiones de este informe, como se muestra en el Anexo B.

En resumen, el DFFH acepta la conclusión de que hubo una infracción de los IPP 3.1 y 4.1 y se compromete a abordar las acciones especificadas en el Aviso de Cumplimiento dentro de los plazos requeridos.

Sin embargo, en su respuesta, el DFFH sostiene que el informe “no encontró que ningún miembro del personal hubiera utilizado GenAI para generar contenido para asuntos laborales sensibles”. De hecho, el informe presenta lo contrario: el Comisionado Adjunto encontró, en base a la ponderación de probabilidades, que CPW1 utilizó ChatGPT para generar contenido que se utilizó en un asunto laboral muy sensible: la redacción del Informe de PA que se presentó al Tribunal de Menores para un caso de protección infantil.