Incidentes Asociados
El servicio de protección infantil del Departamento de Familias, Equidad y Vivienda (DFFH) de Victoria tiene prohibido utilizar inteligencia artificial generativa en el lugar de trabajo durante al menos un año.
La prohibición se produce después de que una investigación sobre un asistente social que utilizó Chat GPT para generar evaluaciones de riesgo infantil y luego las presentó a los tribunales descubriera que las acciones de captación de menores se malinterpretaron como apoyo parental positivo.
En uno de los ejemplos más genuinamente impactantes del persistente aumento del uso no regulado de la inteligencia artificial generativa (GenAI), la Oficina del Comisionado de Información de Victoria (OVIC) reveló el miércoles que había emitido un aviso de cumplimiento al DFFH porque "una brecha importante en los controles del DFFH es el uso de soluciones técnicas para gestionar el acceso de los empleados a las herramientas GenAI".
“El comisionado adjunto considera que los empleados de Protección Infantil deberían prohibir el uso de ChatGPT y otras herramientas GenAI similares”, dijo la OVIC, explicando los nuevos requisitos para el DFFH que básicamente prohíben el uso de GenAI en el lugar de trabajo o su uso externo para crear material para el trabajo de protección infantil.
Las prohibiciones fueron provocadas por el informe derivado de una investigación sobre un asunto en el que un trabajador de protección infantil llamado CPW1 utilizó ChatGPT para ayudar a generar un informe “presentado al Tribunal de Menores, para proporcionar información sobre los riesgos de daño a un niño pequeño y si debería ser colocado en un centro de atención fuera del hogar”.
El informe contenía errores peligrosos en los que se delegó a la IA la tarea de generar el informe. Estos errores fueron detectados durante la revisión por un humano, pero aun así se presentaron al tribunal.
Para ser claros, la solicitud de protección para atención de emergencia se debió a que “Protección Infantil recibió información de que los padres del niño habían sido acusados en relación con delitos sexuales. Estos cargos no estaban relacionados con delitos sexuales contra el niño”.
Pero hubo suficiente preocupación como para investigar de inmediato y Protección Infantil evaluó que “el niño corría riesgo de sufrir daños inaceptables y emitió una Solicitud de Protección por Atención de Emergencia al Tribunal de Menores. Esto dio lugar a que el tribunal dictara órdenes provisionales para retirar al niño del cuidado de sus padres”.
La orden de retiro de emergencia inicial estaba bien, pero fue una solicitud posterior “para obtener una orden de protección final que estableciera acuerdos de protección a largo plazo para el niño” la que fracasó gracias a AI.
“Un representante legal del DFFH revisó el Informe de Solicitud de Protección el día de una audiencia judicial adicional aproximadamente una semana después e identificó inquietudes relacionadas con el lenguaje inusual utilizado en el informe y la idoneidad de la evaluación de riesgos. Sospechando que el Informe de la Solicitud de Protección se había redactado utilizando ChatGPT, el representante informó sus inquietudes al Área de Protección Infantil pertinente”, decía el informe de investigación de la OVIC.
“Es especialmente preocupante que el Informe de la Solicitud de Protección hiciera referencia al juguete de un niño de manera contradictoria, de modo que la información personal era inexacta y la evaluación de riesgos era inadecuada”, decía la OVIC.
Bajo el título “Análisis contradictorio sobre el juguete de un niño”, las consecuencias y limitaciones de la IA son, bueno, repugnantes.
“En primer lugar, el Informe de la AP hizo referencia a cómo el padre del niño utilizó un juguete en particular, una muñeca, con fines sexuales. El informe luego hizo referencia al mismo juguete como una fortaleza notable, en el sentido de que los padres habían proporcionado al niño “juguetes apropiados para su edad”, que se utilizaron para subrayar sus esfuerzos por nutrir las necesidades de desarrollo del niño”, señaló la OVIC.
El informe de la OVIC afirma que el DFFH le dijo a su investigación que “esta redacción excesivamente positiva minimiza el nivel de riesgo que se plantea para el niño. “La presencia de juguetes apropiados para la edad” es inapropiada en el contexto de la actividad sexual que ocurre con la muñeca del niño; se minimizan los comportamientos sexualmente desviados y violentos (“presunta mala conducta”); y afirmar que los adultos demostraron cuidado y apoyo en su crianza junto con la violencia sexual y la desviación resalta un doble vínculo”.
“Este aspecto sugiere que la información sobre el caso de protección infantil se ingresó en ChatGPT pero, de acuerdo con la forma en que operan los LLM y los riesgos asociados mencionados anteriormente, ChatGPT no entendió adecuadamente el contexto relevante y generó contenido inapropiado e inexacto como resultado”, afirma el informe de OVIC.
“El contenido generado presenta lo que claramente debería ser un indicador de riesgo para el niño como una indicación de la capacidad positiva de los padres para brindar cuidados”.
Por lo tanto, ahora AI se está tomando una licencia sin goce de sueldo en DFFH.
“Dado esto, OVIC considera que una brecha importante en los controles de DFFH es el uso de soluciones técnicas para administrar el acceso de los empleados a las herramientas GenAI. En particular, el comisionado adjunto considera que ChatGPT y otras herramientas GenAI similares deberían estar prohibidas para los empleados de Protección Infantil”, dijo OVIC.
“Por lo tanto, la OVIC emitió un aviso de cumplimiento que exige que el DFFH tome las siguientes medidas específicas:
- Emitir una instrucción al personal de Protección Infantil que establezca que no deben utilizar ninguna herramienta de texto GenAI basada en la web o en una interfaz de programación de aplicaciones (API) externa (como ChatGPT) como parte de sus funciones oficiales. Esta instrucción debe emitirse antes del 24 de septiembre de 20243.
- Implementar y mantener el bloqueo del protocolo de Internet y/o el bloqueo del servidor de nombres de dominio para evitar que el personal de Protección Infantil utilice las siguientes herramientas de texto GenAI basadas en la web o en una API externa: ChatGPT; ChatSonic; Claude; Copy.AI; Meta AI; Grammarly; HuggingChat; Jasper; NeuroFlash; Poe; ScribeHow; QuillBot; Wordtune; Gemini; y Copilot. La lista no incorpora herramientas GenAI que se incluyen como características dentro de los motores de búsqueda de uso común”.
Y la lista continúa.
También existe el requisito de “Implementar y mantener controles para evitar que el personal de Protección Infantil utilice Microsoft365 Copilot. Esta medida debe implementarse antes del 5 de noviembre de 2024 y mantenerse hasta el 5 de noviembre de 2026”.
Si esto suena a una condena a prisión o a una moratoria, es porque lo es. Debería ser un verdadero éxito en un determinado comité federal.