Incidentes Asociados
Deloitte Australia emitirá un reembolso parcial al gobierno federal tras admitir que se utilizó inteligencia artificial en la creación de un informe de 440.000 dólares plagado de errores, incluyendo tres referencias académicas inexistentes y una cita inventada de una sentencia del Tribunal Federal.
Una nueva versión del informe para el Departamento de Relaciones Laborales (DEWR) se publicó discretamente en el sitio web del departamento el viernes, antes de un fin de semana largo en gran parte de Australia. Incluye más de una docena de supresiones de referencias y notas a pie de página inexistentes, una lista de referencias reescrita y correcciones a múltiples errores tipográficos.
La primera versión del informe, sobre el sistema informático utilizado para automatizar las sanciones en el sistema de bienestar social, como las pausas en el subsidio de desempleo, se publicó en julio. Menos de un mes después, Deloitte se vio obligada a investigar el informe después de que el académico de la Universidad de Sídney, Dr. Christopher Rudge, señalara múltiples errores en el documento.
En aquel momento, Rudge especuló que los errores podrían haber sido causados por lo que se conoce como "alucinaciones" de la IA generativa. Aquí es donde la tecnología responde a las consultas de los usuarios inventando referencias y citas. Deloitte declinó hacer comentarios.
El incidente es vergonzoso para Deloitte, ya que obtiene una parte cada vez mayor de sus 70.500 millones de dólares estadounidenses (107.000 millones de dólares estadounidenses) en ingresos globales anuales asesorando y capacitando a clientes y ejecutivos sobre IA. La firma también se jacta del uso generalizado de la tecnología en sus operaciones globales, al tiempo que enfatiza la necesidad de que siempre haya personal para revisar cualquier resultado de IA.
La presentación del informe, plagado de errores, también se produce en medio de una creciente preocupación por el uso descontrolado de la IA en el lugar de trabajo, ya que las empresas buscan maneras de ser más eficientes.
"Se utilizó IA generativa"
La nueva versión del informe incluye una concesión en la metodología de que se utilizó IA generativa para lo que la firma denominó "lagunas de trazabilidad y documentación".
El informe señala ahora que la empresa utilizó una cadena de herramientas basada en un modelo de lenguaje extenso de IA generativa (Azure OpenAI GPT-4o), licenciada por DEWR y alojada en su arrendamiento de Azure.
Esa revelación, junto con la naturaleza de los errores, ahora eliminados, ha llevado a Rudge a concluir que los problemas del informe inicial se debían a alucinaciones de IA.
"Esto ya no es una 'hipótesis sólida'", declaró Rudge. "Deloitte ha confesado, aunque oculta en la sección de metodología. Deloitte ha admitido haber utilizado IA generativa para una tarea analítica fundamental; sin embargo, no lo reveló en primer lugar".
El académico afirmó que ya no se podía confiar en las recomendaciones del informe porque "el análisis central fue realizado por una IA".
"No se puede confiar en las recomendaciones cuando la base misma del informe se basa en una metodología defectuosa, originalmente no divulgada y no experta", declaró.
"Se mantiene el contenido de la revisión"
Un portavoz del DEWR afirmó que "se mantiene el contenido de la revisión independiente y no hay cambios en las recomendaciones", pero se negó a responder si el departamento creía que los errores se debían al uso de IA por parte del personal de Deloitte.
El portavoz del DEWR afirmó que Deloitte había "acordado reembolsar el último plazo según su contrato", pero se negó a revelar el monto. También se negó a hacer comentarios cuando se le preguntó si el DEWR utilizaría a Deloitte para otros trabajos o si solicitaría un reembolso completo de los honorarios.
Una portavoz de la ministra responsable, Amanda Rishworth, remitió las preguntas al DEWR. Deloitte Australia ha firmado contratos con DEWR por un valor de casi 25 millones de dólares desde 2021.
Tras la detección de posibles problemas en el informe, Deloitte realizó una revisión interna del mismo, según informó una fuente no autorizada a comentar sobre las operaciones internas de la firma. Dicha investigación reveló que los problemas estaban relacionados con errores humanos. La revisión de Deloitte no llegó a ninguna conclusión sobre si los errores estaban relacionados con el uso incorrecto de herramientas de IA.
Ambas versiones del informe de Deloitte detectaron problemas generalizados con el sistema informático y los procesos de DEWR, incluyendo "documentación deficiente", "defectos del sistema" no detectados y "un modelo de cumplimiento punitivo que ha amplificado el impacto de los errores del sistema en los participantes". Este informe surge tras un contundente informe del Defensor del Pueblo de la Commonwealth que afirmaba que cientos de suspensiones de pagos de asistencia social no eran legales.
Referencias eliminadas, notas a pie de página
El informe revisado ha eliminado una docena de referencias a dos informes inexistentes de la profesora Lisa Burton Crawford, profesora de derecho de la Universidad de Sídney, que se incluyeron en la primera versión. El nuevo informe también eliminó dos referencias a un informe inexistente del profesor Björn Regnell, de la Universidad de Lund (Suecia).
También se eliminó una referencia inventada a una decisión judicial en un caso clave de deudas robóticas, Deanna Amato contra la Commonwealth.
El nuevo informe también ha eliminado una referencia a la "Jueza Davis" (una errata de la Jueza Jennifer Davies) y la cita inventada de los párrafos 25 y 26 inexistentes de la sentencia: "La carga de la decisión recae en quien toma la decisión, quien debe estar satisfecho con la evidencia de que la deuda existe. Los derechos legales de una persona no pueden reducirse legalmente basándose en una suposición no respaldada por pruebas".