Incidentes Asociados
Deloitte otorgará un reembolso parcial al gobierno federal por un informe de $440,000 que contenía varios errores, tras admitir que utilizó inteligencia artificial generativa para su elaboración.
El Departamento de Empleo y Relaciones Laborales (DEWR) confirmó que Deloitte reembolsará el último pago según su contrato, que se hará público una vez finalizada la transacción. Esto ocurre después de que un senador laborista acusara a la consultora de tener un "problema de inteligencia humana".
El departamento encargó a Deloitte la revisión del marco de cumplimiento específico y su sistema informático, utilizado para automatizar las sanciones en el sistema de bienestar social si los solicitantes de empleo no cumplían con sus obligaciones mutuas (https://www.theguardian.com/australia-news/article/2024/may/16/centrelink-mutual-obligations-budget-changes-jobseeker-suspensions), en diciembre de 2024.
El informe posterior detectó problemas generalizados, como la falta de trazabilidad entre las normas del marco y la legislación que lo sustenta, así como defectos del sistema. Afirmaba que el sistema informático estaba basado en supuestos punitivos de incumplimiento por parte de los participantes.
Se publicó por primera vez el 4 de julio. Se volvió a subir al sitio web del DEWR el viernes, después de que el Australian Financial Review (https://www.afr.com/companies/professional-services/academics-raise-alarm-over-suspected-ai-use-in-deloitte-report-20250822-p5mp0f) informara en agosto que se habían encontrado múltiples errores, incluyendo referencias y citas inexistentes.
El Dr. Christopher Rudge, académico de la Universidad de Sídney, quien fue el primero en señalar los errores, afirmó que el informe contenía "alucinaciones" donde los modelos de IA pueden rellenar lagunas, malinterpretar datos o intentar adivinar respuestas.
"En lugar de simplemente sustituir una referencia falsa alucinada por una nueva referencia 'real', han sustituido las referencias falsas alucinadas y, en la nueva versión, hay cinco, seis, siete u ocho en su lugar", explicó.
Esto sugiere que la afirmación original del informe no se basaba en ninguna fuente probatoria específica.
La revisión actualizada detectó una pequeña cantidad de correcciones en referencias y notas a pie de página, pero el departamento afirmó que no se han realizado cambios en las recomendaciones.
Deloitte realizó la revisión de verificación independiente y confirmó que algunas notas a pie de página y referencias eran incorrectas, declaró un portavoz del departamento.
Se mantiene la esencia de la revisión independiente y no se han realizado cambios en las recomendaciones.
En la versión actualizada del informe, Deloitte añadió una referencia al uso de IA generativa en su apéndice. Indica que una parte del informe incluía el uso de una cadena de herramientas basada en un modelo de lenguaje extenso de inteligencia artificial (IA) generativa (Azure OpenAI GPT – 4o) con licencia del DEWR y alojada en su arrendamiento de Azure.
Deloitte no indicó que la inteligencia artificial fuera la causa de los errores en su informe original. También se mantuvo firme en las conclusiones originales de la revisión.
“Las actualizaciones realizadas no impactan ni afectan en modo alguno el contenido sustancial, las conclusiones y las recomendaciones del informe”, declaró en la versión modificada.
Un portavoz de Deloitte afirmó que “el asunto se ha resuelto directamente con el cliente”.
Rudge afirmó que, a pesar de sus críticas, duda en afirmar que todo el informe debería “considerarse ilegítimo”, ya que las conclusiones coinciden con otras pruebas generalizadas.
La senadora laborista Deborah O’Neill, quien participó en una investigación del Senado sobre la integridad de las consultoras, afirmó que parecía que “se está dejando que la IA haga el trabajo pesado”.
“Deloitte tiene un problema de inteligencia humana. Esto sería ridículo si no fuera tan lamentable. Un reembolso parcial parece una disculpa parcial por un trabajo deficiente”, declaró.
Cualquiera que busque contratar a estas empresas debería preguntarse exactamente quién realiza el trabajo por el que pagan, y verificar esa experiencia y el uso de IA.
Quizás, en lugar de una gran consultora, sería mejor que los compradores se suscribieran a ChatGPT.
El AFR encontró varias referencias incorrectas en el informe original, incluyendo informes inexistentes de profesores de la Universidad de Sídney y la Universidad de Lund en Suecia.
El periódico también reportó una referencia inventada a una decisión judicial en un caso de robodebt, Deanna Amato contra la Commonwealth. Deloitte escribió en su informe final que la actualización "modificó el resumen del procedimiento Amato que contenía errores".