Problème 6262

Deloitte remboursera partiellement le gouvernement fédéral pour un rapport de 440 000 dollars contenant plusieurs erreurs, après avoir admis avoir utilisé l'intelligence artificielle générative pour le produire.

Le Département de l'Emploi et des Relations de travail (DEWR) a confirmé que Deloitte rembourserait la dernière tranche prévue par son contrat, qui sera rendue publique une fois la transaction finalisée. Cette décision intervient alors qu'un sénateur travailliste accuse le cabinet de conseil d'avoir un « problème d'intelligence humaine ». Deloitte a été mandaté par le ministère pour examiner le cadre de conformité ciblé et son système informatique, utilisé pour automatiser les sanctions dans le système de protection sociale en cas de non-respect des obligations mutuelles par les demandeurs d'emploi, en décembre 2024.

Le rapport qui a suivi a révélé des problèmes généralisés, notamment un manque de « traçabilité » entre les règles du cadre et la législation qui le sous-tend, ainsi que des « défauts du système ». Il a indiqué qu'un système informatique était « guidé par des hypothèses punitives de non-conformité des participants ».

Il a été initialement publié le 4 juillet. Le rapport a été remis en ligne sur le site web du DEWR vendredi, après que l'Australian Financial Review a signalé en août la découverte de multiples erreurs, notamment des références et des citations inexistantes.

Le Dr Christopher Rudge, professeur à l'Université de Sydney et premier à avoir signalé ces erreurs, a déclaré que le rapport contenait des « hallucinations » : les modèles d'IA pourraient combler des lacunes, mal interpréter les données ou tenter de deviner des réponses.

« Au lieu de remplacer une fausse référence hallucinée par une nouvelle référence « réelle », ils ont remplacé les fausses références hallucinées, et dans la nouvelle version, il y en a cinq, six, sept ou huit », a-t-il déclaré.

Cela suggère donc que l'affirmation initiale formulée dans le corps du rapport ne reposait sur aucune source probante particulière.

L'examen mis à jour a noté un « petit nombre de corrections aux références et aux notes de bas de page », mais le ministère a déclaré que les recommandations de l'examen n'avaient pas été modifiées.

« Deloitte a mené l'examen d'assurance indépendant et a confirmé que certaines notes de bas de page et références étaient incorrectes », a déclaré un porte-parole du ministère.

« Le contenu de l'examen indépendant est conservé et les recommandations restent inchangées. »

Dans la version mise à jour du rapport, Deloitte a ajouté une référence à l'utilisation de l'IA générative en annexe. Il précise qu'une partie du rapport « incluait l'utilisation d'une chaîne d'outils basée sur un modèle de langage étendu d'intelligence artificielle (IA) générative (Azure OpenAI GPT – 4o), sous licence du DEWR et hébergée sur le serveur Azure du DEWR ».

Deloitte n'a pas précisé que l'intelligence artificielle était à l'origine des erreurs dans son rapport initial. Il a également maintenu les conclusions initiales de l'examen.

« Les mises à jour apportées n'ont aucune incidence sur le contenu, les conclusions et les recommandations du rapport », indique la version modifiée.

Un porte-parole de Deloitte a déclaré que « le problème a été résolu directement avec le client ».

M. Rudge a déclaré que, malgré ses critiques, il hésitait à considérer l'ensemble du rapport comme « illégitime », car ses conclusions concordent avec d'autres preuves largement répandues.

La sénatrice travailliste Deborah O'Neill, qui participait à une enquête sénatoriale sur l'intégrité des cabinets de conseil, a déclaré qu'il semblait que « l'IA se retrouve à devoir faire le gros du travail ».

« Deloitte a un problème d'intelligence humaine. Ce serait risible si ce n'était pas aussi lamentable. Un remboursement partiel ressemble à des excuses partielles pour un travail de mauvaise qualité », a-t-elle déclaré.

Quiconque souhaite faire appel à ces entreprises devrait se renseigner précisément sur l'identité de l'entreprise qui effectue le travail pour lequel il les rémunère, et faire vérifier cette expertise et l'absence d'utilisation d'IA.

« Au lieu de faire appel à un grand cabinet de conseil, les acheteurs feraient peut-être mieux de souscrire à un abonnement ChatGPT. » L'AFR a constaté plusieurs références erronées dans le rapport initial, notamment des rapports inexistants de professeurs de l'Université de Sydney et de l'Université de Lund, en Suède.

Le rapport fait également état d'une référence inventée à une décision de justice dans l'affaire Deanna Amato c. Commonwealth, relative à une dette publique. Dans son rapport final, Deloitte a indiqué que cette mise à jour « modifiait le résumé de la procédure Amato, qui contenait des erreurs ».