Incidents associés
Deloitte remboursera une partie du paiement reçu du gouvernement australien suite à un rapport de 440 000 dollars contenant de multiples erreurs. L'entreprise technologique a admis avoir utilisé l'intelligence artificielle générative (IA) pour produire ce rapport. Le ministère de l'Emploi et des Relations professionnelles (DEWR) a confirmé que le dernier versement du contrat de 439 000 dollars australiens (290 000 dollars américains) sera remboursé une fois la transaction finalisée, selon le Guardian.
Deloitte remboursera le gouvernement après un rapport généré par l'IA
La sénatrice travailliste Deborah O'Neill a critiqué Deloitte en déclarant que l'entreprise avait un « problème d'intelligence humaine », qualifiant cet incident d'« excuses partielles pour un travail de qualité inférieure ». Deloitte a été mandaté en décembre 2024 par le gouvernement d'Anthony Albanese pour réaliser une évaluation indépendante du Cadre de conformité ciblé (TCF) et de son système informatique. Ce système automatise les sanctions pour les demandeurs d'emploi qui ne respectent pas leurs obligations mutuelles au titre des programmes sociaux australiens.
Le cabinet de conseil a conclu ce projet de sept mois plus tôt cette année. Le rapport, publié le 4 juillet, a révélé divers problèmes, notamment une faible traçabilité entre les règles du cadre et la législation, divers « défauts du système » et une configuration informatique décrite comme « fondée sur des hypothèses punitives de non-conformité des participants ».
Erreurs détectées dans le rapport, utilisation de l'IA révélée
En août, l'Australian Financial Review a signalé plusieurs erreurs dans le rapport, notamment des citations de références académiques inexistantes et une affaire judiciaire fabriquée (Deanna Amato contre Commonwealth). Le Dr Christopher Rudge, professeur à l'Université de Sydney, a été le premier à mentionner ces erreurs, les qualifiant d'« hallucinations », terme utilisé lorsque les modèles d'IA comblent des lacunes ou devinent des réponses inexactes.
« Au lieu de remplacer une fausse référence hallucinée par une vraie, ils ont remplacé plusieurs fausses références », a déclaré M. Rudge. « Cela suggère que les affirmations initiales ne reposaient sur aucune source de preuve unique. »
Vendredi, le DEWR a remis en ligne une version mise à jour. Le ministère a supprimé plus d'une douzaine de références inexistantes, corrigé des notes de bas de page et des erreurs typographiques, et réécrit la liste des références. Le ministère a confirmé que « le contenu et les recommandations du rapport demeurent inchangés ».
Plus tard, dans l'annexe mise à jour, Deloitte a reconnu avoir utilisé un modèle de langage génératif à large spectre (Azure OpenAI GPT -- 4o) dans le cadre de sa méthodologie. « Une partie du rapport incluait l'utilisation d'un modèle de langage génératif à large spectre sous licence du DEWR et hébergé sur son infrastructure Azure », indique le rapport mis à jour.
L'entreprise n'a toutefois pas attribué les erreurs du rapport initial à l'IA et maintient ses conclusions. « Les mises à jour apportées n'ont aucune incidence sur le contenu, les conclusions et les recommandations du rapport », a déclaré Deloitte. Un porte-parole de Deloitte a ajouté : « Le problème a été résolu directement avec le client. »
La sénatrice Deborah O'Neill a déclaré que l'incident soulevait des inquiétudes quant à une dépendance excessive à l'IA. « Deloitte a un problème d'intelligence humaine. Ce serait risible si ce n'était pas aussi lamentable. Un remboursement partiel ressemble à une excuse partielle pour un travail de mauvaise qualité », a-t-elle déclaré. O'Neill a ajouté que les agences gouvernementales devraient vérifier qui effectue réellement le travail pour lequel elles paient et si l'IA est utilisée. « Au lieu de faire appel à un grand cabinet de conseil, les acheteurs feraient peut-être mieux de souscrire à un abonnement ChatGPT », a-t-elle ajouté.
DEWR a indiqué que la transaction de remboursement et les détails du contrat seront rendus publics une fois finalisés.