Incidents associés
De nouvelles erreurs ont été découvertes dans un important rapport préparé par Deloitte pour le gouvernement fédéral, ce qui suscite de nouveaux soupçons quant à la génération d'une partie du contenu par l'intelligence artificielle.
Vendredi, L' Australian Financial Review a révélé que le rapport de Deloitte pour le ministère de l'Emploi et des Relations professionnelles sur les systèmes de conformité aux prestations sociales, qui a coûté 439 000 dollars aux contribuables, contenait au moins une demi-douzaine de références à des travaux universitaires inexistants.
Chris Rudge, spécialiste du bien-être social qui a découvert les références erronées, a découvert que le rapport contenait également une citation apparemment inventée de la décision rendue dans une affaire de dette robotisée majeure, Deanna Amato c. Commonwealth.
Deloitte a indiqué que dans cette affaire, le juge Davis (une faute d'orthographe du juge Davies) avait déclaré aux paragraphes 25 et 26 : « Il incombe au décideur de s'assurer, sur la base des preuves, que la dette est due. Les droits statutaires d'une personne ne peuvent légalement être réduits sur la base d'une hypothèse non étayée par des preuves. »
Aucune citation de ce type n'apparaît dans les ordonnances sur consentement rendues par la juge Jennifer Davies de la Cour fédérale le 27 novembre 2019 ; en fait, les ordonnances ne contiennent ni paragraphe 25 ni paragraphe 26. Une autre citation, citée comme tirée du paragraphe 30, provient en réalité du paragraphe 9.
À trois reprises, Deloitte a cité l'affaire Amato comme étant « [2021] FCA 1019 ». En réalité, cette citation fait référence à une affaire de migration sans rapport (CKL21 contre Ministre de l'Intérieur).
Rudge a déclaré au Financial Review qu'il ne trouvait « aucune source » pour cette citation, ce qui l'a amené à conclure qu'elle avait été générée par l'IA.
« Citer [à tort] des universitaires ou imputer des travaux à des chercheurs qui n'existent pas est une chose, citer [à tort] des juges et ainsi déformer la common law australienne dans un avis au gouvernement du Commonwealth en est une autre », a-t-il déclaré.
Rudge a également noté qu'Amato avait conclu par des ordonnances de consentement plutôt que par un jugement.
« Le fait que le rapport non seulement omette d'identifier ce fait juridique historique, mais traite également Amato comme une affaire jugée témoigne au mieux d'une négligence et, au pire, d'une méconnaissance totale de la conduite de cette affaire cruciale par les auteurs. »
Deloitte a refusé de répondre aux questions concernant l'utilisation de l'IA pour rédiger le rapport et aux questions complémentaires concernant les erreurs de citation de l'affaire Amato. Le cabinet s'était auparavant tenu au rapport et avait promis de corriger les erreurs dans ses références.
Après que la Financial Review a révélé que Deloitte avait cité deux ouvrages de Lisa Burton Crawford et un de Carolyn Adams, qui n'existent pas, le cabinet a fourni une nouvelle liste de références, incluant trois autres chapitres de Burton Crawford dans des ouvrages édités.
La co-auteure de deux de ces chapitres, Janina Boughey, professeure agrégée de droit à l'UNSW, a déclaré que les nouvelles références ne corroboraient pas nécessairement les propositions du rapport Deloitte.
Mme Boughey a déclaré que les ouvrages « ne corroborent pas » une citation, mais « pourraient corroborer » deux autres, « bien que de manière non précise ».
« Ces affirmations ne semblent pas avoir été tirées de la lecture de nos travaux », a-t-elle déclaré.
Il est assez évident qu'au moins certaines des références ont été générées par l'IA, car elles n'existent tout simplement pas.
Si j'étais le DEWR, je demanderais des explications et j'hésiterais à payer pour un travail généré par l'IA. Je ne ferais pas non plus appel à Deloitte dans un avenir proche. Des fonds publics ont servi à financer un rapport manquant d'intégrité.
Boughey a déclaré qu'elle signalerait « presque certainement » un article étudiant pour des raisons d'intégrité s'il contenait de telles erreurs.
Burton Crawford a déclaré être d'accord avec les conclusions de Boughey concernant la nouvelle liste de sources. « Dans la mesure où ces publications corroborent les affirmations du rapport, ce n'est que de manière très générale. » Cela ne me convainc pas que le rapport initial ait simplement cité les mauvaises publications.
Un porte-parole du DEWR a déclaré que le ministère « continuait d'enquêter sur ces allégations et avait sollicité l'avis urgent de Deloitte à ce sujet ».
« Toute question concernant la rédaction des rapports indépendants doit être adressée à Deloitte. »
Vendredi, une porte-parole de Deloitte a déclaré : « Nous maintenons notre travail et les conclusions du rapport. Le contenu de chaque article référencé est exact. Lors de la finalisation des références en notes de bas de page pour publication, quelques titres ne correspondaient pas parfaitement aux sources correspondantes. Ceci a été communiqué au client et les références sont en cours de correction. »