デロイト・オーストラリアは、44万ドル相当の報告書の作成に人工知能が使用されていたことを認め、連邦政府に一部返金すると発表した。報告書には、存在しない学術文献3件や連邦裁判所の判決からの捏造引用など、誤りが散見された。
オーストラリア労働関係省（DEWR）向けの報告書の新版は、オーストラリア全土で連休を迎える金曜日に、同省のウェブサイトにひっそりとアップロードされた。この新版では、存在しない参考文献や脚注が12件以上削除され、参考文献リストが書き直され、複数の誤植が修正されている。
この報告書の初版は、失業手当の支給停止など、福祉制度におけるペナルティを自動化するために使用されているITシステムに関するもので、7月に公表されていた。 1か月も経たないうちに、シドニー大学のクリストファー・ラッジ博士が報告書内の複数の誤りを指摘したことを受け、デロイトは報告書の調査を余儀なくされました。
当時、ラッジ博士は、これらの誤りは、生成AIによるいわゆる「幻覚」によって引き起こされた可能性があると推測していました。この技術は、ユーザーの問い合わせに対し、参考文献や引用文を捏造することで応答する。デロイトはコメントを控えた。
デロイトは、年間705億ドル（約10兆7000億円）の世界売上高のうち、AIに関するアドバイスや顧客・経営幹部への研修提供で、その割合を拡大させており、今回の件は同社にとって恥ずべき出来事である。同社はまた、世界各地の事業においてAIが広く活用されていることを誇りとする一方で、AIの出力結果は常に人間によるレビューを受ける必要があることを強調している。
企業が効率化の方法を模索する中で、職場におけるAIの無制限な利用に対する懸念が広がる中で、誤りだらけの報告書が提出された。
「生成されたAIが使用された」
報告書の最新版には、同社が「トレーサビリティと文書化のギャップ」と呼ぶもののために生成されたAIが使用されたという、方法論に関する譲歩が含まれている。
報告書では、同社が「DEWRからライセンスを取得し、DEWRのAzureテナントでホストされている、生成AI大規模言語モデル（Azure OpenAI GPT-4o）ベースのツールチェーン」を使用していたと指摘されています。
この事実と、現在削除されている誤りの性質から、ラッジ氏は当初の報告書における問題はAIの幻覚によるものだと結論付けました。
「これはもはや『強力な仮説』ではありません」とラッジ氏は述べました。「デロイトは、方法論のセクションに埋もれていたとはいえ、自白しました。デロイトは、中核的な分析タスクに生成AIを使用していたことを認めていますが、そもそもこの事実を明らかにしていませんでした。」
この学者は、報告書の勧告は「中核となる分析がAIによって行われた」ため、もはや信頼できないと述べた。
「報告書の根幹が、欠陥のある、当初公表されておらず、専門家によるものではない方法論に基づいている場合、勧告を信頼することはできない」と彼は述べた。
「レビューの実質は維持」
DEWR（環境・水資源省）の広報担当者は、「独立したレビューの実質は維持されており、勧告に変更はない」と述べたが、省がこれらの誤りがデロイトの職員によるAIの使用によるものだと考えているかどうかについては回答を控えた。
DEWRの広報担当者は、デロイトが「契約に基づき最終分割払い金を返済することに同意した」と述べたが、金額は明らかにしなかった。また、DEWRを他の業務にも利用するか、あるいは手数料の全額返金を求めるかについてもコメントを控えた。
担当大臣のアマンダ・リシュワース報道官は、質問をDEWRに回した。デロイト・オーストラリアは、2021年以降、DEWRと約2,500万ドル相当の契約を締結しています。
報告書の潜在的な問題点が指摘 された後、デロイトはDEWR報告書の内部調査を実施しました。これは、同社の内部業務についてコメントする権限のない情報筋によるものです。調査の結果、問題は人為的ミスに関連していることが判明しました。デロイトによる調査では、これらのミスがAIツールの誤用に関連しているかどうかについては結論が出ていません。
デロイトの報告書は両方とも、DEWRのコンピューターシステムとプロセスに広範な問題があることを明らかにしており、「不十分な文書化」、未検出の「システム欠陥」、そして「懲罰的なコンプライアンスモデルがシステムエラーによる参加者への影響を増幅させている」ことなどが挙げられています。この報告書は、数百件に及ぶ福祉給付の停止が違法であったとする連邦オンブズマンの厳しい報告書を受けて発表されています。
削除された参考文献と脚注
改訂版報告書では、シドニー大学法学教授リサ・バートン・クロフォード氏による存在しない2つの報告書への12件の参照が初版に含まれていましたが、削除されました。また、スウェーデンのルンド大学のビョルン・レグネル氏による存在しない2つの報告書への参照も、改訂版報告書では削除されました。
また、主要なロボット債務訴訟であるディアナ・アマト対コモンウェルス事件における裁判所の判決への架空の参照も削除されました。
改訂版報告書では、「デイビス判事」（ジェニファー・デイビス判事の誤記）への参照と、判決の存在しない第25項および第26項からの架空の引用も削除されました。「債務が負われているという証拠に納得する責任は、決定権者にある。証拠に裏付けられてい ない仮定に基づいて、個人の法定権利を合法的に減額することはできない。」