デロイトは、複数の誤りがあった44万ドルの報告書について、連邦政府に一部返金すると発表した。報告書の作成に生成型人工知能（GAI）を使用していたことを認めたためだ。
雇用・職場関係省（DEWR）は、デロイトが契約に基づく最終分割払い金を返金することを確認した。契約内容は取引完了後に公表される。これは、ある労働党上院議員が、このコンサルテ ィング会社が「人間知能に問題を抱えている」と非難したことを受けての発表である。
デロイトは、2024年12月、求職者が相互義務を履行しなかった場合に福祉制度において罰則を自動化するために使用されている、対象を絞ったコンプライアンス・フレームワークとそのITシステムの調査を同省から委託されました。
その後の報告書では、フレームワークの規則とその背後にある法律との間の「追跡可能性」の欠如や「システムの欠陥」など、広範な問題が指摘されました。報告書は、ITシステムが「参加者の不遵守を懲罰的な前提として運用されている」と述べています。
この報告書は7月4日に初版が公表されました。この報告書は、8月にオーストラリアン・ファイナンシャル・レビューが、存在しない参考文献や引用を含む複数の誤りが見つかったと報じた後、金曜日にDEWRのウェブサイトに再アップロードされました。
これらの誤りを最初に指摘したシドニー大学のクリストファー・ラッジ教授は、報告書には「幻覚」が含まれており、AIモデルが空白を埋めたり、データを誤って解釈したり、答えを推測しようとしたりする可能性があると述べています。
「幻覚的な偽の参考文献を1つだけ新しい『本物の』参考文献に置き換えるのではなく、幻覚的な偽の参考文献を置き換えてしまい、新しいバージョンでは、5つ、6つ、7つ、あるいは8つも代わりに含まれていました」とラッジ教授は述べています。
「つまり、報告書本文でなされた当初の主張は、特定の証拠源に基づいていなかったということです。」
更新されたレビューでは「参考文献と脚注に少数の修正」が加えられましたが、国土安全保障省はレビューの勧告に変更はないと述べています。
国土安全保障省の広報担当者は、「デロイトが独立した保証レビューを実施し、一部の脚注と参考文献に誤りがあることを確認しました」と述べています。
「独立したレビューの内容は維持されており、勧告に変更はありません。」
更新された報告書では、デロイトは付録に生成AIの使用に関する言及を追加しました。報告書の一部には、「DEWRによってライセンス供与され、DEWRのAzureテナントでホストされている、生成人工知能（AI）大規模言語モデル（Azure OpenAI GPT-4o）ベースのツールチェーンの使用が含まれていました」と述べています。
デロイトは、当初の報告書の誤りの原因が人工知能であるとは述べていません。また、同社は当初の調査結果も維持した。
「今回の更新は、報告書の実質的な内容、調査結果、および勧告にいかなる影響も及ぼさない」と修正版で述べている。
デロイトの広報担当者は、「この問題はクライアントと直接解決済み」と述べた。
ラッジ氏は、批判はあるものの、報告書の結論は広く共有されている他の証拠と一致しているため、報告書全体を「不当と見なすべき」と断言するのはためらわれると述べた。
コンサルティング会社の誠実性に関する上院調査に参加した労働党のデボラ・オニール上院議員は、「AIに重労働を任せているようだ」と 述べた。
「デロイトは人間の知能に問題を抱えている。これほど嘆かわしいことでなければ、これは笑いものになるだろう。部分的な返金は、質の低い仕事に対する部分的な謝罪のように見える」とオニール氏は述べた。
これらの企業との契約を検討している人は、支払っている業務を誰が行っているのかを正確に確認し、その専門知識とAIの使用がないことを確認する必要があります。
「おそらく、調達担当者は大手コンサルティング会社ではなく、ChatGPTのサブスクリプションに加入した方が良いでしょう。」
AFRは、元の報告書に複数の誤った参照を発見。これには、シドニー大学とスウェーデンのルンド大学の教授による存在しない報告書も含まれていました。
同紙はまた、ロボデット事件、ディアナ・アマト対コモンウェルス事件の判決に関する捏造された言及についても報じました。デロイトは最終報告書の中で、この更新により「誤りが含まれていたアマト訴訟の要約を修正した」と述べています。