デロイトは、複数の誤りがあった44万ドルの報告書をめぐり、オーストラリア政府から支払われた代金の一部を返還する。同社は、報告書の作成に生成型人工知能（AI）を活用したことを認めた。ガーディアン紙の報道によると、雇用・職場関係省（DEWR）は、契約の最終分割払い金43万9000豪ドル（29万ドル）を、取引完了後に返還すると発表した。
デロイト、AI生成レポート問題を受け政府に返金へ
労働党上院議員デボラ・オニール氏は、デロイトを批判し、同社には「人間の知能に問題があった」と述べ、今回の件を「標準以下の業務に対する部分的な謝罪」と呼んだ。デロイトは2024年12月、アンソニー・アルバネーゼ政権から、ターゲット・コンプライアンス・フレームワーク（TCF）とそのITシステムの独立保証レビューの実施を依頼された。このシステムは、オーストラリアの福祉制度における相互義務を果たせなかった求職者への罰則を自動化するものです。
コンサルタント会社は今年初めに7ヶ月に及ぶプロジェクトを完了しました。7月4日に発表された報告書では、枠組み規則と法律間の追跡可能性の低さ、様々な「システム上の欠陥」、そして「参加者の不遵守を罰則的に想定した」とされるITシステムの構築など、様々な問題点が指摘されました。
報告書に誤りが見つかり、AIの使用が明らかに
8月、オーストラリアン・ファイナンシャル・レビューは、報告書に複数の誤りがあると指摘しました。その中には、存在しない学術文献の引用や捏造された裁判例（ディアナ・アマト対コモンウェルス）が含まれていました。シドニー大学のクリストファー・ラッジ博士は、これらの誤りを「幻覚」と呼びました。これは、AIモデルが情報の空白を埋めたり、誤った推測をしたりする際に使われる用語です。
「幻覚的な偽の文献を1つ、実際の文献に置き換えるのではなく、複数の偽の文 献に置き換えたのです」とラッジ博士は述べています。「これは、当初の主張が単一の証拠源に基づいていなかったことを示唆しています。」
金曜日、DEWRは更新版を再アップロードしました。同社は、脚注と誤植を修正し、参考文献リストを書き直すとともに、存在しない参考文献を12件以上削除しました。省は「報告書の内容と勧告は変更されていない」と確認しました。
その後、更新された付録の中で、デロイトは方法論の一部として生成AI大規模言語モデル（Azure OpenAI GPT - 4o）を使用したことを認めました。「報告書の一部には、DEWRからライセンスを取得し、DEWRのAzureテナントでホストされている生成AI大規模言語モデルが使用されていました」と、更新された報告書には記載されています。
しかし、同社は元の報告書の誤りをAIのせいとはせず、引き続き調査結果を堅持しています。「今回の更新は、報告書の実質的な内容、調査結果、勧告にいかなる影響も及ぼしません」とデロイトは述べています。デロイトの広報担当者は、「この問題はクライアントと直接解決済みです」と付け加えました。
デボラ・オニール上院議員は、この出来事はAIへの過度の依存に対する懸念を引き起こしたと述べました。 「デロイトは人間の知能に問題を抱えています。もしこれが嘆かわしいことでなければ、笑い話になるでしょう。部分的な返金は、標準以下の仕事に対する部分的な謝罪のように思えます」と彼女は述べた。オニール氏はさらに、政府機関は、支払った仕事を実際に誰が行っているのか、そしてAIが使われているのかどうかを確認すべきだと付け加えた。「おそらく、大手コンサルティング会社ではなく、調達担当者はChatGPTのサブスクリプションに申し込む方が良いでしょう」と彼女は述べた。
DEWRは、返金手続きと契約の詳細は、確定次第公表されると述べた。