州の教育協定に捏造された情報源が見つかったスキャンダルを受けて、インディペンデント紙は、政府が委託した別の主要な政策報告書に「人工知能によって生成された」といった虚偽の引用が含まれていることを確認しました。これは、AIの活用に関する政策文書の信頼性に疑問を投げかけています。
グローバルコンサルティング会社デロイトが作成し、保健コミュニティサービス省が5月に発行したニューファンドランド・ラブラドール州の保健人材計画には、存在しない、または存在しないように見える引用が少なくとも4つ含まれています。
情報公開請求を通じて入手され、ブロガーのマット・バーター氏のウェブサイトで公開された文書によると、この報告書の作成に州は約160万ドルの費用がかかった。
この保健人材計画は、看護師と医師の人員不足に悩まされている州の医療部門において、効果的な人材戦略を策定する取り組みの一環として、前自由党政権によって委託された。
526ページに及ぶこの文書で引用されている研究論文は、採用戦略、採用・定着のための金銭的インセンティブ、バーチャルケア、そしてCOVID-19パンデミックが医療従事者に与える影響に関する主張を裏付けるために用いられている。
ある事例では、報告書は研究者チームとその研究を引用し、金銭的インセンティブや採用インセンティブは「中長期的には新規採用と研修よりもコストが削減されるため、本質的にコスト削減効果がある」という主張を裏付けています。
ブリティッシュコロンビア州北部大学看護学部の名誉教授であり、この主張の中で引用されている論文「カナダにおける登録看護師のための地方における定着プログラムの費用対効果」の共著者の一人であるマーサ・マクロード氏は、インディペンデント紙に対し、この引用は「虚偽」であり「AIによって生成された可能性がある」と述べました。
「私たちのチームは確かに地方や遠隔地における看護研究を行ってきました」と彼女はメールで述べています。「しかし、費用対効果分析は行ったことがなく、そのための財務データも持っていませんでした。」
別の事例では、研究者チームが「現地採用は一般的に最も費用対効果の高い戦略である。なぜなら、高額な転勤パッケージの必要性がなくなり、離職率が低下し、採用・研修コストを削減できるからだ」という主張を裏付けるために引用されている。
報告書によると「カナダの医療従事者における現地採用・定着戦略の費用対効果」と題されたこの論文の著者の一人は、インディペンデント紙に対し、引用文に挙げられている研究者数名と自身は採用・定着戦略の経済学に取り組んでいるものの、論文自体は「存在しない」と述べた。ダルハウジー大学看護学部の非常勤教授で、ノバスコシア州保健当局の研究・イノベーション・発見担当元副学長であるゲイル・トンブリン・マーフィー氏は、引用文に挙げられている他の6人の著者のうち、3人しか一緒に仕事をしたことがないと述べた。
「このようなことを思いつくということは、AIをかなり多用して作業を生み出している可能性があるということです」とトムリン・マーフィー氏は述べた。「そして、確かに多くの課題があると思います。報告書の根拠となる証拠が最良の証拠であり、検証済みの証拠であることを、私たちは非常に注意深く確認する必要があります。そして、結局のところ、これらの報告書は、政府や国民に負担がかかるという理由だけでなく、正確で、証拠に基づいたものであり、物事を前進させるのに役立つものでなければなりません。」
3つ目の引用は、登録呼吸療法士が「急性期ケアの現場で働く呼吸療法士は、パンデミックにより作業量とストレ スレベルが増加したと報告している」という議論の余地のない主張を裏付けるために用いられている。デロイトの報告書は、研究者グループが「カナダにおける呼吸療法士の作業量とストレスレベルへのCOVID-19の影響」と題された論文で、これが事実であることを「発見した」と主張している。これは、Canadian Journal of Respiratory Therapyに掲載された。
この報告書には、カナダ呼吸療法ジャーナル（Canadian Journal of Respiratory Therapy）のウェブサイトに掲載された記事へのハイパーリンクが含まれていますが、その記事はパンデミックによる登録呼吸療法士の作業負荷やストレスレベルについては触れていません。インディペンデント紙は、この記事の存在を確認できていません。これは、学術検索エンジンやカナダ呼吸療法ジャーナルのウェブサイトにも表示されないためです。
デロイトにとって初めてのことではない
AP通信によると、デロイトは先月、オーストラリアの事務所がオーストラリア政府向けに作成した報告書に「連邦裁判所の判決からの捏造された引用や、存在しない学術研究論文への言及など、AIが生成したと思われる誤り」が含まれていたことで、国際的な注目を集めました。
報道によると、デロイトは政府に29万ドルの一部を返金することに同意しましたが、AIの関与の可能性に関するAP通信の質問には回答しませんでした。デロイトはAP通信に対し、「この問題はクライアントと直接解決済み」と述べています。
この報告書はオーストラリア政府のウェブサイトから削除された後、再び掲載されました。今回は付録に、報告書の一部でAzure OpenAIと呼ばれる生成AIシステムが使 用されていたことが開示されていましたが、同社はこれらの誤りをAIプログラムと具体的に結び付けていませんでした。
報道によると、同社はAIの使用が報告書の「実質的な内容、調査結果、または推奨事項」に影響を与えなかったと述べています。
デロイト自身も、社内およびクライアントにおいてAI技術の活用を推奨しています。デロイト カナダのCEO、アンソニー・ヴィール氏は同社のウェブサイトで、「カナダの組織があらゆる可能性を解き放つよう支援し、刺激を与えています。必要な業界知識、インフラ、クラウドサービスを提供することで、デジタル変革の時代に私たち全員に役立つ生成AIモデルを安全かつ倫理的に、そして効果的に開発、訓練、展開できるようにしています」と述べています。
ニューファンドランド・ラブラドール州では、デロイトは、医療人材計画において、生成型AIの活用を「医療従事者の臨床意思決定を支援し、個別化された治療計画の策定に役立てる」ことを推奨しています。また、この報告書では、AIが「病院データ（電子カルテ、医療請求データなど）の分析や、パターンや傾向の分析に役立ち、リソース配分の判断材料となる」と示唆しています。
デロイト カナダは今年初めにウェブサイトで公開したレポートの中で、「（生成AIへの）信頼の高まりは、カナダ企業にとって重要な責任を浮き彫りにしている。それは、信頼を当然のことと捉えるのではなく、透明性と協働を通じて積極的に育むことだ」と述べている。
「すべての関係者が関与し、AIソリューションの設計、開発、実装にガバナンスが組み込まれることが不可欠だ」とレポート は述べ、「人々が技術を理解し、効果的に活用できるよう、スキルアップを優先しながら、生成AIソリューションを責任を持って導入するためのガイドラインを確立することが極めて重要だ」と付け加えている。
デロイトは、本稿の公開時点でインディペンデント紙の質問に回答していない。
ウェイクハム氏、保守党は今のところ沈黙を守っている
教育協定スキャンダルを受け、当時首相に指名されたトニー・ウェイクハム氏は、ニューファンドランド・ラブラドール州教師協会に対し、報告書に誤りがあったことは「恥ずべきこと」だと述べ、保守党は「最初のステップは、教育協定を詳細に見直し、内容について作成者と直接話し、何が事実で何がそうでないかを判断することです。」
インディペンデント紙は最近、ウェイクハム州首相に対し、AIに関する政策の見直しを行う予定があるかどうかを尋ねたが、ウェイクハム州首相府の広報担当者は「優先事項にはしていない」と述べた。
政府委託による2件目の主要報告書にAIが原因と思われる誤りが含まれていることが判明したことを受け、インディペンデント紙はウェイクハム州保健・コミュニティサービス局に対し、今回の事態への対応、報告書に記載された主張の真実性をどのように検証するのか、デロイトに返金を求めるのか、そして第三者機関による報告書におけるAIの使用に関する方針を検討するのかを質問した。
政府は回答期限は2日以上あったものの、記事掲載時点では回答がなかった。
NDPのジム・ディン党首は、特に教育協定スキャンダルが最近発生したことを考えると、今回の暴露に「うんざり」していると述べた。「人々の命を弄んでいる」とディン氏は金曜日に述べた。「メディアは既に医療制度への信頼を損なう報道を十分行っており、人々は絶望している」したがって、これは彼らが問題を解決しようとしているという事実に対する信頼を何ら高めるものではない」
ディン氏は、両報告書でAIがどの程度利用されていたとしても、「報告書と、これから発表されるであろう決定に対する信頼を損なう」と述べた。
6月、デロイトは州政府から、州内の看護資源のコア人員配置レビューを実施するよう選定された。レビューは春に実施される予定だ。
11月22日現在、保健人材計画は、AIの利用について開示されていないまま、ニューファンドランド・ラブラドール州政府のウェブサイトに掲載されたままとなっている。