カナダ歳入庁（CRA）は、納税申告をしようとするカナダ国民に誤った情報を繰り返し提供していた「AI」チャットボットに、約2,000万ドルの納税者負担を費やしました。
CRAのAIツール「チャーリー・ザ・チャットボット」(https://www.canada.ca/en/revenue-agency/news/newsroom/tax-tips/tax-tips-2023/did-you-know-business-services-make-it-faster-easier-for-tax-obligations.html)は、監査総監カレン・ホーガン氏のチームによるテストで、約44%の精度を示しました。
このソフトウェア機能は、2020年に当時の歳入大臣ダイアン・ルブティリエ氏によって発表され、納税者に1,800万ドル以上の負担がかかると予想されていました。
月曜日に議会に提出された文書によると、1,367万ドルは、従業員の福利厚生費や旅費に加えて、プロジェクトの関係者の給与に充てられました。さらに321万ドルが、プロジェクトのITコンサルタントに支出されました。
CRAは、このチャットボットがまだCRAについて「学習中」であり、「ユーザーが質問することで、より知識が深まり、対話型になる」と警告していました。
「チャーリーのおかげで、所得税と給付金の申告に必要な情報を入手しやすくなります！」[[2020年にCARAに報告](https://www.canada.ca/en/revenue-agency/news/newsroom/tax-tips/tax-tips-2020/tax-filing-season.html] 。
しかし、ホーガン氏の報告書によると、現在もCRAの13のウェブページで利用可能なこのソフトウェアは、依然として正確とは程遠いとのことです。
「チャーリー氏の回答は簡潔で、提供される文脈も追加情報もほとんどありませんでした」と、10月に公開されたCAの報告書[[2025年10月公開](https://www.oag-bvg.gc.ca/internet/docs/parl_oag_202510_01_e.pdf]]には記されています。 「チャーリーは、私たちが尋ねた6つの質問のうち2つしか正確に答えなかったのに対し、他の公開されているウェブベースの会話型人工知能ツールは6つのうち5つの質問に正確に答えました。」
CRAによると、チャーリーの導入以来、人々は700万回以上の「会話」を行い、1800万回以上の質問をしてきました。
それでも、このチャットボットの「精度閾値」は最近70%と記録されており、未リリースの新バージョンは先月「約90%」に達しました。
しかし、CRAは「生成型人工知能チャットボットが正しく答えた質問の正確な数は、すべてのやり取りの記録を 包括的に検討しなければ正確には判断できない」と述べています。
CRA（カナダ歳入庁）は木曜日に「100日間サービス改善計画」の結果を公表し、11月にはチャットボット「チャーリー」の利用者の70%が「目標」を達成したと報告しました。
報告書ではまた、CRA全体の対応力が秋の間にほぼ倍増したことも指摘されています。これは、1,200人以上のコールセンター従業員の再雇用または契約延長が一因となっています。