AIインシデントデータベースにようこそ
インシデント 1307: Grok AI Reportedly Generated Fabricated Civilian Hero Identity During Bondi Beach Shooting
“AIとソーシャルメディアが拡散したボンダイ襲撃事件の5つの偽情報”最新のインシデントレポート
銃撃事件が終わるや否や、インターネットの片隅で偽情報が拡散し始め、オルタナティブ・ファクト(別の事実)に支配された。
X(旧Twitter)の人工知能プラットフォーム「Grok」によると、エドワード・クラブトリーという男が、命をかけて襲撃犯の一人を武装解除した英雄だったという。クラブトリーには人生の物語さえあった。問題は、それが完全なフィクションだったことだ。
また、シドニー各地で同時多発的に他の襲撃事件も発生していたとされ、さらなる恐怖とパラノイアを煽っていた。
「事実があまりない場合は、入手可能な情報で埋め尽くされてしまう。そして、最初の情報の質が非常に低い場合が多い」と、クイーンズランド大学の誤報・偽情報専門家、アン・クルーガー博士は述べた。
「逸話が複数形になったからといって、それが事実になることはない。ソーシャルメディアを通じた情報のロンダリング(洗浄)も同じだ。」
「フェイクニュース」という言葉はドナルド・トランプによって普及したかもしれないが、誤情報は新しいものではない。しかし、人々が最新情報を求めてソーシャルメディアやAIプラットフォームに頼るようになった今、これは大きな懸念事項となっている。
「信頼できる情報源からの報道を待つよりも、偽情報を作る方がはるかに簡単だ」と、オーストラリア戦略政策研究所のアナリスト、ネイサン・ルーサー氏は述べた。「信じられそうな話は、現実よりもはるかに早く広まってしまう可能性がある」。
日曜の夜、象徴的なボンダイビーチの隣でハヌカの行事で銃撃犯2人が銃を乱射、インターネット上では多くの偽情報が飛び交った。
そのうちの5つを紹介しよう。
- エドワード・クラブトリー
襲撃が終わるとすぐに、本物らしき記事が拡散し始めた。それは43歳のIT専門家とみられるクラブトリー氏へのインタビューだった。 「 何も考えず、ただ行動しただけだ」と、クラブトリー氏は病院のベッドで語ったと伝えられている。
しかし、若者向けニュースサイト「The Daily Aus」とは一切関係のない「thedailyaus.world」というウェブサイトは、日曜日にアイスランド在住(あるいは在住を装う)のユーザーによって登録された。(「The Daily Aus」の創設者サム・コスロウスキー氏とザラ・セイドラー氏は、読者から偽ニュースサイトの存在を知らされたと述べている。)
しかし、真実は、命を危険にさらして銃撃犯の一人に襲いかかり、銃を奪った男は、サザーランド・シャイア出身の父親であるアハメド・アル・アハメド氏であることが明らかになったことだ。彼はその勇敢な行動で2発の銃弾を受けた。
ヘッジファンドマネージャーのビル・アックマン氏はこの誤情報を非難し、この虚偽の情報がいかに広まったかを明らかにしている。 「英雄はエドワード・クラブツリーという男だったという他の報道は誤りだと聞いている」とアックマン氏はXに書いた。
イスラエルのベンヤミン・ネタニヤフ首相も当初、ジャーナリストに対し、銃撃犯の手から銃を奪い取ったのはユダヤ人の傍観者だったと説明していたが、これは誤りだったとタイムズ・オブ・イスラエル紙は報じている。
- その他の攻撃
最初の発砲から数分後、ボンダイでの攻撃が、近隣のドーバー・ハイツやダブル・ベイを含む東部郊外の他の場所での一連の協調攻撃の始まりであるという投稿が広まり始めた。
目撃証言、写真による証拠、あるいは裏付けはなかった。しかし、銃声を聞いたとされる目撃者や、さらなる攻撃の計画を知っていると主張する投稿が広まった。ドーバー・ハイツのダドリー・ページ保護区で行われた別の「海辺のハヌカ」イベントも封鎖され、シドニー全域で恐怖とパラノイアが高まった。
虚偽の情報がこれほど広範囲かつ急速に広まったため、ニューサウスウェールズ州警察はソーシャルメディアで声明を発表せざるを得ませんでした。「ドーバー・ハイツで事件が発生したという報告は一切ありません。未確認の噂は拡散しないでください」とニューサウスウェールズ州警察は声明を発表しました。
- イスラエル国防軍、イラン、パレスチナとのつながり
ナヴィード・アクラム容疑者が銃撃犯2人のうちの1人であることが確認される前に、彼の運転免許証がソーシャルメディア上に投稿され、身元に関する事実とされる情報が添付されていました。この情報は、イスラエルによるガザ紛争の双方の側の人々によって武器として利用されました。
最も拡散した投稿の中には、彼がイスラエル国防軍の元兵士で、ガザ駐留後に正気を失ったという全くの虚偽の主張や、彼がモサドの工作員であり、これは何らかの「偽旗作戦」によるものだという主張もありました。「偽旗作戦」とは、事件が犯人ではない人物またはグループによって実行されたように見せかける作戦を指します。
アクラム氏がイスラマバード大学で学び、イランが攻撃の実行を依頼したという虚偽の主張もありました。
アクラム氏の名前が公表された際、2人目の銃撃犯の身元についても、パレスチナ系レバノン国籍の無関係な人物の名前を挙げた誤報が出ましたが、いずれも事実無根でした。
- 犯人不明
日曜日の夜遅く、シドニー在住のナビード・アクラムという別の男性が、メディアやソーシャルメディアに対し、攻撃への関与を公表しないよう訴える2本の動画を投稿しました。
このナビード・アクラム氏はパキスタン出身のIT専門家で、2018年にオーストラリアに移住しました。FacebookとLinkedInの公開アカウントを持っていたため、クリケット観戦中の写真や職歴がインターネット上に拡散しました。
このアクラム氏が攻撃を実行したという主張は、インド戦略研究フォーラムを含むインド拠点のアカウントによって大々的に宣伝され、急速に広まりました。この事件は、米国のCBSニュースなど、一部の従来型プラットフォームでも取り上げられました。
ソーシャルメディアの台頭以来、犯罪の犯人を誤認することは過去10年間で常態化しています。今年初め、シドニー在住のベンジャミン・コーエン氏は、セブン・ネットワークの番組「サンライズ」が、4月にボンダイ・ジャンクションで起きた刺傷事件でコーエン氏が6人を殺害したと虚偽の報道をしたとして、同社を提訴しました。
- 花火大会
この悲劇を利用してシドニー全土の緊張を煽る者もいました。事件後、シドニー西部で花火が打ち上げられる動画がX、Facebook、Redditで拡散されました。その中には、右翼コンテンツクリエイターのドリュー・パブロウ氏が「イスラム教徒がシドニー西部バンクスタウンで祝賀花火を打ち上げたとの報道」と題した投稿(現在は削除)も含まれていました。
日曜日の夜、シドニー西部では花火が打ち上げられましたが、ボンダイ・ジャンクションでの惨劇とは全く関係がありませんでした。代わりに、彼らは偶然同時期に予定されていたパドストウの毎年恒例の「キャロル・バイ・キャンドルライト」イベントを祝う予定だった。
誤報や偽情報の拡散における人工知能の役割は、今後数日、数週間のうちに徹底的に検証されるだろう。しかし、AIとソーシャルメディアはボンダイビーチ攻撃において、栄光に浴したわけではない。
「最大の問題は、AIが誤情報の拡散と作成の摩擦を軽減した点だ」とルーサー氏は述べた。
クルーガー氏はさらに、「ソーシャルメディアは我々対彼らという構図を作り出してしまう。本当にひどい状況では、ニュアンスを織り込む余地はない。ソーシャルメディアは人々をどちらかの側に引き寄せる完璧な培養皿のようなものだ」と付け加えた。
インシデント 1309: Springer Nature Book 'Social, Ethical and Legal Aspects of Generative AI: Tools, Techniques and Systems' Reportedly Published With Numerous Purportedly Fabricated or Unverifiable Citations
“AI倫理ガイドに「偽の」引用が見つかり、出版社が非難を浴びる”
世界最大級の学術出版社が、人工知能研究の倫理に関する書籍を販売している。この本には、存在しない学術雑誌への言及など、偽の引用が散見される。
学術出版は最近、AIを用いて作成された偽造論文を、高い基準を保証するために設計された査読プロセスを通過した論文として受け入れているとして批判にさらされている。
タイムズ紙は、ドイツとイギリスの出版大手シュプリンガー・ネイチャーが最近出版した書籍に、捏造されたとみられる引用が数十件含まれていることを発見した。これは、多くの場合、AIによって生成された資料であることを示す兆候である。
本書「生成AIの社会的、倫理的、法的側面」は、この技術がもたらす倫理的ジレンマに関する権威あるレビューとして宣伝されており、125ポンドで販売されている。少なくとも2つの章に、捏造されたとみられる科学論文を引用した脚注が含まれている。
ある章では、11件の引用のうち8件が検証できず、70%以上が捏造された可能性があることが示唆されています。
学術界では、本物の学術論文を模倣しようとするAIツールによって引用文献、さらには研究論文全体が生成されることへの懸念が高まっています。
4月、シュプリンガー・ネイチャーは、多数の虚偽の参考文献が含まれていることが判明したテクノロジー関連の書籍「Mastering Machine Learning: From Basics to Advanced」を撤回しました。
タイムズ紙が分析した最近の書籍では、ある引用文献が「ハーバードAIジャーナル」に掲載された論文を参照していると主張していました。ハーバード・ビジネス・レビューは、そのようなジャーナルは存在しないと述べています。
トゥールーズ大学のコンピュータサイエンス准教授であり、偽造学術論文の検出の専門家であるギヨーム・カバナック氏は、捏造された参考文献を識別するツールであるBibCheckを用いて2つの章を分析しました。
彼は、第1章の引用21件のうち少なくとも11件が既知の学術論文と一致しないことを発見した。また、分析によると、第4章の引用11件のうち8件は追跡不可能だったことが示唆された。
「これは研究不正行為、すなわち参考文献の偽造と捏造です」とカバナック氏は述べた。彼はこうした事例を追跡しており、学術文献全体でAIによる「幻覚的」な引用が着実に増加しているのを目の当たりにしてきたという。
彼はさらに、「研究者は以前に発表された研究に依拠することで知識を構築します。(中略)これらの研究が脆弱であったり、不完全であったりすると、その上に確固たるものを構築することはできません」と述べた。
ニューメキシコ州立大学のネイサン・キャンプ博士による別のレビューでも同様の結論に達した。AIによる偽造引用の増加を研究してきたキャ ンプ博士は、AI倫理に関する書籍の中に、多数の誤り、不一致、あるいは完全に捏造された参考文献を発見した。
場合によっては、異なる本物の論文の詳細が組み合わされているように見えた。残りの6章は正確であるように見えました。各章は異なる著者によって執筆されています。
キャンプ氏は、「使用されている引用がAIによって生成されたものかどうかを明確に判断することは困難ですが、せいぜい誤りであることは間違いありません。おそらく捏造されたものであり、引用を捏造する最も簡単な方法はAIを使うことです」と述べています。
シュプリンガー・ネイチャーの応用科学書籍担当副社長、ジェームズ・フィンレイ氏は、「私たちは、出版されたコンテンツの誠実性に関するあらゆる懸念を真剣に受け止めています。専門の研究誠実性チームがこの件を優先的に調査しています」と述べています。
さらに、「私たちの誠実性チームは編集者と協力し、専門知識と検出ツールを用いて基準を維持し、誠実性に関する問題を事前に把握しています。しかし、少数の誤りが見落とされる可能性もあります」と付け加えました。
インシデント 1310: Canada Revenue Agency (CRA) AI Chatbot 'Charlie' Reportedly Gave Incorrect Tax Filing Guidance at Scale
“CRAは不正確な情報を吐き出すAIチャットボットに対して納税者に1800万ドル以上を請求した”
カナダ歳入庁(CRA)は、納税申告をしようとするカナダ国民に誤った情報を繰り返し提供していた「AI」チャットボットに、約2,000万ドルの納税者負担を費やしました。
CRAのAIツール「チャーリー・ザ・チャットボット」(https://www.canada.ca/en/revenue-agency/news/newsroom/tax-tips/tax-tips-2023/did-you-know-business-services-make-it-faster-easier-for-tax-obligations.html)は、監査総監カレン・ホーガン氏のチームによるテストで、約44%の精度を示しました。
このソフトウェア機能は、2020年に当時の歳入大臣ダイアン・ルブティリエ氏によって発表され、納税者に1,800万ドル以上の負担がかかると予想されていました。
月曜日に議会に提出された文書によると、1,367万ドルは、従業員の福利厚生費や旅費に加えて、プロジェクトの関係者の給与に充てられました。さらに321万ドルが、プロジェクトのITコンサルタントに支出されました。
CRAは、このチャットボットがまだCRAについて「学習中」であり、「ユーザーが質問することで、より知識が深まり、対話型になる」と警告していました。
「チャーリーのおかげで、所得税と給付金の申告に必要な情報を入手しやすくなります!」[[2020年にCARAに報告](https://www.canada.ca/en/revenue-agency/news/newsroom/tax-tips/tax-tips-2020/tax-filing-season.html] 。
しかし、ホーガン氏の報告書によると、現在もCRAの13のウェブページで利用可能なこのソフトウェアは、依然として正確とは程遠いとのことです。
「チャーリー氏の回答は簡潔で、提供される文脈も追加情報もほとんどありませんでした」と、10月に公開されたCAの報告書[[2025年10月公開](https://www.oag-bvg.gc.ca/internet/docs/parl_oag_202510_01_e.pdf]]には記されています。 「チャーリーは、私たちが尋ねた6つの質問のうち2つしか正確に答えなかったのに対し、他の公開されているウェブベースの会話型人工知能ツールは6つのうち5つの質問に正確に答えました。」
CRAによると、チャーリーの導入以来、人々は700万回以上の「会話」を行い、1800万回以上の質問をしてきました。
それでも、このチャットボットの「精度閾値」は最近70%と記録されており、未リリースの新バージョンは先月「約90%」に達しました。
しかし、CRAは「生成型人工知能チャットボットが正しく答えた質問の正確な数は、すべてのやり取りの記録を包括的に検討しなければ正確には判断できない」と述べています。
CRA(カナダ歳入庁)は木曜日に「100日間サービス改善計画」の結果を公表し、11月にはチャットボット「チャーリー」の利用者の70%が「目標」を達成したと報告しました。
報告書ではまた、CRA全体の対応力が秋の間にほぼ倍増したことも指摘されています。これは、1,200人以上のコールセンター従業員の再雇用または契約延長が一因となっています。
インシデント 1311: Peppermill Casino Facial Recognition System Reportedly Misidentified Individual, Leading to Wrongful Arrest in Reno
“ペッパーミル・リノの顔認識技術が不当逮捕につながる”
裁判所の書類によると、2023年9月にリノのペッパーミル・カジノに立ち寄った長距離トラック運転手は、カジノのAI顔認識技術によって地元の不良と誤認され、その夜は悪夢と化した。
システムは、ジェイソン・キリンジャーを、数ヶ月前にカジノ内で寝泊まりしたとして86(86歳)の罰金刑を受けた男性として認識した。キリンジャーの顔は、裁判所の文書では「M.E.」とのみ特定されている、出入り禁止処分を受けた人物と「100%一致」した。
キリンジャーはカジノの警備員に拘束され、その後、リノ市警察の新人警官に逮捕された。訴状ではR・イェーガーと名乗るこの警官は、キリンジャーが身元を証明する証拠を提示したにもかかわらず、彼の言葉を信じようとせず、偽造IDを取得したとして非難した。
ネバダ州連邦地方裁判所に提起された不当逮捕訴訟によると、このトラック運転手は11時間拘留された。訴状によると、そのうち4時間は手錠をかけられ、あざや肩の痛みを負ったという。
キリンジャーは最終的に、指紋鑑定によって評判の低い自分のそっくりさんではないことが確認され、釈放された。
「虚偽の陳述」
原告は既にペッパーミル・カジノを相手取って訴訟を起こしており、金額は非公開で和解している。今回、原告はイェーガーを訴え、証拠の捏造と悪意ある訴追を行ったとして告訴している。
キリンジャー氏は、イェーガー氏が事件報告書と逮捕状の両方に「故意に虚偽の記述を挿入した」と主張している。具体的には、彼の身分証明書が矛盾しており、そのうちの1つ、あるいは複数の身分証明書が「偽造されているように見える」と主張している。
原告は、氏名と一致する身体的特徴が記載された有効なネバダ州運転免許証、UPS給与明細書、車両登録証を所持していたにもかかわらず、このような状況に陥った。
訴状によると、これは「意図的な偽造」であり、「相当な理由を捏造する」ことを意図していたという。カジノ側の主張とキリンジャー氏の書類に矛盾があることに警官が気づいた後、この行為は「相当な理由を捏造する」ことを意図したものだった。
訴状によると、イェーガー氏は上司に対し、キリンジャー氏は「おそらくDMV(自動車運転免許センター)に関係している」と述べ、偽造身分証明書を入手できることを示唆したが、この主張を裏付ける証拠はなかった。
隠蔽による捏造
キリンジャー氏は、イェーガー氏の行為が憲法修正第14条に基づく適正手続きを受ける権利を侵害したと主張している。彼はまた、イェーガーの報告書が指紋による無罪判決を省略し、キリンジャーが非協力的で矛盾する身元を使用していると虚偽の記述をしていると主張している。これらの省略は隠蔽による捏造に相当すると訴状は主張している。
訴状は、損害賠償、特別損害賠償、懲罰的損害賠償を求めているが、金額は明示されていない。
インシデント 1306: Florida Couple Reportedly Loses $45,000 in Alleged AI-Generated Elon Musk Impersonation Scam
“イーロン・マスクのプレゼント企画でフロリダの夫婦から4万5000ドルが盗まれる”
フロリダ州リースバーグ - リースバーグ在住の夫婦は、億万長者のイーロン・マスク氏から車をプレゼントされたとされる詐欺で、数万ドルを失った。
ジョージ・ヘンドリックスさん(69歳)は、詐欺によって4万5000ドル近くを失い、自宅と39年間連れ添った妻を失う可能性があったため、もはや自分の人生は「存在しない」と語る。
「妻は離婚したがっている」とヘンドリックス氏は語った。詐欺のせいかと聞かれると、「そうだ」と答えた。
この詐欺は、オンライン上に数多く存在するイーロン・マスク氏の車プレゼントグループの一つ、Facebookにヘンドリックス氏がコメントを投稿したことから始まった。
イーロン・マスク氏 がこの詐欺に正当性を与えたとヘンドリックス氏は語った。
その後、ヘンドリックス氏はFacebookで、10万ドルと新車が当たったことを祝福するメッセージを受け取った。
詐欺師たちは、暗号化されたプライベート通信のため、犯罪者によく利用されている無料メッセージアプリ「WhatsApp」に切り替えるようヘンドリックス氏に勧めました。
その後、ヘンドリックス氏はマスク氏本人からのものだと信じた個人ビデオメッセージを受け取り、賞品パッケージの配送を約束しました。
しかし、車の配送には7,500ドルの現金が必要だと告げられました。ヘンドリックス氏は現金の写真を撮り、送金しました。
その後すぐに、1万ドルの投資で12万ドルの利益が得られるという投資機会が提示されました。
ヘンドリックス氏が疑念を抱くと、別のビデオメッセージが届きました。「私はあなたやあなたの資金を決して利用しません。心から私を信頼してください。私に悪意はありません。神のみぞ知る」
詐欺師たちはヘンドリックス氏と何百ものメッセージをやり取りし、ヘンドリックス氏は最終的に銀行口座の残高を使い果たし、クレジットカードの限度額を使い果たし、さらに約37,000ドルを送金しました。
支払いも車も届かなかったため、ヘンドリックス氏はリースバーグ警察に被害届を提出した。
ヘンドリックス氏だけではありません。今年、AARP(全米退職者協会)は、マスク氏の画像を使った広告で被害者の貯蓄を詐取した事件について報じました。
サイバーセキュリティ企業ThreatLockerのセキュリティ対策責任者、キエラン・ヒューマン氏はこう述べています。
「ディープフェイク動画とは、誰かのように見えるように作られているものの、実際にはそうではない動画のことです」とヒューマン氏は言います。
ヒューマン氏によると、ディープフェイク動画の制作は全く難しくなく、数分で作成できるとのことです。
「30秒、60秒の(誰かが話している)クリップがあれば、動画を作ることができます」とヒューマン氏は言います。
ヒューマン氏によると、動画では体や首が動いていないこと、息を吸う時でさえ顔だけが動くことなど、注意すべき兆候があるとのこと。
しかし、AIが進化するにつれて、ディープフェイク動画も進化していくでしょう。
「人々が動画に呼吸音を加えるようになるのは時間の問題で、人々はもっと注意を払う必要がある」とヒューマンは警告した。
「こういうことはしょっちゅう起きているのは分かっている。ただ、自分がそうなるとは思わないだけだ」とヘンドリックスは言った。
新しいレポートのURLをすばやく追加

Researching AI Incidents to Build a Safer Future: The Digital Safety Research Institute partners with the Responsible AI Collaborative
By TheCollab Board of Directors
2024-02-20
The Digital Safety Research Institute (DSRI) of UL Research Institutes is partnering with the Responsible AI Collaborative (TheCollab) to ad...
インシデントレポート投稿ランキング
インシデントレポートの作成や投稿に貢献した人や組織です。詳細についてはランキングページを参照してください。
AIインシデントブリーフィング

Create an account to subscribe to new incident notifications and other updates.






