AIインシデントデータベース

にようこそ

「刺激的なAIチャット」を謳うプラットフォームが、約200万枚の写真と動画を公開した。その多くは一般人のものだったと404 Mediaの報道。

404 Mediaによると、エロティックなチャットボット兼AI画像生成ツールであるSecret Desiresは、写真、女性の名前、勤務先や大学などの個人情報が保存されたクラウドストレージコンテナを無防備な状態にしたという。

この「大規模流出」は、生成AIツールを用いて無害な写真を合意のない露骨なディープフェイクに変換する最新の事例である。

写真や動画の中には、実在のインフルエンサー、著名人、そして無名の女性から撮影されたものもあった。後者には、Snapchatのスクリーンショットや少なくとも1枚の卒業アルバムの写真が含まれている。公開されたメディアの中には、現在では廃止された「フェイススワップ」機能で作成されたものなど、ユーザーが作成したAI画像が含まれていました。この機能は、Secret Desiresが今年初めに削除しました。

Character.AI やReplikaと同様に、Secret DesiresではユーザーがAIペルソナを作成し、チャットすることができます。 Character.AIではポルノコンテンツは許可されていません（一部のReplikaユーザーのみ許可されています）が、Secret Desiresはクイックスタートガイドで「無限の親密さとつながりを提供する」と述べています。

404 Mediaの調査によると、脆弱なストレージコンテナで見つかったAI生成メディアは、ほとんどが露骨な内容でした。ファイル名の一部には「17歳」などの用語が含まれていました。

同社は404 Mediaのコメント要請に応じなかったが、ファイルへのアクセスは同メディアが連絡してから約1時間後に停止した。

長年にわたり、女性や少女たちはAI生成コンテンツである露骨なディープフェイクの被害者となってきた。多くのディープフェイクは、ポルノ動画に女性の肖像を「顔スワップ」したものである。これはテイラー・スウィフトのような有名人だけでなく、有名でない女性にも当てはまる。少女にも同様のことが起こり、オンライン児童性的虐待コンテンツが生み出されている。

今年、議会はディープフェイク画像に対抗するため、Take It Down Actを可決しました。この法律は物議を醸し、複数の言論の自由擁護団体が、合意に基づく露骨なコンテンツや政治的発言に対して武器として利用できると主張しています。

「ファントムハッカー」詐欺として知られる新たなサイバー犯罪の波は、わずか1年で世界中の高齢者（主に米国）から8,350クローレ（10億米ドル）以上を盗み出しました。犯罪者はテクニカルサポート担当者、銀行職員、政府捜査官になりすまし、被害者に銀行口座やデバイスがハッキングされたと信じ込ませます。

この詐欺は3つの巧妙な段階で展開されます。まず、詐欺師は偽のセキュリティ警告やマルウェア感染や不審な活動を主張するポップアップで恐怖心を煽ります。次に、保護のためだと偽ってリモートアクセスソフトウェアをインストールするよう被害者に圧力をかけますが、実際には被害者のデバイスを完全に制御します。最後に、詐欺師は政府の「救助隊」を装い、銀行自体が不正アクセスを受けていると警告し、被害者にいわゆる「安全口座」に送金するよう指示します。この口座は詐欺師が完全に管理しています。

被害者のほとんどは60歳以上の高齢者で、デジタルリテラシーが限られている場合が多く、脅迫や迅速な意思決定の罠に陥りやすい状況にあります。AIの活用により、この詐欺の規模は劇的に拡大しています。音声複製、発信者番号のなりすまし、リアルなディープフェイク文書などにより、詐欺は正規の通信とほぼ区別がつかなくなっています。報告によると、過去1年間でAIを利用した詐欺は600%増加しています。

サイバー犯罪の専門家であるトリベニ・シン教授は、現代の犯罪者はシステムではなく「人間の信頼と感情」を標的にしていると警告しています。シン教授は、正当な機関が電話やメールでリモートアクセスや送金を求めることは決してないことを強調し、疑わしい通信は公式チャネルを通じて直接確認するよう人々に促しています。

ファントムハッカー詐欺は、技術の進歩が最も脆弱な人々を欺くためにいかに武器化されているかを浮き彫りにしています。こうした進化する脅威に対する最強の防御策は、依然として、認識、デジタルリテラシー、そして迅速な報告です。

AIID編集者注：動画レポートの原文をご覧ください。

ダグ・ロイド氏とビクトリア・ロイド氏は、イーロン・マスク氏のディープフェイク動画を悪用した投資詐欺で17万7000ドルの損失を被りました。オンタリオ州東部の夫婦は、AIIDの「詐欺を見抜く」シリーズの一環として、自らの体験を語ります。一方、オンタリオ州警察（OPP）は、詐欺を防ぐためのパスワードと顔認証に関するヒントを提供しています。CTVのキンバリー・ジョンソンがレポートします。

ある本の表紙には、緑色の目をした猫が人間のような歯をむき出しにしている。別の本の表紙には、黄色い貨物列車の上空を舞う天使が描かれている。

ニュージーランド最大級の文学コンテストに応募されたこれらの本の著者たちは、作品がAIを用いて作成されたことを知らなかった。しかし、先週、AI生成素材に関するコンテストの新ルールに違反していたとして失格処分を受けた際に、その事実を知った。

表紙をデザインしたスタジオは、AIは創作プロセスの一部だと擁護した。一方、フィクション作品を出版した独立系出版社は、コンテスト「2026年オッカム・ニュージーランド・ブック・アワード」が、出版社に対しAIに関する新ルールを遵守するのに十分な時間を与えなかったと述べた。

出版社のクエンティン・ウィルソン氏は火曜日のメールで、今回の出来事は、執筆活動にAIを使用していない2人の著者にとって「胸が張り裂ける思い」であり、本の制作に尽力した制作チームとデザインチームにとっても心を痛めるものだと述べた。 AIの急速な台頭は出版業界を「未知の領域」へと突き落としていると、ウィルソン氏は付け加えた。

「業界として、このような事態が二度と起こらないよう、私たちは協力して取り組まなければならない」とウィルソン氏は述べた。

オーストラリアのニューサウスウェールズ大学で芸術、テクノロジー、創造性の交差点を研究するオリバー・ボーン教授は、今回の出来事は、クリエイティブ業界がAI生成コンテンツに関する公正かつ合理的なルールを確立しようと試みる中で、多くの「混乱の最前線」の一つに過ぎないと指摘した。

ボーン教授は、変化があまりにも速いため、必然的に新しい規制が急いで策定・周知されてしまうことが問題だと指摘した。

今回の失格により、ウィルソン氏の著者による2冊の本、ステファニー・ジョンソンの短編集『Obligate Carnivore』とエリザベス・スミザーの4つの連作小説『Angel Train』は、約3万6000ドルのフィクション賞を争うことができない。

この賞は、ニュージーランドで最も権威のある文学賞の一つとされています。主催者であるニュージーランド・ブック・アワード・トラストは、同様のルールを持つ他の国際的な図書賞に合わせるため、AIに関する規定を導入したと述べています。

同トラストは声明の中で、「Obligate Carnivore」と「Angel Train」の表紙は書店によってフラグが立てられたと述べています。出版社とデザイナーと協議した結果、トラストはイラストがAIで作成されたことを確認しました。

しかしウィルソン氏は、コンテストのAIに関する規定が8月に発表されたため、出版社が10月の締め切りまでに修正を加えるには遅すぎたと述べています。両作品とも11月に出版されました。

表紙を制作したニュージーランドの会社、シュガーキューブ・スタジオのデザイナーたちは声明の中で、AIは「創造性の代替ではなく、私たちの技術の自然な延長であり、アイデアを探求し、プロセスを向上させる新しい方法だと考えている」と述べています。

2022年度ニュージーランド首相文学賞（https://creativenz.govt.nz/funding-and-support/results/award-winners/prime-ministers-awards-for-literary-achievement）を受賞したジョンソン氏は、メールで、自身の作品にAIを使ったことはなく、今後も使うつもりはないと述べた。出版業界への影響を懸念しており、AI規制が急務だと考えていると述べた。

「世界中のクリエイティブな分野で働く人々は皆、AIの台頭を懸念しています。ですから、オッカム・ニュージーランド・ブック・アワードの審査員が一線を画さざるを得なかったことは、全く理解できます」とジョンソン氏は付け加えた。

2018年度オッカム・ニュージーランド・ブック・アワードの詩部門を受賞したスミザー氏は、『エンジェル・トレイン』の表紙がAIで生成されたとは知らなかったと述べた。彼女は、出版社やデザイナーの誠実さを疑ってはいないと語った。

「本と表紙は同じではありません」と彼女は言った。「表紙がなくても、それは本であり、まず本が重要です。」

ミュンヘンの裁判所は、OpenAIのチャットボットChatGPTが、人気ミュージシャンのヒット曲を言語モデルの学習に利用したことでドイツの著作権法に違反したとの判決を下しました。クリエイティブ業界の擁護者たちは、この判決を欧州における画期的な判決と評しています。

ミュンヘン地方裁判所は、ドイツの音楽著作権管理団体GEMAの主張を支持しました。GEMAは、ChatGPTが人気アーティストの保護対象の歌詞を収集し、「学習」していたと主張しています。

作曲家、作詞家、音楽出版社の著作権を管理し、約10万人の会員を擁する著作権管理団体GEMAは、2024年11月にOpenAIを相手取って訴訟を起こしました。

この訴訟は、AIによる創作物のスクレイピングを阻止するためのキャンペーンにおける、欧州における重要なテストケースと見られていました。OpenAIはこの判決に対して控訴することができます。

ChatGPTは、ユーザーがチャットボットに質問したりコマンドを入力したりすることを可能にし、チャットボットは人間の言語パターンに似たテキストで応答します。ChatGPTの基盤となるモデルは、広く利用可能なデータでトレーニングされています。

この訴訟は、ChatGPTが言語能力を磨くために使用した、ここ数十年で最も有名なドイツのヒット曲9曲をめぐるものでした。

その中には、ヘルベルト・グレーネマイヤーの1984年のシンセポップで男性らしさを風刺した「Männer（男たち）」や、2014年サッカーワールドカップでドイツ代表の非公式アンセムとなったヘレーネ・フィッシャーの「*Atemlos *Durch die Nacht（息もつかせぬ夜を）」などが含まれていました。

裁判長は、OpenAIに対し、著作権で保護された素材を許可なく使用したとして、未公開の損害賠償金の支払いを命じました。

GEMAの法律顧問カイ・ウェルプ氏は、同団体が現在、OpenAIと権利保有者への補償方法について交渉を進めていると述べた。

ミュンヘン裁判所によると、サンフランシスコに拠点を置くOpenAIは、サム・アルトマン氏やイーロン・マスク氏らが創業者を務めており、同社の言語学習モデルは特定の楽曲を保存または複製するのではなく、学習用データセット全体を吸収していると主張していた。

OpenAIは、チャットボットの出力はユーザーの指示に基づいて生成されるため、法的責任を負うべきはユーザーであると主張したが、裁判所はこの主張を退けた。

GEMAはこの判決を「欧州における初の画期的なAI判決」として歓迎し、他の種類の創作活動にも影響を与える可能性があると述べた。

GEMAの最高経営責任者（CEO）トビアス・ホルツミュラー氏は、この判決は「インターネットはセルフサービス型の店舗ではなく、人間の創作活動は無料のテンプレートではない」ことを証明したと述べた。

「本日、私たちは著作者の権利を保護し、明確化する前例を確立しました。ChatGPTのようなAIツールの運営者であっても著作権法を遵守しなければなりません。本日、私たちは音楽クリエイターの生活を守ることに成功しました。」

GEMAを代理したベルリンの法律事務所Raueは声明の中で、今回の判決は「創作物の保護にとって重要な前例となり、世界のテクノロジー業界に明確なメッセージを送る」と同時に、「欧州全域のクリエイター、音楽出版社、プラットフォームにとって法的確実性」を創出するものだと述べました。

Raueは、この判決は「先例としてドイツ国内にとどまらず、はるかに大きな影響を与える可能性が高い」と述べています。

ドイツジャーナリスト協会も、この判決を「著作権法における画期的な勝利」と称賛しました。

OpenAIは声明で、控訴を検討すると述べました。「私たちは判決に異議を唱え、今後の対応を検討しています」とOpenAIは述べています。「この判決は一部の歌詞に関するものであり、私たちの技術を日々利用しているドイツの何百万人もの人々、企業、開発者には影響しません。」

さらに、「私たちはクリエイターやコンテンツ所有者の権利を尊重し、世界中の多くの組織と建設的な対話を重ねています。そうすることで、彼らもこの技術の可能性から恩恵を受けることができるのです」と付け加えた。

OpenAIは、米国で著者やメディア団体から、ChatGPTが許可なく自分たちの作品に基づいて学習されたと主張する訴訟に直面している。