Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる

レポート 4035

関連インシデント

インシデント 7777 Report
South Korea Experiences a Surge of Explicit Deepfake Pornography

Loading...
韓国の学校を巻き込むディープフェイクポルノ危機の内幕
bbc.com · 2024

先週の土曜日、匿名の送信者からテレグラムのメッセージがヒジンの携帯に届いた。「あなたの写真と個人情報が漏洩しました。話し合いましょう。」

この大学生がチャットルームに入ってメッセージを読むと、数年前に学生時代に撮影された自分の写真が届いた。その後、同じ写真を使った2枚目の画像が届いたが、こちらは性的に露骨で偽物だった。

ヒジン(本名ではない)は恐怖に駆られ、返信しなかったが、画像は次々と送られてきた。そのすべてで、彼女の顔が、高度なディープフェイク技術を使って性行為をしている体に貼り付けられていた。

ディープフェイクは、その多くが実在の人物の顔と偽の性的に露骨な体を組み合わせたもので、人工知能を使って生成されることが増えている。

「私は恐怖で凍りつき、とても孤独を感じました」とヒジンはBBCに語った。

しかし、彼女は一人ではなかった。

その2日前、韓国人ジャーナリストのコ・ナリンが、彼女のキャリアで最大のスクープとなる記事を発表していた。最近、警察が郡内の主要大学2校でディープフェイクポルノ組織を捜査していることが明らかになり、コ氏は他にもあるはずだと確信した。

彼女はソーシャルメディアを検索し始め、メッセージングアプリ「テレグラム」で数十のチャットグループを発見した。そこではユーザーが知り合いの女性の写真を共有し、AIソフトウェアを使って数秒以内に偽のポルノ画像に変換していた。

「人々は毎分、知り合いの女の子の写真をアップロードし、ディープフェイクに変えるよう求めていた」とコ氏は語った。

コ氏は、これらのグループが大学生だけをターゲットにしているわけではないことを発見した。特定の高校や中学校専用の部屋もあった。特定の生徒の画像を使用して多くのコンテンツが作成された場合には、その生徒専用の部屋が与えられることもあった。「屈辱の部屋」や「友達の友達の部屋」と広く呼ばれるこれらの部屋は、厳しい入場条件が付いていることが多い。

ハンギョレ新聞のコ氏の報道は韓国に衝撃を与えた。月曜日、警察はテレグラムの捜査開始を検討していると発表した。フランス当局が最近テレグラムのロシア人創設者を同アプリ関連の罪で告発したのに倣ったものだ。政府は関係者にさらに厳しい処罰を課すと誓っており、大統領は若い男性にもっと教育を受けさせるよう呼びかけている。

テレグラムはBBCに提出した声明で、「違法ポルノを含むプラットフォーム上の有害コンテンツに積極的に対抗している」と述べた。

「体系的で組織的なプロセス」

BBCはこうしたチャットルームの説明をいくつか閲覧した。あるチャットルームでは、メンバーに名前、年齢、居住地域とともに4枚以上の人物写真を投稿するよう求めている。

「プロセスがいかに体系的で組織的であるかに衝撃を受けた」とコ氏は語った。「私が発見した最も恐ろしいことは、ある学校の未成年者グループに2,000人以上のメンバーがいたことだ」

コ氏の記事が掲載された数日後、女性の権利活動家らもテレグラムを徹底的に調べ、手がかりを追った。

その週の終わりまでに、500校以上の学校や大学が標的と特定された。被害を受けた実際の数はまだ確定していないが、その多くは韓国の同意年齢である16歳未満だと考えられている。容疑者の多くは10代の若者だ。

ヒジンさんは、危機の規模を知ったことで不安が増したと語り、自分のディープフェイクを何人の人が見たのか心配になったという。最初は自分を責めた。「写真をソーシャルメディアにアップロードしたからこんなことになったのか、もっと注意すべきだったのか、考えずにはいられませんでした」

全国で多数の女性や10代の若者が、次は自分たちが悪用されるかもしれないと恐れ、ソーシャルメディアから自分の写真を削除したり、アカウントを完全に停止したりした。

「何も悪いことをしていないのに、自分たちの行動やソーシャルメディアの使用を検閲しなければならないことに、私たちは不満と怒りを感じています」と、同級生が標的にされた大学生のアウンさんは語った。

アウンさんは、大学の被害者の1人が警察から、犯人を捕まえるのは難しすぎるので、事件を追及する必要はないと言われたと語り、「写真は偽物」なので「本当の犯罪ではない」と語った。

韓国人はディープフェイクスキャンダルが明るみに出てから、衝撃を受け、怒っている

このスキャンダルの中心にあるのは、メッセージングアプリのTelegramだ。このアプリは「軽い」モデレーション姿勢で知られており、何年もの間、コンテンツ、特にグループの監視が不十分だと非難されてきた。

これにより、Telegramは犯罪行為が蔓延する絶好の場所となっている。

先週、政治家と警察はこれらの犯罪を調査し、加害者を裁きにかけると約束し、強力に反応した。

ソウル警察庁は月曜日、児童の偽ポルノ画像の配布を可能にしたTelegramの役割について調査を検討すると発表した。

アプリの創設者であるパベル・デュロフは、児童ポルノの共有を可能にしたなど、アプリに関連する多くの犯罪に加担したとして先週フランスで起訴された。

しかし、女性の権利活動家は、韓国当局がTelegramでの性的虐待を長い間放置していると非難している。なぜなら、韓国は以前にもこの危機に直面したことがあるからだ。2019年には、売春組織がTelegramを使用して女性や子供に性的に露骨な画像を作成し共有するよう強要していたことが明らかになった。

当時、警察はTelegramに捜査の協力を求めたが、アプリは7つの要請をすべて無視した。首謀者は最終的に懲役40年以上の判決を受けたが、検閲を恐れてプラットフォームに対して何の措置も取られなかった。

「彼らは主犯に判決を下したが、それ以外は状況を無視しており、これが状況を悪化させたと思う」とコ氏は述べた。

このようなチャットグループはディープフェイク画像の作成を申し出ている。一番下のグループには「誰かを辱める(ディープフェイクする)よう要求すれば、そうします」と書かれている。

若い学生ジャーナリストとして2019年にNthルームのセックスリングを暴露したパク・ジヒョン氏は、それ以来デジタル性犯罪の被害者の政治的擁護者になっている。彼女によると、ディープフェイクスキャンダルが発覚して以来、生徒や保護者が1日に何度も泣きながら電話をかけてきたという。

「彼らはソーシャルメディアで共有されたリストに自分の学校が載っているのを見て、恐怖を感じています。」

パク氏は、韓国で政府にこのアプリを規制、あるいは禁止するよう求める声を先導している。 「これらのテクノロジー企業が法執行機関に協力しないのであれば、国家は国民を守るためにそれらを規制しなければならない」と彼女は語った。

この最新の危機が爆発する前から、韓国のオンライン性的虐待被害者支援センター(ACOSAV)は、ディープフェイクポルノの未成年被害者の数が急増していることに気づいていた。

2023年には、同センターは86人の10代の被害者にカウンセリングを行った。今年に入ってからわずか8か月で、その数は238人にまで跳ね上がった。過去1週間だけでも、さらに64人の10代の被害者が名乗り出ている。

センターのリーダーの1人、パク・ソンヘ氏は、過去1週間、スタッフは電話が殺到し、24時間体制で働いていると語った。「私たちにとっては、戦時中のような完全な緊急事態です」と彼女は語った。

「最新のディープフェイク技術により、以前よりもはるかに多くの映像が存在するようになり、それがさらに増えるのではないかと心配しています。」

同センターは被害者のカウンセリングだけでなく、有害なコンテンツを追跡し、オンラインプラットフォームと協力して削除に取り組んでいる。パク氏は、テレグラムが要請に応じてコンテンツを削除した例がいくつかあると述べた。「だから不可能ではない」と同氏は指摘した。

テレグラムは声明で、BBCに対し、同社のモデレーターは「アプリの公開部分を積極的に監視し、AIツールを使用し、ユーザーからの報告を受け入れて、テレグラムの利用規約に違反する何百万ものコンテンツを毎日削除している」と述べた。

女性権利団体は、新しいAI技術によって被害者の搾取が容易になっていることを認めているが、これは韓国でオンラインで繰り広げられている女性蔑視の最新の形にすぎないと主張している。

まず、女性はオンラインで暴言を浴びせられた。次に、公衆トイレや更衣室で密かに撮影されるスパイカメラの流行が起きた。

「この根本的な原因は構造的な性差別であり、解決策は男女平等だ」と、84の女性団体が署名した声明には記されている。

これは、構造的な性差別の存在を否定し、被害者支援団体への資金を削減し、政府の男女平等省を廃止している韓国のユン・ソクヨル大統領に対する直接的な批判だ。

若い性犯罪者を治療するイ・ミョンファ氏は、ディープフェイク虐待の発生は突然のように思えるかもしれないが、長い間水面下で潜んでいたことに同意した。「十代の若者にとって、ディープフェイクは文化の一部になっており、ゲームやいたずらとみなされています」と、Ahaソウル青少年文化センターを運営するこのカウンセラーは述べた。

イ氏は、犯罪者に正確に何を間違えたのかを伝えると、彼らは性的虐待とみなされるものについてより意識するようになり、再犯を防ぐという研究を引用し、若い男性を教育することが最も重要であると述べた。

一方、政府は、ディープフェイク画像を作成および共有する者に対する刑罰を強化し、ポルノを閲覧する者も処罰すると述べている。

これは、十分な数の犯罪者が処罰されていないという批判を受けてのことだ。問題の一つは、犯罪者の大半が10代の若者で、彼らは通常、より軽い刑罰を受ける少年裁判所で裁かれるということだ。

チャットルームが暴露されて以来、多くのチャットルームが閉鎖されたが、新しいチャットルームがそれに取って代わることはほぼ確実だ。この事件を報道するジャーナリストを標的とした屈辱ルームがすでに作られている。このニュースを報じたコさんは、このことで眠れない夜を過ごしたと語った。「自分の写真がアップロードされていないか、ルームを何度もチェックしています」と彼女は語った。

このような不安は、韓国の10代の少女や若い女性のほぼ全員に広がっている。大学生のアウンさんは、男性の知り合いを疑うようになったと語った。

「今では、知らないうちに誰かが私の背後でこうした犯罪を犯さないと確信できません」と彼女は語った。「人とのやり取りに過度に警戒するようになりましたが、これは良いことではありません」。

ホス・リーとスンウク・リーによる追加レポート

情報源を読む

リサーチ

  • “AIインシデント”の定義
  • “AIインシデントレスポンス”の定義
  • データベースのロードマップ
  • 関連研究
  • 全データベースのダウンロード

プロジェクトとコミュニティ

  • AIIDについて
  • コンタクトとフォロー
  • アプリと要約
  • エディタのためのガイド

インシデント

  • 全インシデントの一覧
  • フラグの立ったインシデント
  • 登録待ち一覧
  • クラスごとの表示
  • 分類法

2024 - AI Incident Database

  • 利用規約
  • プライバシーポリシー
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd