サイバーセキュリティ研究者のジェレミア・ファウラー氏は、AI-NOMISのGenNomisに属する10万件弱のレコードを含む、パスワードで保護されていないデータベースを発見し、vpnMentorに報告しました。AI-NOMISは、フェイススワッピングや「ヌード化」アダルトコンテンツ、および画像を売買できるマーケットプレイスを提供する韓国のAI企業です。
公開されたデータベースは、パスワードで保護されておらず、暗号化もされていませんでした。そこには 93,485 枚の画像と .Json ファイルが含まれており、合計サイズは 47.8 GB でした。デー タベースの名前と内部ファイルから、韓国の AI 企業 GenNomis by AI-NOMIS のものであることがわかりました。公開されたレコードの限られたサンプルで、私は多数のポルノ画像を確認しました。その中には、非常に若い人の AI 生成による不快な描写と思われるものもありました。
データベースには、コマンド プロンプトと生成された画像へのリンクを記録した .Json ファイルも含まれていました。PII やユーザー データは確認できませんでしたが、これが AI 画像ジェネレーターの舞台裏を初めて見た瞬間でした。これは、このテクノロジがユーザーによって悪用される可能性があること、そして開発者が自分自身や他の人を保護するためにさらに努力する必要があることに対する警鐘でした。このデータ侵害は、制限のない画像生成の業界全体に関するより大規模な議論のきっかけとなりました。
私はすぐに GenNomis と AI-NOMIS に責任ある開示通知を送信し、データベースは一般公開が制限され、アクセスできなくなりました。通知に対する返信や確認は受け取っていません。記録は AI-NOMIS の GenNomis に属していましたが、データベースが GenNomis によって直接所有および管理されていたのか、サードパーティの請負業者によって管理されていたのかは不明です。また、私が発見するまでにデータベースがどのくらいの期間公開されていたのか、または他の誰かがアクセスした可能性があるのかも不明です。追加のアクセスや潜在的に疑わしいアクティビティを特定できるのは、内部のフォレンジック監査だけです。
GenNomis は AI を利用した画像生成プラットフォームで、ユーザーはテキストの説明を制限のない画像に変換したり、AI ペルソナを作成したり、画像を動画に変換したり、画像を顔交換したり、背景を削除したりできます。限られたサンプルで確認したファイルに基づくと、ほぼすべての画像が露骨で、成人向けコンテンツが描かれていました。GenNomis プラットフォームは、リアリスティック、アニメ、漫画、ビンテージ、サイバーパンクなど 45 を超えるさまざまなアート スタイルをサポートしており、ユーザーは特定の美的嗜好に合わせて画像を作成できます。GenNomis は、ユーザーがアートワークとしてラベル付けされた画像を売買できるマーケットプレイスも提供しています。
この画像は、実際の人物と思われるスクリーンショットのコラージュです。これらは、AI で生成された露骨なヌードや性的な画像を作成する際に、これらの人物の顔を入れ替えるためにユーザーがアップロードしたものと思われます。これらの人物が生体認証顔データの使用に同意したかどうかは不明です。
テキスト プロンプトからポルノ画像を作成する AI 画像ジェネレーターは数多く存在し、AI モデルが取り込む露骨な画像もオンラインで不足することはありません。** 個人の認識と同意なしに AI を使用して画像や体の顔を入れ替える機能を提供するサービスは、プライバシー、倫理、法的に重大なリスクをもたらします。** これらの露骨で性的な画像は、恐喝、評判の失墜、復讐の目的で悪用される可能性があります。
この種の画像操作は、一般に「ヌード化」または「ディープフェイク ポルノ」と呼ばれます。これらの画像は非常にリアルな場合があり、同意なしにそのような方法で描写されることは個人にとって屈辱的となる可能性があります。 AI 生成画像のデジタル時代において、同意のないディープフェイクコンテンツは大きな懸念事項となっています。推定 オンライン上のディープフェイクの 96% はポルノであり、その 99% には、自分の肖像がそのような方法で使用されることに同意していない女性が関係しています。
なお、Face Swap フォルダーは、私が責任ある開示通知を送信する前に消え、データベースにリストされなくなりました。数日後、GenNomis と AI-NOMIS の両方の Web サイトがオフラインになり、データベースは削除されました。
私は、これらの個人が GenNomis プラットフォームの使用時に同意を与えなかったと言っているわけではありませんし、これらの個人が恐喝や嫌がらせの危険にさらされていると言っているわけでもありません。私は、AI が生成した露骨な画像のより広範な状況と、それらがもたらす可能性のある潜在的なリスクに関する現実世界のリスクシナリオを提供しているだけです。
理想的な世界では、AI プロバイダーは、悪用を防ぐために厳格なガードレールと保護対策を講じている必要があります。 開発者は、露骨なディープフェイク コンテンツを生成する試みをフラグ付けしてブロックする一連の検出システムを実装する必要があります --- 特に未成年者や同意のない個人の画像が関係する場合。 ユーザーがいかなる種類の身元確認や透かし技術も使用せずに半匿名で画像を生成できるようにするサービスは、悪用を招き入れているようなものです。
AI が生成した画像やコンテンツを規制する無法地帯にいるような気がしますが、より強力な検出メカニズムと厳格な検証要件が不可欠です。 加害者を特定し、作成したコンテンツに対して責任を負わせることを容易にし、サービス プロバイダーが有害なコンテンツを迅速に削除できるようにする必要があります。 AI サービス プロバイダーへの私のアドバイスは、まずユーザーが何をしているかを認識し、違法または疑わしいコンテンツに関してはユーザーができることを制限することです。 また、プロバイダーには、サーバーやストレージ ネットワークから著作権を侵害する可能性のあるコンテンツを削除するシステムを導入することをお勧めします。
このデータベースには、AI によって生成されたと思われる子供の露骨な画像や、アリアナ グランデ、カーダシアン家、ビヨンセ、ミシェル オバマ、クリステン スチュワートなど、子供の姿で描かれた有名人の画像が多数含まれていました。倫理的な研究者として、私は違法な画像や違法の可能性のある画像をダウンロードしたり、スクリーンショットを撮ったりすることはありません。セキュリティ研究者としての 10 年間のキャリアで、このような種類の画像がデータベースで公開されているのを見たのは、これが 2 回目です。前回のケースでは、FBI に調査結果を報告し、数か月後にクラウド ホスティング プロバイダーとそのデータベースがようやく制限されました。
良いニュースは、世界中の法執行機関が、児童虐待資料や犯罪行為に関して AI によって生成されたコンテンツがもたらす脅威に気づき始めていることです。 2025年3月初旬、私がこのレポートを執筆していたとき、オーストラリア連邦警察は、デンマーク当局が主導する国際法執行活動の一環として、2人の男性を逮捕しました。カンバーランド作戦と呼ばれるこの作戦には、ユーロポールや18か国の法執行機関が参加し、さらに23人の容疑者が逮捕されました。全員、AI生成の児童性的虐待素材（CSAM）の作成と配布の疑いで起訴されています。 2024年10月、韓国の裁判所は、ディープフェイク性犯罪の加害者に懲役10年の実刑を言い渡した。2025年3月には、米国の教師が人工知能を使用して生徒の偽ポルノビデオを作成したとして逮捕された。
GenNomisの使用ガイドラインによると、禁止コンテンツには制限がある。GenNomisでは、少なくとも書面上では、児童の露骨な画像やその他の違法行為は厳しく禁止されている。ガイドラインには、そのようなコンテンツを投稿すると、アカウントが即時に停止され、法的措置が取られる可能性もあると記載されています。禁止コンテンツや違法コンテンツとして分類される可能性のある画像を多数見ましたが、それらの画像がユーザーに公開されていたのか、アカウントが停止されていたのかは不明です。ただし、これらの画像は GenNomis プラットフォームを使用して生成され、公開されたデータベース内に保存されていたようです。
悲しいことに、個人や若者がセクストーションの試みで自殺したケースは数多くあります。脅迫を受けたり、自分の画像や肖像が同意なしに使用されたと特定した人は、法執行機関に連絡して、試みに関するす べての関連情報を共有することをお勧めします。オンラインで画像を削除する方法はあります。嫌がらせやセクストーションの試みに関与した個人を特定できる可能性があります。
米国では、超党派の「Take It Down Act」が、AI によって生成されたものを含む、同意のない親密な画像の配布を犯罪化することを目的としています (2025 年初頭現在、法案は上院を通過し、下院での審議を待っています)。このように AI 生成コンテンツの被害者になることは、個人のプライバシーの重大な侵害に遭うことを意味し、屈辱を感じることがあります。幸いなことに、法執行技術の進歩により、この種の犯罪行為を犯した者を法の裁きにかけることが一般的になりつつあります。
あなたやあなたの知り合いが自傷行為を考えているなら、お住まいの地域の自殺防止ホットラインまたは機関に連絡して、助けを求めてください。
私は GenNomis、AI-NOMIS、または請負業者、関連会社、または関連団体による不正行為を示唆するものではありません。内部データ、顧客データ、またはユーザー データが差し迫った危険にさらされたと主張するものではありません。このレポートで提示した仮想データ リスク シナリオは、厳密に教育目的のみであり、データの整合性の実際の侵害や違法行為を反映、示唆、または暗示するものではありません。このレポートは、組織の特定の慣行、システム、またはセキュリティ対策の評価または解説として解釈されるべきではありません。
倫理的なセキュリティ研究者として、私は発見したデータをダウンロードしません。私は必要に応じて、検証のみを目 的として限られた数のスクリーンショットのみを撮影します。セキュリティの脆弱性を特定し、関係者に通知する以外の活動は行いません。この開示の結果として行われる可能性のあるあらゆる行動について、私は一切の責任を負いません。私は、データ セキュリティとプライバシーの問題に対する認識を高めるために調査結果を公開します。私の目的は、組織が機密情報を不正アクセスから積極的に保護することを奨励することです。