主に「刺激的な」ロールプレイ画像を作成するためのツールとして販売されていたAIチャットボットと画像生成ツールが、開発者によって事実上放棄され、ログインしていた数百万人のユーザーの個人情報やコンテンツがインターネット上に公開されたままになっている。404 Mediaが最初に報じたところによると、Secret Desiresはクラウドストレージコンテナをインターネット上に公開したままにしており、約200万点の画像と動画が、氏名、勤務先、大学名とともに流出していた。
この事件は、急速に普及している成人向けAIサービスが、セキュリティ対策の不備によって機密性の高いコンテンツを拡散させ、同意のないディープフェイクだけでなく、児童ポルノの可能性も含む、極めて深刻なリスクをもたらすことを示す、痛ましい事例で ある。
ジャーナリストが同社に連絡を取ってから1時間以内に、流出したファイルはアクセスできなくなっていたことが判明した。Secret Desiresはコメントの要請に応じなかった。
捜査官が発見した、秘密の欲望の中に隠されていたもの
研究者たちが、これらの公開されたバケツの中から発見した、露骨なAI生成画像や動画の中には、現在廃止されている顔交換機能で作成されたものも含まれていました。これらのデータには、ソーシャルネットワークから収集された画像やプライベートなスクリーンショット、インフルエンサー、著名人、そして一般のインターネットユーザーに関連付けられたファイルが含まれていたとされています。さらに憂慮すべきことに、ファイル名の中には未成年者の画像が含まれていることを示唆する言葉が使われているものもあり、AIツールが違法コンテンツの生成に悪用されることで、依然として社会を危険にさらしていることを示しています。
より深刻なのは、このストレージ構造には画像だけでなく、個人を特定できる情報も含まれていた可能性があることです。露骨なメディアファイルに個人の名前、学校、勤務先が加われば、嫌がらせ、恐喝、ドクシングといったあらゆる悪影響がさらに深刻化します。電子フロンティア財団（EFF）やインターネット監視財団（IWF）などの専門家は、AI生成ツールの普及に伴い、こうした問題がさらに悪化すると既に予測しています。
クラウドセキュリティの潜在的な脆弱性
根本的な問題――不適切なクラウドストレージの設定――は、ありふれた、しかし広く蔓延している問題です。セキュリティチームは 以前から、パブリックバケットと緩いアクセス制御が、大規模な情報漏洩につながる最も一般的な経路の一つであると警告してきました。これは、大手セキュリティ企業による数々の脅威評価でも指摘されており、設定ミスはクラウドデータ漏洩の最大の要因の一つであり、特にガバナンスが成熟していない急成長中のスタートアップ企業にとって深刻な問題となっています。
今日、機密性の高いコンテンツを扱うサービスは、最低限、デフォルトでプライベートなバケット、厳格なIDおよびアクセス管理、有効期限の短い署名付きリンク、保存時および転送時の暗号化、そして継続的なセキュリティ監視をサポートする必要があります。機密データはメディアファイル名と一緒に保存してはなりません。メタデータは、容易な照合を防ぐために、最小限に抑えるかトークン化する必要があります。
ディープフェイクのリスクは理論上の話ではない
AIによる顔交換ツールや画像間変換ツールを使えば、ソーシャルメディア、学校の集合写真、出会い系サイトなどから抽出した画像から、露骨なディープフェイクを瞬時に生成できます。
擁護団体や研究者たちは、ディープフェイクの標的の大多数が女性であることを明らかにしています。さらに、「無限の親密さ」を提供するAIチャットボットの登場は、ディープフェイクの大量生産をさらに常態化させるだけでなく、この分野の経験がないユーザーにとっての参入障壁を低くしてしまいます。
全米行方不明・被虐待児童センター（NCMEC）をはじめとする法執行機関や児童保護団体は、プラットフォームに対し、未成年者の性的合成画像を積極的に監視するよう求めています。ハッシュ化やPhotoDNAのようなマッチング、最も悪質なコンテンツの即時フィルタリング、年齢推定といった対策はリスクを軽減できますが、やや不自然な方法と言えるでしょう。C2PAのようなシステム全体の透かしや出所証明規格は、大規模に導入されれば、追跡可能性を高めるのに役立ちます。
AIの安全性におけるコンプライアンスと法的責任の確保は遅れている
AIプラットフォームは、評判の低下に加え、法的な問題に直面するリスクが高まっています。規制当局は、セキュリティの脆弱性や誤解を招くような安全性の主張は、不公正または欺瞞的な商行為に該当する可能性があると指摘しています。データ保護法が適用される国では、個人識別情報と個人コンテンツを混在させることは、情報漏洩通知義務と高額な罰金のリスクを伴います。EUのAI法や各国レベルのディープフェイク関連法が様々なルートを通じて運用される中で、高リスクな利用事例に対するより厳格な監視と、不正利用防止のためのより強固な説明責任がますます求められています。
性的コンテンツを扱うAIツールの場合、今日のコンプライアンス体制を正当化するには、年齢確認のための厳格なPAS（年齢確認システム）、トレーニングデータ取得のための明示的な同意フロー、ユーザー向けの詳細なレポート機能、IWFやNCMECといった信頼できる通報機関との連携による迅速な削除パイプラインなど、年齢確認対策のサポートがますます重要になっています。タム氏は、セキュリティは成長後に付け足すことはできないと指摘しています。これは組み込む必要があります。
このデータ漏洩の影響を受けたと思われる場合
-
自分の画像が関係していると思われる場合は、証拠を保存し、該当プラットフォームに画像を報告してください。画像に未成年者が写っている場合は、NCMEC（全米行方不明・被搾取児童センター）への報告も検討してください。
-
被害者は、親密な画像の悪用やディープフェイクの削除に関する業界標準のプロトコルに従って、削除を求めることもできます。
-
データ保護要求が存在する場合、プラットフォームは保存されているデータの開示と削除プロセスの開始を強制できます。
Secret Desiresの漏洩は、「NSFW AI」業界全体への警告です。親密なコンテンツを扱う製品の場合、失敗は許されません。オープンバケットや顔交換などのギミックは成長を促進するかもしれませんが、同時に、プラットフォームを一夜にして破滅させるような害と厳しい監視を招くことにもなります。