安全でないシステムのインディ・ジョーンズ、ジェレミア・ファウラー氏は、公衆インターネットに公開された、AI が生成した性的に露骨な画像の山を発見したと述べている。これらの画像はすべて、疑わしい画像の背後にいると思われるチームに彼が密告した後、消えてしまった。
ファウラー氏は、The Register に対し、保護されていない、誤って構成された Amazon Web Services S3 バケットを発見したと語った。このバケットには、93,485 枚の画像と、これらの入力から作成された画像へのリンクを含むユーザー プロンプトが記録された JSON ファイルが含まれていた。パスワードや暗号化は見当たらないという。月曜日、同氏は発見した画像を「AI が生成した露骨な子供の画像と、子供の姿で描かれた有名人の画像と思われるもの」と説明した。描かれて いる有名人はすべて女性だった。
ユーザーがこのディープフェイク AI システムに何を入力したかを知るために、ファウラー氏が共有した入力例の 1 つに、私たちが編集した「アジア人少女 ****** by 叔父」とある。さらに、ファイルには女性の日常的な写真が含まれていた。おそらく、ユーザーの要求に応じて、生成型人工知能によって顔を交換して、わいせつな成人向けシーンにするためだったのだろう。
ファウラー氏は、発見したバケツの名前とそこに含まれているファイルから、韓国のAI企業AI-NOMISとそのウェブアプリGenNomisのものであることがわかったと述べた。
月曜日の時点で、GenNomisとAI-NOMISのウェブサイトは両方とも消えていた。
ファウラー氏の発見についての記事では、GenNomisを「ヌード化サービス」と表現している。これは、AIを使用して画像の顔を交換したり、デジタルで衣服を脱いだりする行為を指し、通常は人物の同意なしに、裸やポルノのような状況などに見せかける。今日の AI システムの能力のおかげで、結果として得られるスナップは通常、写真のようにリアルで、被害者にとって屈辱的でダメージを与えるものではありません。
The Register が確認した GenNomis.com の Wayback Machine スナップショットには、「制限のない画像を生成し、パーソナライズされた AI キャラクターとつながりましょう!」というテキストが含まれています。アーカイブされたスナップショットで私たちが数えた 48 枚の画像のうち、若い女性が描かれていないのは 3 枚だけです。スナップショットには、GenNomis が画像内の顔を置き換え る機能について説明するテキストも保存されています。別のページには、「NSFW」というラベルの付いたタブがあります。
ファウラー氏は、この発見は「この技術がユーザーによって悪用される可能性があり、開発者が自分自身や他の人を保護するためにさらに努力する必要がある」ことを示していると書いています。つまり、AI を使用して人工ポルノに人を配置できることは十分に悪いことですが、結果として得られる画像が 大量に 漏洩する可能性があることは別のレベルです。
「このデータ侵害は、制限のない画像生成の業界全体に関するより大きな議論のきっかけとなります」と彼は付け加えました。
また、フェイススワッピングやその他の AI 画像生成ツールを提供する Web サイトが、独自の規定を施行しているかどうかという疑問も生じています。
ファウラー氏によると、GenNomis のユーザー ガイドラインでは、子供を描写した露骨な画像の作成などが禁止されていました。同サイトでは、そのようなコンテンツを作成するとアカウントが即時に停止されると警告されていました。しかし、研究者が発見した資料に基づくと、これらのポリシーが積極的に施行されていたかどうかは不明です。いずれにせよ、データは Amazon がホストする公開バケットに残っていました。
コンピューターで生成されたものであっても、何らかのガードレールやモデレーションなしで AI にこれらの画像を生成させることは違法であり、非常に非倫理的です
「禁止されている可能性のある違法コンテンツに分類される画像を多数確認しましたが、それらの画像がユーザー に公開されていたのか、アカウントが停止されていたのかは不明です」とファウラー氏は書いています。「ただし、これらの画像は GenNomis プラットフォームを使用して生成され、公開されたデータベース内に保存されていたようです。」
ファウラー氏は、3月10日にS3バケットを発見したと語り、2日後にGenNomisとAI-NOMISのチームに報告した。ここにクラウドストレージのフォルダ名がいくつか表示されているスクリーンショットがある。
「彼らはすぐに削除したが、返事はなかった」と同氏はThe Registerに語った。「ほとんどの開発者は『安全性と不正使用について深く懸念しており、サービス向上のためにX、Y、Zの対策を講じている』と言うだろう」
ファウラー氏によると、GenNomisはウェブサイトがオフラインになる前に「沈黙し、画像を保護していた」という。S3バケットの内容も消えていた。
「AI画像生成サービスの舞台裏を見たのは今回が初めてで、プロンプトや生成される画像を見るのは非常に興味深かった」と彼は語り、ウェブ上でうっかり公開されたままになっているクラウドストレージを探して報告する10年以上の経験の中で、子供の露骨な画像を見たのは今回が3回目だと付け加えた。
政府、法執行機関、一部の企業は、AIが生成した露骨な画像と、それが引き起こす可能性のある現実世界の危害に対処するために行動を起こしている。
今年初め、英国政府は、性的に露骨なディープフェイク画像の作成と共有を犯罪とすることを約束しました。
アメリカでは、超党派のTake It Down Act [PDF]が、AI生成のディープフェイクを含む、合意のない性的搾取画像の公開を犯罪とし、プラットフォームに通知から48時間以内にそのような画像を削除することを義務付けることを目的としています。この法案は上院を通過し、下院での審議を待っています。
3月初旬、オーストラリア連邦警察は、デンマーク当局が主導する国際法執行活動の一環として、児童虐待画像を作成した疑いで2人の男性を逮捕しました。
また、2024年後半には、Adobe、Anthropic、Cohere、Microsoft、OpenAI、オープンソースのウェブデータリポジトリであるCommon Crawlなど、米国の大手テクノロジー企業の一部が、AI製品が合意のないディープフェイクポルノや児童性的虐待素材の生成に使用されないようにするための拘束力のない誓約に署名しました。
残念なことに、ファウラーの発見が証明したように、この種の吐き気を催すようなコンテンツに対する需要がある限り、ユーザーがそれを制作し、ウェブサイトを通じて配布することを喜んで許可する卑劣な輩が存在するだろう。