何百万ドル、何十億ドルという価値がある AI 企業が、AI 生成の児童性的虐待素材 (CSAM) を作成できるツールを開発し配布しているのはなぜでしょうか?
AI 企業 Runway が Stability AI の資金提供を受けて作成した Stable Diffusion バージョン 1.5 と呼ばれる画像ジェネレーターは、特に CSAM の作成に関与していると言われています。また、Hugging Face や Civitai などの人気プラットフォームは、そのモデルや、児童性的虐待の 実際の画像でトレーニング された可能性のある他のモデルをホストしています。場合によっては、企業が合成 CSAM 素材を自社のサーバーにホストすることで法律に違反している可能性もあります。そして、なぜAmazon、Google、Nvidia、Intel、Salesforce、Andreessen Horowitzなどの主流企業や投資家がこれらの企業に数億ドルを注ぎ込んでいるのでしょうか? 彼らの支援は、小児性愛者向けのコンテンツを補助するのと同じです。
AI の安全性に関する専門家として、私たちはこれらの企業を非難し、以下に概説する是正措置を講じるよう圧力をかけるために、これらの質問をしてきました。そして今日、私たちは 1 つの大きな成果を報告できることを嬉しく思います。どうやら私たちの質問に応えて、Stable Diffusion バージョン 1.5 が Hugging Face から削除されたようです。しかし、やるべきことはまだたくさんあり、意味のある進歩には法律が必要になるかもしれません。
CSAM 問題の範囲
児童安全擁護団体は昨年から警鐘を鳴らし始めました。スタンフォード大学のインターネット観測所 とテクノロジー非営利団体 Thorn の研究者は、2023 年 6 月に憂慮すべき レポート を発表しました。彼らは、広く入手可能な「オープンソース」の AI 画像生成ツールが、悪意のある人物によって児童性的虐待資料の作成に悪用されていることを突き止めました。場合によっては、悪意のある人物が実際の児童性的虐待資料を使用してこれらのモデルの独自のカスタム バージョン (微調整と呼ばれるプロセス) を作成し、特定の被害者の特注画像を生成していました。
昨年 10 月、英国の非営利団体 Internet Watch Foundation (児童性的虐待資料の報告を収集) が発表した レポート では、悪意のある人物が AI で生成したフォトリアリスティックな児童性的虐待資料を大規模に作成することがいかに容易であるかが詳しく説明されています。研究者らは、ダーク ウェブの CSAM フォーラムの「スナップショット」調査を実施し、1 か月間に投稿された 11,000 枚を超える AI 生成画像を分析しました。そのうち、約 3,000 枚が犯罪に分類されるほど深刻であると判断されました。このレポートでは、生成 AI モデルに対する規制監督を強化するよう求めています。
AIモデル は、以前に例を見たことがあるため、この素材の作成に使用できます。スタンフォード大学の研究者は昨年12月、画像生成モデルのトレーニングに使用された最も重要なデータセットの1つに、数百個のCSAMが含まれていることを発見しました。人気のあるStable Diffusionバージョン1.5モデルを含む、最も人気のあるダウンロード可能なオープンソースAI画像ジェネレーターの多くは、このデータを使用してトレーニングされました。 Runway が Stable Diffusion のそのバージョンを作成した一方で、Stability AI は データセットの作成 と モデルのトレーニング のための計算能力を支払い、Stability AI が後続のバージョンをリリースしました。
Runway はコメントの要請に応じませんでした。Stability AI の広報担当者は、同社は Stable Diffusion バージョン 1.5 をリリースまたは保守していないことを強調し、トレーニング用のフィルタリングされたデータセットの使用を含め、後続のモデルで CSAM に対する「堅牢な安全策を実装」したと述べています。
また昨年12月、ソーシャルメディア分析会社 Graphika の研究者らは、数十の 「脱衣」サービス が急増していることを発見しました。その多くはオープンソースのAI画像ジェネレーターに基づいており、おそらくStable Diffusionも含まれています。これらのサービスでは、ユーザーが服を着た人の写真をアップロードして、専門家が未成年者と成人の両方の非合意の親密な画像（NCII）と呼ぶものを作成できます。これは ディープフェイクポルノとも呼ばれます。このようなWebサイトはGoogle検索で簡単に見つけることができ、ユーザーはオンラインでクレジットカードを使用してサービス料金を支払うことができます。こうしたサービスの多くは女性や少女にしか機能せず、こうしたツールはテイラー・スウィフトのような女性有名人や、アレクサンドリア・ホワイトハウス下院議員のような政治家をターゲットにするために使われてきた。オカシオ＝コルテス](https://www.rollingstone.com/culture/culture-features/aoc-deepfake-ai-porn-personal-experience-defiance-act-1234998491/)。
AI が生成した CSAM は実際に影響を及ぼします。児童安全エコシステムはすでに過負荷状態にあり、疑わしい CSAM のファイルが毎年ホットラインに何百万件も報告されています。この大量のコンテンツに何かが加わると、特にフォトリアリスティックな虐待コンテンツは、実際に危険にさらされている児童を見つけることをさらに困難にします。さらに悪いことに、一部の悪質な人物は既存の CSAM を使用してこれらの生存者の合成画像を生成しています。これは彼らの権利の恐ろしい再侵害です。他にも、簡単に入手できる「ヌード化」アプリを使用して、実際の子供の無害な画像から性的コンテンツを作成し、その新しく生成されたコンテンツを性的恐喝計画に使用している人もいます。
AI生成CSAMに対する1つの勝利
昨年12月のスタンフォード大学の調査に基づくと、AIコミュニティでは、Stable Diffusion 1.5が児童性的虐待資料でトレーニングされ、他のすべてのモデルがLAION-5Bデータセットでトレーニングされたことがよく知られています。これらのモデルは、悪 意のある人物によって AI 生成の CSAM を作成するために積極的に悪用されています。また、より無害な素材を生成するために使用されている場合でも、その使用は、虐待画像がトレーニング データに使用された子供たちを本質的に再び被害者にすることになります。そこで、人気の AI ホスティング プラットフォームである Hugging Face と Civitai に、なぜ Stable Diffusion 1.5 と派生モデルをホストし、無料でダウンロードできるようにしているのかを尋ねました。
Integrity Institute のデータ サイエンティストである Jeff Allen は、過去 1 か月間に Stable Diffusion 1.5 が Hugging Face から 600 万回以上ダウンロードされ、プラットフォームで最も人気のある AI 画像ジェネレーターになっていることを発見しました。
Hugging Face になぜこのモデルをホストし続けているのか尋ねたところ、同社の広報担当者 Brigitte Tousignant 氏は質問に直接答えず、代わりに、同社はプラットフォーム上で CSAM を容認しておらず、さまざまな安全ツールを組み込んでおり、コミュニティに Safe Stable Diffusion モデル を使用して不適切な画像を識別して抑制するよう奨励していると述べました。
そして昨日、Hugging Face をチェックしたところ、Stable Diffusion 1.5 は 利用できなくなっている ことが わかりました。 Tousignant は、Hugging Face が削除しなかったと私たちに伝え、Runway に連絡するよう提案しました。私たちは再度連絡しましたが、まだ返答はありません。
このモデルが Hugging Face からダウンロードできなくなったのは間違いなく成功です。残念ながら、このモデルは Civitai でまだ入手可能で、派生モデルも何百もあります。私たちが Civitai に連絡したところ、広報担当者は、Stable Diffusion 1.5 がどのようなトレーニング データを使用したかは知らないと述べ、不正使用の証拠がある場合のみ削除すると述べました。
プラットフォームは責任について神経質になるべきです。先週、CSAM やその他の犯罪に関する捜査の一環として、メッセージング アプリ Telegram の CEO である Pavel Durov が逮捕されました。
AI 生成 CSAM について何が行われているか
AI 生成 CSAM および NCII に関する不穏な報告やニュースは、相変わらず続いています。一部の企業は Tech Coalition の支援を受けて製品の安全性向上に取り組んでいますが、より広範な問題についてはどのような進展が見られていますか?
4月に、Thorn氏とAll Tech Is Humanは、主流のテクノロジー企業、生成AI開発者、モデルホスティングプラットフォームなどを結集し、児童性的虐待の防止を製品開発プロセスの中心に据えたSafety by Designの原則を定義し、それに従うためのイニシアチブを発表しました。 10 社 (Amazon、Civitai、Google、Meta、Microsoft、OpenAI、Stability AI を含む) が これらの原則 にコミットしており、一部の企業は 関連論文 を共同執筆し、より詳細な緩和策を推奨しています。この原則では、企業に対し、児童の安全リスクに積極的に対処する AI モデルの開発、展開、維持、作成された虐待素材を確実に検出するためのシステムの構築、虐待素材の作成に使用される基礎モデルとサービスの配布の制限を求めています。
このような自主的な取り組みは、始まりに過ぎません。ソーン社のデータサイエンス責任者であるレベッカ・ポートノフは、この取り組みは企業に緩和策の進捗状況に関する報告書の発行を求めることで説明責任を求めていると語る。また、IEEEやNISTなどの標準設定機関と協力して、その取り組みを新規および既存の標準に統合し、「名誉制度を超える」第三者監査への道を開いているとポートノフは言う。ポートノフはまた、ソーン社が政策立案者と連携して、技術的に実現可能で影響力のある法律を考案するのを支援していると指摘する。実際、多くの専門家は、自発的な取り組みを超える時が来たと述べている。
私たちは、AI業界では現在、無謀な底辺争いが進行していると考えている。企業は技術的にリードしようと必死に戦っているため 、その多くは自社製品の倫理的、場合によっては法的な影響を無視している。欧州連合を含む一部の政府は AI の規制に前進していますが、まだ十分ではありません。たとえば、CSAM を生成できる AI システムの提供を法律で禁止すれば、テクノロジー企業は注目するかもしれません。
現実には、一部の企業は自主的な取り組みを遵守しますが、多くの企業は遵守しません。また、遵守する企業でも、準備ができていない、または競争上の優位性を維持するのに苦労しているため、対応が遅すぎる企業が多くあります。その間に、悪質な行為者がそれらのサービスに引き寄せられ、大混乱を引き起こすでしょう。このような結果は受け入れられません。
AI 生成 CSAM に対してテクノロジー企業がすべきこと
専門家はこの問題が近い将来に起こることを予見しており、児童安全擁護団体はこれに対抗するための常識的な戦略を推奨しています。この状況を改善する機会を逃せば、私たち全員が責任を負うことになります。少なくとも、オープンソース モデルをリリースする企業を含むすべての企業は、Thorn の Safety by Design 原則に定められたコミットメントに従うことが法的に義務付けられるべきです。
- 生成 AI モデルをトレーニングする前に、トレーニング データ セットから CSAM を検出し、削除して報告する。
- 生成 AI モデルに堅牢な透かしと コンテンツ出所システム を組み込み、生成された画像を、それを作成したモデルにリンクできるようにする。これは、カリフォルニア州で事業を行う企業向けに デジタル コンテンツ出所基準 を作成するカリフォルニア州法案で義務付けられているとおりです。この法案は、来月 Gavin Newson 知事の署名を待つことになるでしょう。
- CSAM でトレーニングされていることがわかっている、または CSAM を生成できる生成 AI モデルをプラットフォームから削除します。CSAM を削除して完全に再構成しない限り、これらのモデルの再ホストを拒否します。
- CSAM で意図的に微調整されたモデルを特定し、プラットフォームから永久に削除します。
- アプリ ストアから「ヌード化」アプリを削除し、これらのツールとサービスの検索結果をブロックし、支払いプロバイダーと協力して、作成者への支払いをブロックします。
生成 AI が子供の恐ろしい虐待を助長する必要はありません。しかし、方向転換して底辺への競争を止めるには、自発的な取り組み、規制、世論の圧力など、手元にあるすべてのツールが必要になります。
著者らは、この記事の執筆に協力してくれたThornのRebecca Portnoff、Stanford Internet ObservatoryのDavid Thiel、Integrity InstituteのJeff Allen、TechBetterのRavit Dotan、技術政策研究者のOwen Doyle*に感謝の意を表します。