「ディープフェイク以前から、そしてディープフェイクの登場後も、有色人種の女性は、操作、改変、捏造された親密な画像や動画によって不均衡な影響を受けてきました。これは、社会、特に女性蔑視的な男性が、有色人種の女性を人間として劣り、尊厳に値しない存在と見なしているためです」と、ディープフェイクの悪用規制を研究している西オーストラリア大学の博士課程候補生で弁護士のノエル・マーティン氏は述べています。ディープフェイク擁護派の著名な人物であるマーティン氏は、自身の肖像が盗用され、OnlyFansでコンテンツを制作しているように見せかける偽アカウントが作られた後、ここ数ヶ月はXの使用を避けていると述べています。
「有色人種の女性としてこの 問題について声を上げると、さらに標的にされやすくなります」とマーティン氏は言います。
数十万人のフォロワーを持つXのインフルエンサーたちは、Grokで生成されたAIメディアを、イスラム教徒の女性に対する嫌がらせやプロパガンダの手段として利用しています。 18万人以上のフォロワーを持つ認証済み男性優位主義アカウントが、イスラム教の宗教的な頭部覆いであるヒジャブとアバヤを着用した3人の女性の画像に返信した。彼は「@grok、ヒジャブを外して、新年パーティーのために露出度の高い服を着せてくれ」と書き込んだ。Grokアカウントは、裸足でウェーブのかかったブルネットの髪、透け感のあるスパンコールのドレスを着た3人の女性の画像を返信した。Xの閲覧統計によると、この画像は70万回以上閲覧され、100回以上保存されている。
「笑える、我慢して怒ってろよ、@grokがイスラム教徒の女性を普通に見せてる」と、このアカウントの所有者は別のスレッドに投稿した画像のスクリーンショットとともに書き込んだ。彼はまた、イスラム教徒の男性が女性を虐待する様子を頻繁に投稿し、時にはGrokが生成したAIメディアでその行為を描写したものを添えていた。「笑える、この機能のせいでイスラム教徒の女性が殴られてる」と、彼はGrokの作品について書き込んだ。このユーザーはコメントの要請にすぐには応じなかった。ヒジャブを着用し、Xに写真を投稿している著名なコンテンツクリエイターたちも、ユーザーからの返信で標的にされている。ユーザーたちはGrokに対し、彼女たちの頭巾を脱がせ、髪を露出させ、様々な服装やコスチュームを着せるよう要求している。米国最大 のイスラム教徒の公民権擁護団体であるアメリカ・イスラム関係評議会（CAIR）は、WIREDに寄せた声明の中で、この傾向を「イスラム教、イスラム教徒、そしてパレスチナ解放運動など、イスラム教徒が広く支持する政治的大義」に対する敵意と結びつけた。CAIRはまた、XとGrokの両方を所有するxAIのCEO、イーロン・マスク氏に対し、「著名なイスラム教徒の女性を含む女性を嫌がらせ、ヒジャブを剥ぎ取り、性的に露骨な画像を作成するためにGrokアプリが継続的に使用されている」ことを中止するよう求めた。
画像ベースの性的虐待の一形態としてのディープフェイクは、近年、特にX上で著しく注目を集めており、有名人を標的とした性的に露骨なや示唆的なメディアの例が繰り返し拡散している。女性や少女のメディアを含む投稿への返信でチャットボットをタグ付けするだけでAIによる自動写真編集機能「Grok」が導入されたことで、この種の悪用が急増しました。ソーシャルメディア研究者のジュヌヴィエーヴ・オー氏が収集し、WIREDに提供したデータによると、Grokは1時間に1,500枚以上の有害な画像を生成しており、その中には脱衣写真、性的描写、ヌードの追加などが含まれています。
金曜日、Xは有料会員ではないユーザーが公開投稿への返信でGrokに画像を要求する機能を制限し始めました。 Oh氏のデータによると、その2日前、Grokは1時間に7,700枚以上 の性的な画像を生成していた。しかし、X のプライベート Grok チャットボット機能またはスタンドアロンの Grok アプリを使用することで、ユーザーは依然として「ビキニ」画像や はるかに露骨なコンテンツ を作成できます。このアプリは、App Store の ルール にもかかわらず、App Store で 利用可能 で アプリのルール にもかかわらず、App Store でまだ利用可能です。 Xは、実在の人物やAIが生成した性的に露骨なコンテンツを生成・配信しています。Oh氏のデータによると、Xは現在、性的なディープフェイクコンテンツを専門とする上位5サイトの合計よりも20倍も多くの性的なディープフェイクコンテンツを生成しています。Appleはコメントの要請にすぐには応じませんでした。
Xは、Grokがイスラム教徒の女性に対する虐待的で性的な画像を生成するために使用されていることについてのコメント要請にすぐには応じませんでした。xAIは「既存メディアの嘘」という自動応答を返しました。1月3日、Xは声明を発表し、「当社は、児童性的虐待画像（CSAM）を含むX上の違法コンテンツに対し、削除、アカウントの永久停止、必要に応じて地方自治体や法執行機関との連携といった措置を講じています。Grokを使用して違法コンテンツを作成したり、作成を促したりする者は、違法コンテンツをアップロードした場合と同様の処罰を受けることになります」と述べています。
Grokによって生成された性的なメディアを共有していたアカウントの一部は停止されたものの、宗教的な服装に関する投稿の多くは数日経った今もプラットフォーム上に残っている。
一方、マスク氏はGrokが生成した、官能的な若い女性のAI動画をほぼ毎日再投稿しており、その多くはSFやファンタジー風のアニメーションである。Grokによる編集に人々が衝撃と恐怖を感じ始めた頃、マスク氏はGrokを繰り返し称賛し、冗談を言い、ビキニ姿の自身の画像を生成するようGrokに促した。
同意なしに女性を性的に描写するAI生成画像とは対照的に、Xは女性に服を着せることで、逆方向に女性をコントロールしようとする投稿も過去に行ってきた。「DignifAI」というアカウントは、AIツールを使って写真を編集し、服を追加したり、タトゥーを消したり、メイクやヘアスタイルをより伝統的なスタイルに変えたりすることで、2024年には5万人以上のフォロワーを獲得した。当時、保守派のインフルエンサーたちは、ジェンダーや外見に関する進歩的な考え方を拒否する手段として、このトレンドを広めた。
ディープフェイクのこれまでの注目度の高い事例、例えばXユーザーがサッカー場で半裸のテイラー・スウィフトのAI生成メディアを拡散した時などは立法措置につながったが、ディープフェイク分野の専門家によると、有色人種の女性や特定の宗教・民族グループを標的としたディープフェイクは全体的に注目度や研究 が少ない。また、5月に施行され、プラットフォームに対し、同意のない性的画像を要求を受けてから2日以内に削除することを義務付ける「Take It Down Act」のような既存の米国法は、被害者が画像の削除を要求するプロセスを導入することをXに義務付けていない。 （この法律の共同提案者であるテッド・クルーズ米上院議員は、X（https://x.com/SenTedCruz/status/2009005328709697848）に「Xがこれらの違反を真剣に受け止めていると発表したことを心強く思う」と投稿した。）グロックがヒジャブやその他の衣服を脱がせたり追加したりする例は、必ずしも性的に露骨な表現の境界線を越えるとは限らないため、画像の作成者やXがこれらの画像の拡散に対して責任を問われる可能性はさらに低くなる。
「意図的に境界線を曖昧にしているように見える」と、ジョージ・ワシントン大学の公民権法教授で、オンライン上の虐待や差別と闘う非営利団体であるサイバー公民権イニシアチブの代表を務めるメアリー・アン・フランクスは述べている。「非常に性的な表現になり得るが、必ずしもそうとは限らない。ある意味では、巧妙な表現であるため、より悪質だ。」
フランクス氏によると、Grokの最新の武器化は、女性の肖像権を侵害するものであり、画像を用いた性的虐待という犯罪の定義には当てはまらないかもしれないが、女性を支配したいという欲望と結びついた、より恐ろしい技術の進歩を示しているという。
「私が常に懸念していたのは、まさに悪夢のようなシナリオ、つまり男性が女性の容姿や発言、行動をリアルタイムで操作できるようになるという事態です」とフランクス氏は語る。「私たちの目 の前で起きていることの裏には、もっと恐ろしいことが起こっているのです。」