Description: In August 2024, the San Francisco City Attorney’s Office filed a first-of-its-kind lawsuit against 16 websites accused of using generative AI to create and distribute nonconsensual pornographic deepfakes, including images of minors. The sites, which had over 200 million visits in six months, invited users to upload real images to generate explicit fakes. By March 2025, 11 of the targeted websites had shut down following legal pressure.
Editor Notes: Timeline notes: The San Francisco City Attorney's office announced its actions against the 16 operators of these sites on August 15, 2024 (the date for this incident ID). By March 2025, reporting on these actions stated that 11 of the sites had been taken down.
Alleged: Unknown deepfake technology developers developed an AI system deployed by Operators of 16 deepfake pornography websites, which harmed Women depicted in deepfake pornography と Minors depicted in deepfake pornography.
関与が疑われるAIシステム: Unknown deepfake apps と Unknown generative AI tools
インシデントのステータス
インシデントID
1004
レポート数
2
インシデント発生日
2024-08-15
エディタ
Daniel Atherton
インシデントレポート
レポートタイムライン
AI が生成した実際の成人および未成年者の同意のない露骨な画像は計り知れない害を及ぼし、州法および連邦法に違反しています
サンフランシスコ (2024 年 8 月 15 日) --- サンフランシスコ市検事の David Chiu 氏は本日、AI が生成した同意のないポルノを作成および配布する世界最大級の Web サイトのいくつかに対して、初めての訴訟を起こすと発表しました。同意のないディープフェイク ポルノ画像の急増により、世界中の実際の女性や少女が搾取されています。女性や…
サンフランシスコ市検事局は、ディープフェイクヌードを作成し拡散したとされるウェブサイトを標的にし、それらのサイトをオフラインにして明確なメッセージを送っています。
イボンヌ・メレ首席副検事は、NBCベイエリアに対し、彼女とデイビッド・チウ市検事局が6か月以上前に起こした人工知能に異議を唱えるユニークな訴訟により、ディープフェイクヌードを作成し拡散する12近くのウェブサイトが閉鎖されたと語った。
「私たちが標的にした俳優たちは今やそのビジネスから撤退しており、それはちょっとした…
バリアント
「バリアント」は既存のAIインシデントと同じ原因要素を共有し、同様な被害を引き起こし、同じ知的システムを含んだインシデントです。バリアントは完全に独立したインシデントとしてインデックスするのではなく、データベースに最初に投稿された同様なインシデントの元にインシデントのバリエーションとして一覧します。インシデントデータベースの他の投稿タイプとは違い、バリアントではインシデントデータベース以外の根拠のレポートは要求されません。詳細についてはこの研究論文を参照してください
よく似たインシデント
Did our AI mess up? Flag the unrelated incidents
よく似たインシデント
Did our AI mess up? Flag the unrelated incidents