Description: In August 2024, the San Francisco City Attorney’s Office filed a first-of-its-kind lawsuit against 16 websites accused of using generative AI to create and distribute nonconsensual pornographic deepfakes, including images of minors. The sites, which had over 200 million visits in six months, invited users to upload real images to generate explicit fakes. By March 2025, 11 of the targeted websites had shut down following legal pressure.
Editor Notes: Timeline notes: The San Francisco City Attorney's office announced its actions against the 16 operators of these sites on August 15, 2024 (the date for this incident ID). By March 2025, reporting on these actions stated that 11 of the sites had been taken down.
Entités
Voir toutes les entitésAlleged: Unknown deepfake technology developers developed an AI system deployed by Operators of 16 deepfake pornography websites, which harmed Women depicted in deepfake pornography et Minors depicted in deepfake pornography.
Systèmes d'IA présumés impliqués: Unknown deepfake apps et Unknown generative AI tools
Statistiques d'incidents
ID
1004
Nombre de rapports
2
Date de l'incident
2024-08-15
Editeurs
Daniel Atherton
Rapports d'incidents
Chronologie du rapport
Les images explicites non consensuelles de vrais adultes et mineurs générées par l'IA causent des dommages incommensurables et violent les lois fédérales et étatiques
SAN FRANCISCO (15 août 2024) --- Le procureur de la ville de San Francisc…

Le bureau du procureur de la ville de San Francisco cible les sites web accusés de créer et de diffuser des photos de nus deepfakes, les mettant hors ligne et envoyant un message clair.
Yvonne Meré, procureure adjointe en chef de la ville, …
Variantes
Une "Variante" est un incident qui partage les mêmes facteurs de causalité, produit des dommages similaires et implique les mêmes systèmes intelligents qu'un incident d'IA connu. Plutôt que d'indexer les variantes comme des incidents entièrement distincts, nous listons les variations d'incidents sous le premier incident similaire soumis à la base de données. Contrairement aux autres types de soumission à la base de données des incidents, les variantes ne sont pas tenues d'avoir des rapports en preuve externes à la base de données des incidents. En savoir plus sur le document de recherche.
Incidents similaires
Did our AI mess up? Flag the unrelated incidents

Tempe police release report, audio, photo
· 25 rapports

Chinese AI caught out by face in bus ad
· 24 rapports
Incidents similaires
Did our AI mess up? Flag the unrelated incidents

Tempe police release report, audio, photo
· 25 rapports

Chinese AI caught out by face in bus ad
· 24 rapports