Incidents associés
Jeremiah Fowler, un Indiana Jones des systèmes non sécurisés, affirme avoir découvert une mine d'images sexuellement explicites générées par l'IA, exposées sur Internet. Toutes ont disparu après qu'il a alerté l'équipe apparemment à l'origine de ces images hautement douteuses.
Fowler a déclaré au Register avoir découvert un bucket S3 Amazon Web Services non protégé et mal configuré, contenant 93 485 images, ainsi que des fichiers JSON enregistrant les invites des utilisateurs avec des liens vers les images créées à partir de ces entrées. Aucun mot de passe ni chiffrement n'est en vue, nous a-t-on dit. Lundi, il a décrit les images qu'il a trouvées comme « ce qui semblait être des images explicites d'enfants et de célébrités représentées comme des enfants, générées par l'IA ». Toutes les célébrités représentées étaient des femmes.
Pour vous donner une idée des informations fournies par les utilisateurs à ce système d'IA deepfake, l'un des exemples d'entrées partagés par Fowler indique, censuré par nos soins, « Fille asiatique ****** par oncle ». De plus, les fichiers contenaient des photos de femmes ordinaires, vraisemblablement destinées à être permutées par intelligence artificielle générative pour créer des scènes X sordides à la demande des utilisateurs.
Fowler a déclaré que le nom du seau qu'il a trouvé et les fichiers qu'il contenait indiquaient qu'ils appartenaient à la société sud-coréenne d'IA AI-NOMIS et à son application web GenNomis.
Lundi, les sites web de GenNomis et d'AI-NOMIS étaient éteints.
L'article de Fowler sur sa découverte (https://www.vpnmentor.com/news/report-gennomis-breach/) décrit GenNomis comme un « service Nudify » – une référence à la pratique consistant à utiliser l'IA pour permuter des images de visages ou retirer numériquement des vêtements, généralement sans le consentement de la personne représentée, afin qu'elle apparaisse nue, ou dans une situation pornographique, ou similaire. Les clichés obtenus sont généralement photoréalistes, et encore plus humiliants et dommageables pour la victime, grâce aux capacités des systèmes d'IA actuels.
Un instantané Wayback Machine de GenNomis.com consulté par The Register comprend le texte suivant : « Générez des images sans restriction et connectez-vous à votre personnage IA personnalisé ! » Sur les 48 images recensées dans l'instantané archivé, seules trois ne représentent pas de jeunes femmes. L'instantané contient également un texte décrivant la capacité de GenNomis à remplacer le visage d'une image. Une autre page comprend un onglet intitulé « NSFW ».
Fowler a écrit que sa découverte illustre « comment cette technologie pourrait être utilisée abusivement par les utilisateurs, et que les développeurs doivent redoubler d'efforts pour se protéger et protéger les autres. » Autrement dit, il est déjà assez grave que l'IA puisse être utilisée pour placer des personnes dans des films pornographiques artificiels, que les images qui en résultent puissent être divulguées en masse est un autre niveau.
« Cette fuite de données ouvre un débat plus large sur l'ensemble du secteur de la génération d'images sans restriction », a-t-il ajouté.
Cela soulève également la question de savoir si les sites web proposant des outils d'échange de visages et de génération d'images par IA appliquent leurs propres règles.
Selon Fowler, les règles d'utilisation de GenNomis interdisaient, entre autres, la création d'images explicites représentant des enfants. Le site avertissait que la création de tels contenus entraînerait la fermeture immédiate du compte. Cependant, d'après les informations recueillies par le chercheur, il est difficile de savoir si ces règles étaient appliquées activement. Quoi qu'il en soit, les données sont restées dans un espace public hébergé par Amazon.
Bien qu'elles soient générées par ordinateur, il est illégal et hautement contraire à l'éthique de permettre à l'IA de générer ces images sans protection ni modération.
« Malgré le fait que j'aie vu de nombreuses images classées comme interdites et potentiellement illégales, on ignore si ces images étaient accessibles aux utilisateurs ou si les comptes ont été suspendus », a écrit Fowler. « Cependant, ces images semblent avoir été générées via la plateforme GenNomis et stockées dans la base de données rendue publique. »
Fowler a déclaré avoir découvert le bucket S3 (voici une capture d'écran) le 10 mars (https://www.vpnmentor.com/wp-content/uploads/2025/03/VM-GenNomis-data-breach-4.png) montrant plusieurs noms de dossiers de stockage cloud, et l'avoir signalé deux jours plus tard à l'équipe responsable de GenNomis et d'AI-NOMIS.
« Ils l'ont immédiatement supprimé, sans réponse », a-t-il déclaré à The Register. « La plupart des développeurs auraient dit : "Nous sommes très soucieux de la sécurité et de la protection contre les abus, et nous prenons des mesures pour améliorer notre service." »
GenNomis, nous a expliqué Fowler, « est simplement devenu silencieux et a sécurisé les images » avant la mise hors ligne du site web. Le contenu du bucket S3 a également disparu.
« C'est l'une des premières fois que je découvre les coulisses d'un service de génération d'images par IA, et c'était très intéressant de voir les messages et les images qu'ils créent », nous a-t-il confié, ajoutant qu'en plus de dix ans de recherche et de signalement de stockages cloud laissés ouverts par inadvertance sur le web, c'est seulement la troisième fois qu'il voit des images explicites d'enfants.
Les gouvernements, les forces de l'ordre et certaines entreprises agissent pour lutter contre les images explicites générées par l'IA et les dommages réels qu'elles peuvent causer.
Plus tôt cette année, le gouvernement britannique s'est engagé à criminaliser la création et le partage d'images deepfakes sexuellement explicites.
Aux États-Unis, la loi bipartite Take It Down Act (https://www.commerce.senate.gov/services/files/A42A827D-03B5-4377-9863-3B1263A7E3B2) vise à criminaliser la publication d'images sexuellement exploitées non consensuelles, y compris les deepfakes générés par l'IA, et à obliger les plateformes à supprimer ces images dans un délai de 48 heures. Le projet de loi a été adopté par le Sénat et attend d'être examiné par la Chambre des représentants.
Début mars, la police fédérale australienne a arrêté deux hommes soupçonnés d'avoir généré des images d'abus sexuels sur mineurs, dans le cadre d'une opération internationale de répression menée par les autorités danoises.
Fin 2024, certains des plus grands acteurs technologiques américains, dont Adobe, Anthropic, Cohere, Microsoft, OpenAI et le référentiel de données web open source Common Crawl, ont signé un engagement non contraignant visant à empêcher l'utilisation de leurs produits d'IA pour générer des images pornographiques deepfake et des contenus pédopornographiques non consensuels.
Malheureusement, comme le démontre la découverte de Fowler, tant qu'il y aura une demande pour ce type de contenu écœurant, il y aura toujours des escrocs prêts à permettre aux utilisateurs de le produire et de le distribuer via des sites Web.