Incidents associés
Un chatbot IA et générateur d'images, principalement vendu comme outil de création d'images érotiques pour jeux de rôle, a été quasiment abandonné par ses développeurs. Ce système expose publiquement sur Internet les données personnelles de millions d'utilisateurs connectés. Comme l'a révélé 404 Media, Secret Desires a laissé ses serveurs de stockage cloud vulnérables, exposant près de deux millions d'images et de vidéos, associées à des noms, des lieux de travail et des universités.
Cet incident illustre de façon alarmante comment la prolifération rapide de services d'IA destinés aux adultes peut associer des contenus sensibles à une sécurité laxiste, engendrant un risque disproportionné non seulement de deepfakes non consensuels, mais aussi de pédopornographie.
Moins d'une heure après que des journalistes ont contacté l'entreprise, l'un d'eux a constaté que les fichiers exposés étaient devenus inaccessibles. Secret Desires n'a pas répondu à notre demande de commentaires.
Ce que les enquêteurs ont découvert : des désirs secrets exposés
Parmi les images et vidéos explicites générées par IA que les chercheurs ont découvertes dans ces dossiers ouverts, figuraient des contenus créés par une fonctionnalité de remplacement de visage désormais désactivée. Ce trésor comprenait des images extraites des réseaux sociaux ainsi que des captures d'écran privées, avec des fichiers liés à des influenceurs, des personnalités publiques et des internautes lambda. De manière inquiétante, certains noms de fichiers suggéraient la présence d'images de victimes mineures, illustrant comment les outils d'IA représentent encore un danger pour la société, étant utilisés à des fins illégales pour produire du contenu.
Plus préoccupant encore, la structure de stockage pouvait contenir des informations personnelles identifiables, au-delà des simples images. L'association de fichiers multimédias explicites avec le nom, l'établissement scolaire et le lieu de travail d'une personne décuple les risques de harcèlement, d'extorsion et de divulgation d'informations personnelles – des maux que les experts d'organisations telles que l'Electronic Frontier Foundation et l'Internet Watch Foundation prévoient déjà comme étant de plus en plus graves à mesure que les outils d'IA générative se démocratisent.
Une faille de sécurité cloud imminente
Le problème sous-jacent – un stockage cloud mal configuré – est à la fois banal et répandu. Les équipes de sécurité alertent depuis longtemps sur le fait que les compartiments publics et les contrôles d'accès laxistes figurent parmi les vecteurs les plus courants de fuites massives de données. Ce constat a été confirmé par d'innombrables évaluations des menaces réalisées par des entreprises de sécurité de premier plan, qui ont révélé que les erreurs de configuration demeurent l'une des principales causes d'exposition des données cloud, en particulier pour les jeunes entreprises à forte croissance dépourvues de gouvernance mature.
Tout service traitant des contenus sensibles devrait aujourd'hui prendre en charge au minimum les compartiments privés par défaut, une gestion stricte des identités et des accès, des liens pré-signés à durée de vie limitée, le chiffrement des données au repos et en transit, ainsi qu'une surveillance continue de la sécurité. Aucune donnée sensible ne devrait être stockée avec les noms de fichiers multimédias. Les métadonnées doivent être minimisées ou tokenisées afin d'éviter toute identification facile.
Le risque des deepfakes n'est pas théorique
Les outils d'échange de visages et de conversion d'images par IA peuvent rapidement générer des deepfakes explicites à partir d'images extraites des réseaux sociaux, de photos scolaires ou de sites de rencontre.
Des militants et des universitaires ont démontré que la grande majorité des cibles de deepfakes sont des femmes. L'intégration de chatbots IA proposant une « intimité illimitée » contribue à banaliser leur production à grande échelle, tout en facilitant l'accès à ce domaine pour les utilisateurs potentiels n'ayant aucune expérience technique.
Les forces de l'ordre et les organismes de protection de l'enfance, notamment le Centre national pour les enfants disparus et exploités (NCMEC), ont appelé les plateformes à surveiller activement ces images sexuelles synthétiques de mineurs. Des mesures telles que le hachage et la comparaison de type PhotoDNA, le filtrage immédiat des contenus les plus problématiques et l'estimation de l'âge peuvent atténuer les risques, mais de manière complexe. Le marquage numérique à l'échelle du système et les normes de provenance comme C2PA peuvent faciliter la traçabilité, à condition d'être adoptés à grande échelle.
Conformité et responsabilité : un retard en matière de sécurité de l'IA
Outre l'atteinte à la réputation, les plateformes d'IA sont de plus en plus exposées à des poursuites judiciaires. Les autorités de régulation ont indiqué que des failles de sécurité et des allégations trompeuses concernant la sécurité peuvent constituer des pratiques commerciales déloyales ou trompeuses. Dans les pays soumis à une législation sur la protection des données, le mélange d'informations personnelles identifiables et de contenus personnels expose à des obligations de notification de violation et à de lourdes amendes. Avec la mise en œuvre progressive de la loi européenne sur l'IA et des législations nationales sur les deepfakes, la nécessité d'un examen plus approfondi des cas d'utilisation à haut risque et d'une responsabilisation accrue en matière de prévention des abus se fait de plus en plus pressante.
Pour les outils d'IA destinés au traitement des contenus sexuels, une conformité efficace implique aujourd'hui de plus en plus la mise en place de mesures de vérification de l'âge, telles que des systèmes de contrôle d'âge robustes, des procédures de consentement explicites pour l'acquisition des données d'entraînement, des fonctionnalités de reporting détaillées pour les utilisateurs et des procédures de retrait rapides, en collaboration avec des organismes de signalement de confiance comme l'IWF et le NCMEC. Tam souligne que la sécurité ne peut être ajoutée a posteriori ; elle doit être intégrée dès la conception.
Si vous pensez avoir été concerné par cette fuite de données :
- Les personnes qui soupçonnent que leurs images sont concernées doivent conserver les preuves, signaler les images aux plateformes concernées et envisager de déposer une plainte auprès du NCMEC si des mineurs figurent sur l'image. Les victimes peuvent également demander le retrait de leurs données via les protocoles établis par le secteur pour la gestion des cas d'abus d'images intimes et de suppression de deepfakes.
Lorsqu'elles existent, les demandes de protection des données peuvent contraindre les plateformes à révéler les données stockées et à entamer le processus de suppression.
La fuite de données « Secret Desires » sonne l'alarme pour tout le secteur de l'IA à contenu explicite. Lorsque l'intimité est au cœur du commerce, la marge d'erreur est nulle. Les plateformes ouvertes et les techniques d'échange de visages peuvent certes stimuler la croissance, mais elles attirent aussi les préjudices et l'attention médiatique susceptibles de ruiner une plateforme du jour au lendemain.