Incidents associés
Une ville d'Espagne a fait la une des journaux internationaux après qu'un certain nombre de jeunes écolières ont déclaré avoir reçu des images fabriquées d'elles-mêmes nues, créées à l'aide d'une « application de déshabillage » facilement accessible et alimentée par l'intelligence artificielle, soulevant un débat plus large sur les dommages que ces outils peuvent causer.
"Aujourd'hui, un smartphone peut être considéré comme une arme", a déclaré à ABC News José Ramon Paredes Parra, le père d'une victime de 14 ans. "Une arme avec un réel potentiel de destruction et je ne veux pas que cela se reproduise."
Plus de 30 victimes âgées de 12 à 14 ans ont été identifiées jusqu'à présent et une enquête est en cours depuis le 18 septembre, a déclaré la police nationale espagnole à ABC News.
Et si la plupart des victimes sont originaires d'Almendralejo, une ville du sud-ouest de l'Espagne au centre de cette polémique, la police nationale espagnole affirme avoir également retrouvé des victimes dans d'autres régions du pays.
Un groupe d'agresseurs masculins, qui, selon la police, connaissaient la plupart des victimes, ont utilisé des photos prises à partir des profils de réseaux sociaux de femmes victimes et les ont téléchargées sur une application nudify, ont déclaré les autorités à ABC News.
Nudify est un terme utilisé pour décrire un outil alimenté par l'IA conçu pour retirer les vêtements d'un sujet sur une photo. Dans ce cas, le service peut être utilisé via Telegram ou via une application que vous téléchargez sur votre téléphone.
Ces mêmes auteurs, également mineurs, ont créé une discussion de groupe sur WhatsApp et sur Telegram pour diffuser ces images de nus fabriquées de manière non consensuelle, ont déclaré les autorités à ABC News. Les fausses images ont été utilisées pour extorquer à au moins une victime sur Instagram de vraies images nues ou de l'argent, a déclaré le parent de l'une des victimes.
Telegram a déclaré à ABC News qu'il modérait activement les contenus préjudiciables sur sa plateforme, y compris la distribution de matériel pédopornographique (CSAM). "Les modérateurs utilisent une combinaison de surveillance proactive des parties publiques de l'application et des rapports des utilisateurs afin de supprimer le contenu qui enfreint nos conditions de service." Au cours du mois de septembre, Telegram indique que les modérateurs ont supprimé 45 000 groupes et chaînes liés à la maltraitance des enfants.
Le porte-parole de WhatsApp a déclaré à ABC News qu'ils traiteraient « cette situation de la même manière que tout type de CSAM dont nous avons connaissance sur notre plateforme : nous bannirions les personnes impliquées et les signalerions au Centre national pour les enfants disparus et exploités ».
"Il s'agit d'un abus direct contre les femmes et les filles, par une technologie spécialement conçue pour abuser des femmes et des filles", a déclaré le professeur Clare McGlynn, professeur de droit à l'Université de Durham au Royaume-Uni et experte en violence contre les femmes et les filles.
ABC News a contacté l'adresse e-mail indiquée sur le site Web de l'application et a reçu une réponse. L'équipe derrière l'application a déclaré que la principale raison pour laquelle elle avait créé ce type de service était de faire « rire les gens » en « traitant leurs propres photos et de rire ensemble en traitant les photos des autres ».
"En les faisant rire, nous voulons montrer aux gens qu'ils n'ont pas besoin d'avoir honte de la nudité, surtout si elle a été réalisée par des réseaux de neurones", a expliqué l'équipe par courrier électronique.
Lorsqu'on leur a demandé quelles garanties étaient en place concernant l'utilisation de l'application avec des photos de mineurs, ils ont répondu qu'ils avaient mis en place des protections pour les photos de personnes de moins de 18 ans. Si un utilisateur tente de télécharger une photo d'un mineur, il le fera. recevoir une erreur et être bloqué après deux utilisations, ont-ils ajouté.
L'équipe derrière l'application a déclaré avoir enquêté sur la façon dont son application avait été utilisée après l'annonce de l'affaire en Espagne et a découvert que les auteurs avaient une solution de contournement et avaient probablement utilisé une combinaison de leur application et d'une autre application pour créer des nus non consensuels.
Les experts disent à ABC News que tout ce qu'il faut pour créer un deepfake hyper réaliste et non consensuel est une photo, une adresse e-mail et quelques dollars si vous souhaitez les créer en masse.
ABC News a examiné l'application nudify, selon les autorités espagnoles, qui a été utilisée pour créer ces images explicites de jeunes filles générées par l'IA. L'application propose un service gratuit qui peut être utilisé via Telegram, ainsi qu'une application que vous pouvez télécharger sur votre téléphone.
Lorsque ABC News a examiné l'application, elle proposait un service payant premium répertoriant les méthodes de paiement telles que Visa, Mastercard et Paypal. Ces méthodes de paiement, ainsi que plusieurs autres, ont été supprimées après qu'ABC News ait contacté.
Un porte-parole de Visa a déclaré à ABC News qu'il n'autorisait pas l'utilisation de son réseau à des fins d'activités illégales. "Les règles Visa exigent que les commerçants obtiennent le consentement de toutes les personnes représentées dans tout contenu pour adultes, y compris le contenu généré ou modifié par ordinateur, tel que les deepfakes", a ajouté un porte-parole.
Un porte-parole de Paypal a déclaré à ABC News qu'il « prend très au sérieux sa responsabilité de garantir que les clients n'utilisent pas ses services pour des activités qui ne sont pas autorisées par sa politique d'utilisation acceptable. Nous examinons régulièrement les comptes et lorsque nous trouvons des paiements qui enfreignent nos politiques, nous prendra les mesures appropriées.
Mastercard n'a pas répondu aux demandes de commentaires.
Parra et son épouse, le Dr Miriam Al Adib Mendiri, se sont rendus directement à la police locale après avoir déclaré que leur fille leur avait confié qu'elle avait été prise pour cible et qu'ils avaient également décidé d'utiliser le large public de Mendiri pour dénoncer publiquement le crime.
"Ici, nous sommes unis pour ARRÊTER CELA MAINTENANT. Utiliser les images d'autres personnes pour commettre cette barbarie et les diffuser est un crime très grave", a partagé Mendiri dans une vidéo Instagram. "[…] Les filles, n'ayez pas peur de signaler de tels actes. Parlez-en à vos mères."
L'appel public de Mendiri a amené de nombreuses autres victimes à se manifester auprès de la police. Les autorités locales affirment que certains des auteurs ont moins de 14 ans, ce qui signifie qu'ils devront être jugés en vertu du droit pénal mineur. Les enquêtes sont en cours, a confirmé la police nationale espagnole.
"S'ils ne comprennent pas ce qu'ils ont fait maintenant, s'ils ne s'en rendent pas compte, que deviendront-ils plus tard ?" dit Parra. "Peut-être un violeur, peut-être un auteur de violence sexiste… ils doivent être éduqués et changer maintenant."
Des experts comme McGlynn estiment que l’accent devrait être mis sur la façon dont les plateformes de recherche mondiales classent les images deepfake non consensuelles et les applications qui facilitent la création d’images non consensuelles.
"Google renvoie les sites Web nudify en tête de son classement, permettant et légitimant ces comportements", a déclaré McGlynn. "Il n'y a aucune raison légitime d'utiliser les applications nudify sans consentement. Elles devraient être déclassées par les plateformes de recherche telles que Google."
Un autre expert, qui a fondé une entreprise pour aider les particuliers à supprimer les contenus privés divulgués en ligne, était d'accord avec McGlynn.
"Les applications conçues essentiellement pour déshabiller les femmes sans méfiance n'ont aucune place dans notre société, encore moins dans les moteurs de recherche", a déclaré Dan Purcell, fondateur de Ceartas. "Nous entrons dans une période endémique d'enfants utilisant l'IA pour déshabiller les enfants, et tout le monde devrait être inquiet et indigné."
Un porte-parole de Google a répondu en déclarant : « Comme tout moteur de recherche, Google indexe le contenu qui existe sur le Web, mais nous concevons activement nos systèmes de classement pour éviter de choquer les gens avec un contenu inattendu, nuisible ou explicite. Nous disposons également de protections bien développées pour aider les personnes touchées par de la fausse pornographie involontaire : les personnes peuvent demander la suppression des pages les concernant qui incluent ce contenu.
Ils ont ajouté qu'à mesure que cet espace et cette technologie évoluent, "ils travaillent activement pour ajouter davantage de mesures de protection pour aider à protéger les personnes, sur la base des systèmes que nous avons construits pour d'autres types d'images explicites non consensuelles".
Bing de Microsoft est un autre moteur de recherche dans lequel les sites Web contenant des images deepfake non consensuelles sont facilement consultables. Un porte-parole de Microsoft a déclaré à ABC News : « La distribution d'images intimes non consensuelles (NCII) constitue une violation flagrante de la vie privée et de la dignité personnelle, avec des effets dévastateurs pour les victimes. Microsoft interdit le NCII sur nos plateformes et services, y compris la sollicitation du NCII ou la promotion d'images intimes non consensuelles. pour la production ou la redistribution d'images intimes sans le consentement de la victime."