Problème 2942

Les chercheurs ont découvert un "écosystème deepfake" sur l'application de messagerie Telegram centré sur des robots qui génèrent de faux nus sur demande. Les utilisateurs qui interagissent avec ces robots disent qu'ils créent principalement des nus de femmes qu'ils connaissent en utilisant des images tirées des médias sociaux, qu'ils partagent et échangent ensuite entre eux sur divers canaux Telegram.

L'enquête provient de la société de sécurité Sensity, qui se concentre sur ce qu'elle appelle des «renseignements visuels sur les menaces», en particulier la propagation des deepfakes. Les chercheurs de Sensity ont découvert que plus de 100 000 images avaient été générées et partagées sur les chaînes publiques de Telegram jusqu'en juillet 2020 (ce qui signifie que le nombre total d'images générées, y compris celles jamais partagées et celles créées depuis juillet, est beaucoup plus élevé). La plupart des utilisateurs de ces canaux, environ 70 %, viennent de Russie et des pays voisins, explique Sensity. The Verge a pu confirmer que de nombreux canaux étudiés par la société sont toujours actifs.

Les bots sont libres d'utilisation, mais ils génèrent de faux nus avec des filigranes ou seulement une nudité partielle. Les utilisateurs peuvent alors payer des frais égaux à quelques centimes pour "découvrir" complètement les images. Un «tarif débutant» facture aux utilisateurs 100 roubles (environ 1,28 $) pour générer 100 faux nus sans filigrane sur une période de sept jours. Sensity indique qu'"un nombre limité" d'images générées par des bots présentent des cibles "qui semblaient mineures".

The Verge et Sensity ont contacté Telegram pour demander pourquoi ils autorisent ce contenu sur leur application, mais n'ont pas encore reçu de réponse. Sensity dit avoir également contacté les autorités compétentes en matière d'application de la loi.

Le logiciel utilisé pour générer ces images est connu sous le nom de DeepNude. Il est apparu pour la première fois sur le Web en juin dernier, mais son le créateur [a supprimé son site Web] (https://www.theverge.com/2019/6/27/18761496/deepnude-shuts-down-deepfake-nude-ai-app-women) quelques heures après avoir reçu une couverture médiatique grand public, en disant "la probabilité que les gens en abusent est trop élevée". Cependant, le logiciel a continué à se répandre sur les backchannels, et Sensity dit que DeepNude "a depuis été rétro-conçu et peut être trouvé sous des formes améliorées sur des référentiels open source et des sites Web de torrents". Il est maintenant utilisé pour alimenter les robots Telegram, qui gèrent automatiquement les paiements pour générer des revenus pour leurs créateurs.

DeepNude utilise une technique d'IA connue sous le nom de réseaux antagonistes génératifs, ou GAN, pour générer de faux nus, les images résultantes variant en qualité. La plupart sont évidemment faux, avec de la chair maculée ou pixélisée, mais certains peuvent facilement être confondus avec de vraies images.

Depuis avant l'arrivée de Photoshop, les gens ont créé de faux nus de femmes non consensuels. Il existe actuellement de nombreux forums et sites Web dédiés à cette activité utilisant des outils non IA, les utilisateurs partageant des nus de célébrités et de personnes qu'ils connaissent. Mais les deepfakes ont conduit à la génération plus rapide d'images plus réalistes. Désormais, l'automatisation de ce processus via les robots Telegram rend la génération de faux nus aussi simple que l'envoi et la réception d'images.

"La principale différence est l'accessibilité de cette technologie", a déclaré Giorgio Patrini, PDG de Sensity et co-auteur du rapport, à The Verge. "Il est important de noter que d'autres versions du cœur de l'IA de ce bot, le traitement et la synthèse d'images, sont disponibles gratuitement sur les référentiels de code en ligne. Mais vous devez être un programmeur et avoir une certaine compréhension de la vision par ordinateur pour les faire fonctionner, autre que du matériel puissant. À l'heure actuelle, tout cela n'est pas pertinent car il est pris en charge par le bot intégré à une application de messagerie.

Le rapport de Sensity indique qu'il est "raisonnable de supposer" que la plupart des personnes utilisant ces bots "sont principalement intéressés par la consommation de pornographie deepfake" (qui reste [une catégorie populaire](https://www.wired.co.uk/article/deepfake -porn-websites-videos-law) sur les sites porno). Mais ces images et vidéos peuvent également être utilisées à des fins d'extorsion, de chantage, de harcèlement, etc. Il y a eu un certain nombre de documentés [cas](https://www.washingtonpost.com/ technology/2018/12/30/fake-porn-videos-are-being-weaponized-harass-humiliate-women-everybody-is-potential-target/) de femmes ciblées à l'aide de nus générés par l'IA, et il est possible que certains d'entre eux ceux qui créent des nus à l'aide des bots sur Telegram le font avec ces motifs à l'esprit.

Patrini a déclaré à The Verge que les chercheurs de Sensity n'avaient pas vu de preuves directes de l'utilisation des créations du bot à ces fins, mais a déclaré que la société pensait que cela se produisait. Il a ajouté que si la menace politique des deepfakes avait été "mal calculée" ("du point de vue des auteurs, il est plus facile et moins cher de recourir à des images de photoshopping et d'obtenir un impact similaire pour diffuser la désinformation, avec moins d'effort"), c'est clair que la technologie pose "une série de menaces pour la réputation et la sécurité personnelles".