Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 2871

Incidents associés

Incident 5084 Rapports
Celebrities' Deepfake Voices Abused with Malicious Intent

Deepfake audio : le cas d'Emma Watson est la preuve que le clonage de la voix est un problème qui va augmenter
cosmopolitan.com · 2023

Emma Watson est devenue un nom familier. Elle est aussi, malheureusement, devenue l'une des célébrités les plus falsifiées en ligne.

Ce mot - '[deepfake] (https://www.cosmopolitan.com/uk/reports/a35245657/deepfake-porn/)' - s'intègre lentement dans notre lexique quotidien alors que des militants inquiets parlent de deepfaking (une forme de Médias synthétiques générés par l'IA qui peuvent donner l'impression que quelqu'un fait n'importe quoi dans une vidéo ou une image fixe) pour sensibiliser et [encourager la mise en place de lois strictes](https://www.cosmopolitan.com/uk/ reports/a42067496/deepfakes-illegal-laws/). Mais, à ce stade précoce, où les deepfakes se propagent encore dans la conscience publique de masse, ils sont pour la plupart encore associés à des démantèlements politiques ou à des femmes montées dans des scénarios pornographiques. En grande partie, sans leur consentement.

Mais il y a plus que les vidéos deepfake dont nous devrions nous préoccuper et dont nous devrions parler, à savoir : l'audio deepfake.

Pouvez-vous falsifier la voix de quelqu'un ?

Plus de 90 % du contenu deepfake en ligne est de nature sexuelle et présente une victime féminine (qu'il s'agisse d'une célébrité ou d'un membre de grand public), la plupart sont non consensuelles. Tout aussi alarmant est le fait que de nombreux visages célèbres qui sont populaires sur les sites Web deepfake, qui reçoivent des millions de visites par mois, sont également entrés sous les projecteurs à un jeune âge – et parfois, des images d'eux alors qu'ils étaient mineurs sont utilisées pour générer des vidéos pornographiques. .

Aujourd'hui, en l'an 2023, nous sommes généralement tous conscients que les images Photoshopped peuvent être (et sont souvent) créées et publiées sans aucune clause de non-responsabilité. Nous savons les rechercher sur Instagram, via des cadres de porte incurvés ou des carreaux de sol bancals. Les Kardashians sont souvent appelés pour leurs échecs Photoshop. Nous en venons aussi lentement à l'idée que les vidéos peuvent aussi être déformées, grâce à [le problème du "filtre amincissant" de Nicki Minaj](https://www.cosmopolitan.com/uk/body/health/a41079762/ nicki-minaj-slimming-filter/) et la nouvelle série d'ITVX, Deep Fake Neighbor Wars, qui voit ténuement "Idris Elba", "Greta Thunberg" et "Kim Kardashian" être des voisins argumentatifs. (Les célébrités sont générées par l'IA et combinées avec les corps d'imitateurs, qui font également des voix off.)

Comment diable ITVX a pu s'en tirer en utilisant les ressemblances de ces célébrités est curieux et effrayant dans la même mesure, mais, vraisemblablement, le manque de législation solide en place (quelque chose [que le gouvernement a promis sera partiellement résolu dans le nouveau projet de loi sur la sécurité en ligne] (https://www.cosmopolitan.com/uk/reports/a42067496/deepfakes-illegal-laws/)) entourant le deepfake de l'image de quelqu'un, avec ou sans son consentement, en fait partie. Lorsqu'on lui a demandé, un porte-parole d'ITVX a déclaré à Cosmopolitan UK : "Des émissions de divertissement comiques avec des impressionnistes sont sur nos écrans depuis le début de la télévision, la différence avec notre émission est que nous utilisons la toute dernière technologie d'IA pour apporter une nouvelle perspective passionnante à la genre." Ils publient également une clause de non-responsabilité au début de chaque épisode indiquant qu'aucune des célébrités impliquées n'a consenti, et ont un filigrane "Deep Fake" sur l'écran tout au long.

Mais, lorsqu'il s'agit de discuter des règles entourant deepfaked audio - les règles sont encore plus fragiles - et maintenant, nous voyons les dégâts que le clonage vocal peut faire se produire tout aussi rapidement. Malheureusement, c'est quelque chose dont Emma Watson a de nouveau été la cible, à une échelle terrifiante. Récemment, un étrange clip vocal généré par l'IA d'"elle" lisant Mein Kampf d'Adolf Hitler (dans lequel le dictateur meurtrier décrit son manifeste politique) a été publié sur 4chan, un site de forum de discussion connu pour avoir des courants sombres et une forte communauté incel , montrant à quel point cette technologie devient puissante (et accessible). À plus grande échelle, en 2020, des criminels avertis ont même utilisé du deepfake audio pour [tromper un directeur de banque](https://www.forbes.com/sites/thomasbrewster/2021/10/14/huge-bank-fraud- utilise-deep-fake-voice-tech-to-steal-millions/) à Hong Kong pour autoriser un transfert de 35 millions de dollars.

Des inquiétudes ont également été soulevées quant à l'utilisation d'audio deepfake (ou `` voix profonde '') lorsqu'il s'agit de faire chanter des individus, ou la possibilité que des clips falsifiés soient présentés comme preuve lors de procès. Alors, que pouvons-nous faire à propos de tout cela ?

"Les criminels ont même utilisé l'audio pour inciter un directeur de banque à autoriser un transfert de 35 millions de dollars"

Le site technologique Motherboard suggère que le clip de Watson a été réalisé avec ElevenLabs ' (une "plate-forme vocale IA promettant de révolutionner la narration audio" qui est encore en phase de test bêta) programme de simulation vocale. D'autres publications ont soutenu cela, avec The Verge expérimentant et rapportant également être capable à la voix du marionnettiste Joe Biden en lisant un scénario qu'ils avaient écrit en quelques minutes. En réponse à ces inquiétudes soulevées dans la presse et sur les réseaux sociaux, ElevenLabs a ensuite publié un fil sur Twitter disant qu'ils réprimeraient ceux qui souhaitent utiliser leur IA de copie vocale de manière anonyme ou pour des raisons préjudiciables.

"Nous avons toujours eu la possibilité de retracer n'importe quel clip audio généré jusqu'à un utilisateur spécifique. Nous allons maintenant aller plus loin et publier un outil qui permet à quiconque de vérifier si un échantillon particulier a été généré à l'aide de notre technologie et de signaler une mauvaise utilisation", une déclaration publiée le 31 janvier lire. "Presque tout le contenu malveillant a été généré par des comptes gratuits et anonymes. Une vérification d'identité supplémentaire est nécessaire. Pour cette raison, VoiceLab ne sera disponible que sur les niveaux payants. Ce changement sera déployé dès que possible."

Il a poursuivi en disant: "Nous suivons le contenu nuisible qui nous est signalé sur les comptes dont il provient et nous interdisons ces comptes pour avoir enfreint notre politique [...] Nous continuerons à surveiller la situation ."

Quant aux utilisations positives possibles de l'audio deepfake ? Certains ont suggéré que cela pourrait aider à transformer des scripts en podcasts ou en pièces radiophoniques, être bénéfique pour la création de livres audio et être utile aux utilisateurs malvoyants. Les goûts d'ElevenLabs ont également des voix non-célèbres disponibles pour fournir n'importe quel texte/formulation requis, avec un ton, une inclinaison et un modèle de parole à consonance humaine (c'est-à-dire : les robots ne sonnent tout simplement plus comme des robots) - mais ils sont loin de la seule entreprise à se lancer dans ce domaine, ou offrant aux utilisateurs la possibilité de créer leurs propres scénarios à voix profonde.

Ceci n'est qu'un autre grand signal d'alarme sociétal : la technologie deepfake - [et l'IA en général] (https://www.cosmopolitan.com/uk/entertainment/a42721512/what-is-chatgpt-viral-chat-bot/) - deviendra encore plus ancrée dans tous les aspects de nos vies, et cela rend plus important que jamais de rester vigilant à son égard. Les pouvoirs qui se trouvent dans la sphère technologique doivent mieux contrôler les bêtes qu'ils ont construites, et le gouvernement doit les tenir responsables de le faire.

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • eeb4352