Problème 2785

Les modèles d'IA conçus pour simuler étroitement la voix d'une personne permettent aux mauvais acteurs d'imiter plus facilement leurs proches et d'arnaquer des personnes vulnérables avec des milliers de dollars, [The Washington Post rapporté](https://www.washingtonpost.com/technology/2023 /03/05/ai-voice-scam/).

Évoluant rapidement dans la sophistication, certains logiciels de génération de voix IA ne nécessitent que quelques phrases [d'audio](https://arstechnica.com/information-technology/2023/01/microsofts-new-ai-can-simulate-anyones-voice -with-3-seconds-of-audio/) pour produire de manière convaincante un discours qui [transmet le son et le ton émotionnel de la voix d'un locuteur](https://arstechnica.com/information-technology/2022/09/with-koe- recast-you-can-change-your-voice-as-easily-as-your-clothing/), tandis que d'autres options nécessitent [aussi peu que trois secondes](https://arstechnica.com/information-technology/2023/ 01/microsofts-new-ai-can-simulate-anyones-voice-with-3-seconds-of-audio/). Pour les personnes ciblées – qui sont souvent des personnes âgées, a rapporté le Post – il peut être de plus en plus difficile de détecter quand une voix est inauthentique, même lorsque les circonstances d'urgence décrites par les escrocs semblent invraisemblables.

Les progrès technologiques facilitent apparemment la chasse aux pires peurs des gens et effrayent les victimes qui ont déclaré au Post qu'elles ressentaient une "horreur viscérale" en entendant ce qui ressemblait à des appels directs d'amis ou de membres de la famille ayant un besoin urgent d'aide. Un couple a envoyé 15 000 $ via un terminal bitcoin à un escroc après avoir cru avoir parlé à leur fils. La voix générée par l'IA leur a dit qu'il avait besoin de frais juridiques après avoir été impliqué dans un accident de voiture qui a tué un diplomate américain.

[Selon la Federal Trade Commission](https://www.ftc.gov/news-events/news/press-releases/2023/02/new-ftc-data-show-consumers-reported-losing-nearly-88 -billion-scams-2022), les escroqueries dites d'imposteurs sont extrêmement courantes aux États-Unis. Il s'agissait du type de fraude le plus fréquemment signalé en 2022 et a généré les deuxièmes pertes les plus élevées pour les personnes ciblées. Sur 36 000 rapports, plus de 5 000 victimes ont été escroquées sur 11 millions de dollars par téléphone.

Étant donné que ces escroqueries par des imposteurs peuvent être lancées de n'importe où dans le monde, il est extrêmement difficile pour les autorités de les réprimer et d'inverser la tendance inquiétante, a rapporté le Post. Non seulement il est difficile de retracer les appels, d'identifier les escrocs et de récupérer des fonds, mais il est également parfois difficile de décider quelles agences ont compétence pour enquêter sur des cas individuels lorsque les escrocs opèrent à partir de différents pays. Même lorsqu'il est évident quelle agence doit enquêter, certaines agences sont actuellement mal équipées pour gérer le nombre croissant d'usurpations d'identité.

Ars n'a pas pu joindre immédiatement la FTC pour un commentaire. Will Maxson, directeur adjoint de la division des pratiques marketing de la FTC, a déclaré au Post que la sensibilisation aux escroqueries reposant sur des simulateurs de voix IA est probablement la meilleure défense des consommateurs actuellement. Il est recommandé de traiter toute demande d'argent avec scepticisme. Avant d'envoyer des fonds, essayez de contacter la personne qui semble demander de l'aide par des méthodes autres qu'un appel vocal.

Protections contre l'usurpation d'identité par l'IA

Les outils de modélisation vocale de l'IA ont été utilisés pour améliorer la génération de synthèse vocale, créer de nouvelles possibilités d'édition vocale et étendre la magie du cinéma en [clonant des voix célèbres comme celle de Dark Vador](https://arstechnica.com/information-technology/ 2022/09/james-earl-jones-signed-darth-vader-voice-rights-to-disney-for-ai-use/). Mais le pouvoir de produire facilement des simulations vocales convaincantes a déjà provoqué des scandales, et personne ne sait qui est à blâmer lorsque la technologie est mal utilisée.

Plus tôt cette année, il y a eu un contrecoup lorsque certains membres de 4chan ont fait de fausses voix de célébrités faisant des déclarations racistes, offensantes ou violentes. À ce stade, il est devenu clair que les entreprises devaient envisager d'ajouter davantage de garanties pour empêcher l'utilisation abusive de la technologie, [Vice a rapporté](https://www.vice.com/en/article/dy7mww/ai-voice-firm-4chan -celebrity-voices-emma-watson-joe-rogan-elevenlabs) - ou risquent d'être tenus responsables d'avoir causé des dommages importants, comme ruiner la réputation de personnes célèbres.

Les tribunaux n'ont pas encore décidé quand ou si les entreprises seront tenues responsables des dommages causés par la technologie vocale deepfake - ou toute autre technologie d'intelligence artificielle de plus en plus populaire, comme ChatGPT - où les risques de diffamation et de désinformation semblent augmenter.

Cependant, il peut y avoir une pression croissante sur les tribunaux et les régulateurs pour contrôler l'IA, car de nombreuses entreprises semblent lancer des produits d'IA sans connaître pleinement les risques encourus.

À l'heure actuelle, certaines entreprises ne semblent pas disposées à ralentir les versions de fonctionnalités d'IA populaires, y compris celles controversées qui permettent aux utilisateurs d'imiter les voix de célébrités. Plus récemment, Microsoft a déployé une nouvelle fonctionnalité lors de son aperçu de Bing AI qui peut être utilisée pour émuler des célébrités, [Gizmodo rapporté](https://gizmodo.com/bing-ai-celebrity-mode-andrew-tate-google-ai -1850191980). Avec cette fonctionnalité, Microsoft semble tenter d'esquiver tout scandale en limitant ce que les voix des célébrités impostrices peuvent être invitées à dire.

Microsoft n'a pas répondu à la demande de commentaires d'Ars sur l'efficacité actuelle des mesures de protection pour empêcher l'émulateur vocal de célébrités de générer un discours offensant. Gizmodo a souligné que, comme de nombreuses entreprises désireuses de bénéficier de la fascination généralisée pour les outils d'IA, Microsoft compte sur ses millions d'utilisateurs pour tester en version bêta son "IA toujours dysfonctionnelle", qui peut apparemment encore être utilisée pour générer un discours controversé en le présentant. comme parodie. Le temps nous dira dans quelle mesure les premières solutions sont efficaces pour atténuer les risques.

En 2021, la FTC a publié des directives sur l'IA, informant les entreprises que les produits doivent « faire plus de bien que de mal » et que les entreprises doivent être prêtes à se tenir responsables des risques liés à l'utilisation des produits. Plus récemment, la FTC le mois dernier a dit aux entreprises : les risques et l'impact raisonnablement prévisibles de votre produit d'IA avant de le mettre sur le marché. »