Incidents associés
Vous pourriez très bien recevoir un appel dans un proche avenir d'un proche qui a un besoin urgent d'aide, vous demandant de lui envoyer de l'argent rapidement. Et vous pourriez être convaincu que ce sont eux parce que, eh bien, vous connaissez leur voix.
L'intelligence artificielle change cela. Nouvelle IA générative les outils peuvent créer toutes sortes de résultats à partir de simples invites de texte, y compris essais écrits dans le style d'un auteur particulier, images dignes de prix d'art, et - avec juste un extrait de la voix de quelqu'un avec qui travailler - discours qui ressemble de manière convaincante à une personne en particulier.
En janvier, des chercheurs de Microsoft ont fait la démonstration d'une IA text-to-speech. outil qui, lorsqu'il ne reçoit qu'un échantillon audio de trois secondes, peut simuler de près la voix d'une personne. Ils n'ont pas partagé le code pour que d'autres puissent jouer avec ; au lieu de cela, ils ont averti que l'outil, appelé VALL-E, "pourrait comporter des risques potentiels en cas d'utilisation abusive... tels que l'usurpation d'identité vocale ou l'usurpation d'identité d'un locuteur spécifique".
Mais une technologie similaire est déjà dans la nature et les escrocs en profitent. S'ils peuvent trouver 30 secondes de votre voix quelque part en ligne, il y a de fortes chances qu'ils puissent la cloner et lui faire dire n'importe quoi.
"Il y a deux ans, même un an, il fallait beaucoup d'audio pour cloner la voix d'une personne. Maintenant… si vous avez une page Facebook… ou si vous avez enregistré un TikTok et que votre voix y est pendant 30 secondes, les gens peuvent cloner votre voix », Hany Farid, professeur de criminalistique numérique à l'Université de Californie à Berkeley, a déclaré au Washington Post.
"L'argent est parti"
Le Post rapporté ce week-end sur le péril, décrivant comment une famille canadienne a été victime d'escrocs utilisant l'IA. clonage de la voix et perdu des milliers de dollars. Un « avocat » a dit aux parents âgés que leur fils avait tué un diplomate américain dans un accident de voiture, était en prison et avait besoin d'argent pour les frais juridiques.
Le prétendu avocat aurait ensuite remis le téléphone au fils, qui aurait dit aux parents qu'il les aimait et les appréciait et qu'il avait besoin d'argent. La voix clonée était "suffisamment proche pour que mes parents croient vraiment qu'ils m'ont parlé", a déclaré le fils, Benjamin Perkin, au Post.
Les parents ont envoyé plus de 15 000 dollars via un terminal Bitcoin à… enfin, à des escrocs, pas à leur fils, comme ils le pensaient.
"L'argent est parti", a déclaré Perkin au journal. "Il n'y a pas d'assurance. Il n'y a pas moyen de le récupérer. C'est parti."
Une entreprise qui propose une I.A. générative. outil vocal, ElevenLabs, tweeted le 30 janvier qu'il voyait "un nombre croissant de cas d'abus de clonage de voix". Le lendemain, il a annoncé que la capacité de clonage de la voix ne serait plus disponible pour les utilisateurs de la version gratuite de son outil, VoiceLab.
Fortune a contacté l'entreprise pour un commentaire mais n'a pas reçu de réponse immédiate.
"Presque tout le contenu malveillant a été généré par des comptes gratuits et anonymes", a-t-il écrit. « Une vérification d'identité supplémentaire est nécessaire. Pour cette raison, VoiceLab ne sera disponible que sur les niveaux payants. » (Les abonnements commencent à 5 $ par mois.)
La vérification des cartes n'arrêtera pas tous les mauvais acteurs, a-t-il reconnu, mais cela rendrait les utilisateurs moins anonymes et les "forcerait à réfléchir à deux fois".