Les membres de 4chan ont utilisé ElevenLabs pour faire de fausses voix d'Emma Watson, Joe Rogan et d'autres disant des choses racistes, transphobes et violentes.
Ce n'était qu'une question de temps avant que la vague de startups vocales générées par l'intelligence artificielle ne devienne un jeu de trolls sur Internet. Lundi, ElevenLabs, fondé par d'anciens employés de Google et de Palantir, a déclaré avoir découvert un "nombre croissant de cas d'abus de clonage de voix" lors de sa version bêta récemment lancée . ElevenLabs n'a signalé aucun cas particulier d'abus, mais Motherboard a constaté que les membres de 4chan semblent avoir utilisé le produit pour générer des voix qui ressemblent à Joe Rogan, Ben Shapiro et Emma Watson pour cracher du matériel raciste et d'autres types. ElevenLabs a déclaré qu'il explorait davantage de garanties autour de sa technologie.
Les clips téléchargés sur 4chan dimanche sont axés sur des célébrités. Mais étant donné la haute qualité des voix générées et la facilité apparente avec laquelle les gens les ont créées, elles mettent en évidence le risque imminent de clips audio deepfake. De la même manière, la vidéo deepfake a commencé comme une méthode permettant aux gens de créer de la pornographie non consensuelle de personnes spécifiques [avant de passer à d'autres cas d'utilisation] (https://www.vice.com/en/article/qjb7b7/ethical-deepfakes -deep-tom-cruise-ai-generated-porn), la trajectoire de l'audio deepfake ne fait que commencer.
Dans un exemple, une voix générée qui ressemble à l'acteur Emma Watson lit une section de Mein Kampf. Dans un autre, une voix très similaire à celle de Ben Shapiro tient des propos racistes sur Alexandria Ocasio-Cortez. Dans un troisième cas, quelqu'un disant que "les droits des trans sont des droits humains" est étranglé. Dans un autre, Rick Sanchez de la série animée Rick & Morty déclare : « Je vais battre ma femme Morty. Je vais battre ma putain de femme Morty. Je vais la battre à mort Morty. (Justin Roiland, qui exprime Sanchez, [a récemment comparu devant le tribunal pour une audience préliminaire sur des accusations de crime de violence domestique] (https://www.nbcnews.com/tech/internet/justin-roiland-rick-morty-allegations -violence-domestique-accusations-rcna65403). Roiland a plaidé non coupable en 2020).
Les clips vont de l'inoffensif au violent, en passant par le transphobe, l'homophobe et le raciste. Un article de 4chan qui comprenait une large diffusion des clips contenait également un lien vers la version bêta d'ElevenLabs, suggérant que le logiciel d'ElevenLabs a peut-être été utilisé pour créer les voix.
Sur son site Web, ElevenLabs propose à la fois la "synthèse vocale" et le "clonage de la voix". Pour ce dernier, ElevenLabs dit qu'il peut générer un clone de la voix de quelqu'un à partir d'un enregistrement d'échantillon propre, d'une durée de plus d'une minute. Les utilisateurs peuvent rapidement s'inscrire au service et commencer à générer des voix. ElevenLabs propose également un "clonage professionnel", qui, selon lui, peut reproduire n'importe quel accent. Les cas d'utilisation ciblés incluent les bulletins d'information, les livres et les vidéos, ajoute le site Web de l'entreprise.
Le site Web d'ElevenLabs indique que la société a été fondée par Piotr Dabkowski, un ancien ingénieur en apprentissage automatique de Google, et Mati Staniszewski, un ancien stratège en déploiement de Palantir. Ce mois-ci, la société a annoncé un tour de table de pré-amorçage de 2 millions de dollars dirigée par la société de capital-risque tchèque Credo.
Lundi, peu de temps après la diffusion des clips sur 4chan, ElevenLabs a écrit sur Twitter que "Week-end fou - merci à tous d'avoir essayé notre plateforme bêta. Alors que nous voyons notre technologie être massivement appliquée à une utilisation positive, nous constatons également un nombre croissant de cas d'utilisation abusive du clonage de la voix. ElevenLabs a ajouté que bien qu'il puisse retracer tout audio généré à un utilisateur spécifique, il explorait davantage de garanties. Il s'agit notamment d'exiger des informations de paiement ou une «identification d'identité complète» afin d'effectuer un clonage de voix, ou de vérifier manuellement chaque demande de clonage de voix.
ElevenLabs n'a pas répondu à une demande de commentaire.