Incidents associés
La campagne de harcèlement montre que s'il y a de l'audio de vous parlant disponible en ligne (podcasts, flux, YouTube), vous pourriez également être la cible de voix générées par l'IA.
Des voix générées par l'intelligence artificielle sont déjà utilisées pour harceler les gens ordinaires, des trolls en ligne créant les voix, puis leur faisant lire les adresses personnelles des victimes et publiant les résultats en ligne, selon quatre victimes auxquelles Motherboard s'est entretenu. Toutes les victimes de cette campagne particulière sont des acteurs de la voix qui ont travaillé sur des jeux vidéo dans le passé.
La nouvelle met en évidence la menace puissante que représentent les voix générées par l'IA pour quiconque dispose d'enregistrements de leurs voix disponibles en ligne. Les podcasteurs, les YouTubers et les streamers ne sont que quelques-uns des autres types de personnes susceptibles d'être ciblées par de telles attaques à l'avenir. Motherboard a précédemment rapporté comment les membres de 4chan ont créé des répliques synthétiques des voix de célébrités, [y compris dans un cas une réplique d'Emma Watson lisant Mein Kampf](https://www.vice.com/en/article/dy7mww/ai-voice-firm- 4chan-celebrity-voices-emma-watson-joe-rogan-elevenlabs). Ce type d'attaque s'étend maintenant aux personnes qui ne sont pas aussi connues que les célébrités hollywoodiennes.
"Bonjour, c'est Abbey [name] qui parle", dit un extrait sonore posté sur Twitter en utilisant une fausse voix d'un acteur appelé Abbey. La carte mère a caché les noms de famille de certains acteurs, dont celui d'Abbey, à leur demande. La voix synthétique lit ensuite l'adresse du domicile d'Abbey et ajoute "Je vis dans la ville [homophobe] qu'est Los Angeles. Oui, cela signifie aussi que je vis en Californie, l'État le plus [insulte raciste] des États-Unis. Personnellement, tuer des [insultes racistes] et des [actes sexuellement abusifs] des enfants est tout à fait acceptable. »
Les harceleurs ont publié des clips audio similaires sur Twitter, qui comprenaient l'adresse du domicile et de fausses voix d'au moins trois autres acteurs. Zane a travaillé sur les mods Fallout 4 ; Tom a travaillé sur Poppy Playtime. Ils ont également affiché l'adresse d'un autre acteur appelé Michael. Les comptes Twitter créés pour partager les informations privées de ces personnes ont également retweeté une autre vidéo en utilisant une voix générée par l'IA, cette fois dans le style de l'agent 47 des jeux Hitman.
"En gros, je viens de voir que j'étais tagué dans un message, et la chose que j'ai immédiatement remarquée était mon adresse personnelle, donc j'ai été pour le moins surpris", a déclaré Tom à Motherboard dans un e-mail. "Ensuite, j'ai enregistré qu'il y avait une rhétorique raciste, formulée de la manière la plus incendiaire possible de la manière dont un troll Internet pourrait le faire. D'après ce que j'ai compris, c'était un appât dès le départ, essayant de faire monter en puissance les acteurs de la voix qui avaient publiquement exprimé leurs inquiétudes à propos de l'IA. La semaine dernière Motherboard a rapporté sur les préoccupations soulevées au sein de l'industrie des acteurs de la voix au sujet des clients demandant acteurs de signer les droits de leurs voix afin que plus de matériel puisse être généré avec l'IA plus tard.
Twitter a supprimé un tweet offensant et suspendu un profil connexe. Mais dans plusieurs cas, Twitter n'a pas réussi à supprimer les tweets, bien qu'ils aient clairement enfreint [la politique de Twitter sur la publication d'informations privées] (https://help.twitter.com/en/rules-and-policies/personal-information) . Tom a déclaré: «Ce qui était le plus frustrant, c'était à quel point le système d'assistance de Twitter était inefficace pour supprimer le message. Indépendamment de l'identité volée, des informations privées publiées publiquement et des insultes racistes, le système d'assistance de Twitter a jugé que la publication et le compte étaient parfaitement corrects. Twitter a vidé son service de communication ; Elon Musk n'a pas répondu à une demande de commentaire.
Dans certains des tweets, y compris les adresses personnelles, le harceleur affirme que l'audio a été généré par une société d'intelligence artificielle appelée ElevenLabs. Le mois dernier Motherboard a rapporté que les membres de 4chan semblent ont utilisé ElevenLabs pour créer l'audio de célébrités. Apparemment en réponse à ces clips, ElevenLabs a déclaré qu'il explorait davantage de garanties autour de sa plate-forme. Jusque-là, la barrière d'entrée pour que les gens génèrent des voix de n'importe qui était beaucoup plus faible.
Dans les messages directs Twitter envoyés aux victimes de harcèlement, ElevenLabs a reconnu que l'audio de l'Agent 47 avait été réalisé à l'aide du système de l'entreprise. "Nous avons l'adresse IP de cette personne", a écrit ElevenLabs à Abbey dans l'un des messages. Abbey et d'autres victimes ont partagé des copies des messages avec Motherboard. Mais ElevenLabs affirme que les voix utilisées pour lire les adresses personnelles de la victime n'ont pas été créées avec sa technologie.
"Les attaques de doxing contre vous sont horribles et ne devraient jamais se produire", a écrit ElevenLabs à Abbey. "Nous voulons préciser que malgré cette mention, cela n'a pas été créé à l'aide de notre logiciel ou n'est pas associé à notre entreprise. Nous pouvons suivre chaque demande et celles-ci ne sont pas passées par notre système. Nous pensons qu'il s'agit d'une campagne de diffamation organisée à la suite de l'introduction de mesures de protection supplémentaires pour empêcher les abus et précisément ces cas malveillants. »
Mati Staniszewski, un ancien stratège de déploiement de Palantir et maintenant co-fondateur d'ElevenLabs, a déclaré à Motherboard dans un e-mail que "Nous sommes au courant de cas d'utilisation de logiciels de conversion de texte en audio pour créer du contenu offensant ou répréhensible qui ont ensuite été faussement attribués à notre technologie. Nous sommes en mesure d'identifier tout le contenu créé à l'aide de notre logiciel et, après enquête, la quasi-totalité de ces clips ont été créés à l'aide d'autres plateformes. Nos nouvelles protections réduisent déjà rapidement les cas d'utilisation abusive et nous sommes reconnaissants à notre communauté d'utilisateurs de continuer à signaler tous les exemples où des mesures supplémentaires doivent être prises et nous aiderons les autorités à identifier ces utilisateurs si la loi était enfreinte.
"Nous avons une approche de tolérance zéro vis-à-vis de l'abus ou de l'utilisation abusive de tout logiciel de conversion de texte en audio pour blesser ou offenser les autres. Nous sommes extrêmement découragés qu'une minorité vocale choisisse d'utiliser la technologie de cette manière, mais nous sommes convaincus que les garanties existantes et à venir continueront de s'attaquer à ce problème », a-t-il ajouté.
Clarification : cet article a été mis à jour pour clarifier les antécédents professionnels de la personne interrogée.