Incidentes Asociados
La campaña de acoso muestra que si hay audio de usted hablando disponible en línea (podcasts, transmisiones, YouTube), también podría ser un objetivo de las voces generadas por IA.
Las voces generadas por inteligencia artificial ya se están utilizando para acosar a la gente común, con trolls en línea que crean las voces y luego les piden que lean las direcciones de las casas de las víctimas y publican los resultados en línea, según cuatro víctimas con las que habló Motherboard. Todas las víctimas de esta campaña en particular son actores de doblaje que han trabajado en videojuegos en el pasado.
La noticia destaca la potente amenaza que representan las voces generadas por IA para cualquiera que tenga grabaciones de sus voces disponibles en línea. Podcasters, YouTubers y streamers son solo algunos de los otros tipos de personas que posiblemente podrían ser objeto de este tipo de ataques en el futuro. Motherboard informó anteriormente cómo los miembros de 4chan crearon réplicas sintéticas de las voces de las celebridades, [incluyendo en un caso una réplica de Emma Watson leyendo Mein Kampf] (https://www.vice.com/en/article/dy7mww/ai-voice-firm- 4chan-celebrity-voices-emma-watson-joe-rogan-elevenlabs). Ese tipo de ataque ahora se extiende a personas que no tienen un perfil tan alto como las celebridades de Hollywood.
“Hola, habla Abbey [nombre]”, dice un clip de sonido publicado en Twitter usando la voz falsa de un actor llamado Abbey. Motherboard retuvo los apellidos de algunos actores, incluido el de Abbey, a pedido de ellos. Luego, la voz sintética lee la dirección de la casa de Abbey y agrega: “Vivo en la ciudad [difamación homofóbica] que es Los Ángeles. Sí, eso también significa que vivo en California, el estado más [insultante racista] de EE. UU. Hablando personalmente, matar a niños con [insultos racistas] y [actos de abuso sexual] está completamente bien”.
Los acosadores publicaron clips de audio similares en Twitter que incluían la dirección de la casa y las voces falsas de al menos otros tres actores. Zane ha trabajado en modificaciones de Fallout 4; Tom trabajó en Poppy Playtime. También publicaron la dirección de otro actor llamado Michael. Las cuentas de Twitter creadas para compartir la información privada de estas personas también retuitearon otro video utilizando una voz generada por IA, esta vez al estilo del Agente 47 de los juegos de Hitman.
“Básicamente, vi que me etiquetaron en una publicación, y lo primero que noté fue la dirección de mi casa, así que me sorprendió por decir lo menos”, dijo Tom a Motherboard en un correo electrónico. “Luego registré que tenía la retórica racista, enmarcada lo más incendiaria posible de la manera en que lo haría un troll de Internet. Por lo que deduje, fue un cebo desde el principio, tratando de que los actores de doblaje se alzaran y expresaran públicamente su preocupación por la IA”. La semana pasada Motherboard informó sobre las inquietudes planteadas dentro de la industria de los actores de doblaje sobre los clientes que preguntan actores para firmar los derechos de sus voces para poder generar más material con IA más adelante.
Twitter eliminó un tuit ofensivo y suspendió un perfil relacionado. Pero en varios casos, Twitter no ha eliminado los tweets, a pesar de que violan claramente [la política de Twitter sobre la publicación de información privada] (https://help.twitter.com/en/rules-and-policies/personal-information) . Tom dijo: “La mayor frustración fue la ineficacia del sistema de soporte de Twitter para eliminar la publicación. Independientemente de la identidad robada, la información privada publicada y los insultos racistas, el sistema de soporte de Twitter consideró que la publicación y la cuenta estaban perfectamente bien”. Twitter ha destruido su departamento de comunicaciones; Elon Musk no respondió a una solicitud de comentarios.
En algunos de los tuits que incluyen las direcciones de las casas, el acosador afirma que el audio fue generado por una empresa de voz de IA llamada ElevenLabs. El mes pasado Motherboard informó que los miembros de 4chan parecen han usado ElevenLabs para crear el audio de las celebridades. Aparentemente en respuesta a esos clips, ElevenLabs dijo que estaba explorando más medidas de seguridad en torno a su plataforma. Hasta ese momento, la barrera de entrada para que las personas generaran voces de cualquiera era mucho menor.
En mensajes directos de Twitter enviados a las víctimas de acoso, ElevenLabs reconoció que el audio del Agente 47 se realizó utilizando el sistema de la empresa. “Tenemos la dirección IP de esa persona”, le escribió ElevenLabs a Abbey en uno de los mensajes. Abbey y otras víctimas compartieron copias de los mensajes con Motherboard. Pero ElevenLabs dice que las voces utilizadas para leer las direcciones de las casas de las víctimas no se hicieron con su tecnología.
“Los ataques de doxing hacia ti son horribles y nunca deberían suceder”, escribió ElevenLabs a Abbey. “Queremos dejar en claro que, a pesar de que se menciona, esto no se creó con nuestro software ni está asociado con nuestra empresa. Podemos rastrear cada solicitud y estas no han llegado a través de nuestro sistema. Creemos que esta es una campaña de desprestigio organizada que nos sigue al introducir medidas de seguridad adicionales para evitar el uso indebido y exactamente esos casos maliciosos”.
Mati Staniszewski, un ex estratega de implementación de Palantir y ahora cofundador de ElevenLabs, le dijo a Motherboard en un correo electrónico que “Conocemos casos de software de texto a audio que se usa para crear contenido ofensivo u objetable que luego se ha atribuido falsamente a nuestro tecnología. Podemos identificar todo el contenido creado con nuestro software y, tras una investigación, casi todos estos clips se han creado con otras plataformas. Nuestras nuevas medidas de seguridad ya están reduciendo rápidamente los casos de uso indebido y estamos agradecidos con nuestra comunidad de usuarios por continuar señalando cualquier ejemplo en el que se deba tomar una medida adicional y ayudaremos a las autoridades a identificar a esos usuarios si se infringió la ley”.
“Tenemos un enfoque de tolerancia cero con el abuso o mal uso de cualquier software de texto a audio para dañar u ofender a otros. Estamos extremadamente desalentados de que una minoría vocal elija usar la tecnología de esta manera, pero confiamos en que las salvaguardas existentes y futuras continuarán abordando esto”, agregó.
Aclaración: Este artículo ha sido actualizado para aclarar el historial laboral del entrevistado.