Incidentes Asociados
Los miembros de 4chan usaron ElevenLabs para hacer voces falsas de Emma Watson, Joe Rogan y otros que decían cosas racistas, transfóbicas y violentas.
Era solo cuestión de tiempo antes de que la ola de nuevas empresas de voz generadas por inteligencia artificial se convirtiera en un juego de trolls de Internet. El lunes, ElevenLabs, fundada por ex empleados de Google y Palantir, [dijo que había encontrado un "número creciente de casos de uso indebido de clonación de voz"] (https://twitter.com/elevenlabsio/status/1620032627075063811) durante su versión beta recientemente lanzada . ElevenLabs no señaló ningún caso particular de abuso, pero Motherboard descubrió que los miembros de 4chan parecen haber usado el producto para generar voces que suenan como Joe Rogan, Ben Shapiro y Emma Watson para arrojar material racista y de otro tipo. ElevenLabs dijo que está explorando más salvaguardas en torno a su tecnología.
Los clips subidos a 4chan el domingo se centran en las celebridades. Pero dada la alta calidad de las voces generadas y la aparente facilidad con la que las personas las crearon, resaltan el riesgo inminente de clips de audio falsos. De la misma manera, el video deepfake comenzó como un método para que las personas crearan pornografía no consensuada de personas específicas [antes de pasar a otros casos de uso] (https://www.vice.com/en/article/qjb7b7/ethical-deepfakes -deep-tom-cruise-ai-generated-porn), la trayectoria del audio deepfake apenas comienza.
En un ejemplo, una voz generada que suena como si la actriz Emma Watson leyera una sección de Mein Kampf. En otro, una voz muy similar a la de Ben Shapiro hace comentarios racistas sobre Alexandria Ocasio-Cortez. En un tercero, alguien que dice “los derechos trans son derechos humanos” es estrangulado. En otro, Rick Sánchez del programa animado Rick & Morty dice: “Voy a vencer a mi esposa Morty. Voy a vencer a mi puta esposa Morty. Voy a matarla a golpes, Morty. (Justin Roiland, quien da voz a Sánchez, [recientemente compareció ante el tribunal para una audiencia previa al juicio por cargos de delito grave de violencia doméstica](https://www.nbcnews.com/tech/internet/justin-roiland-rick-morty-allegations -domestic-violence-charges-rcna65403). Roiland se declaró inocente en 2020).
Los clips van desde inofensivos, violentos, transfóbicos, homofóbicos y racistas. Una publicación de 4chan que incluía una amplia variedad de clips también contenía un enlace a la versión beta de ElevenLabs, lo que sugiere que el software de ElevenLabs podría haber sido utilizado para crear las voces.
En su sitio web, ElevenLabs ofrece tanto "síntesis de voz" como "clonación de voz". Para este último, ElevenLabs dice que puede generar un clon de la voz de alguien a partir de una grabación de muestra limpia, de más de un minuto de duración. Los usuarios pueden registrarse rápidamente en el servicio y comenzar a generar voces. ElevenLabs también ofrece "clonación profesional", que dice que puede reproducir cualquier acento. Los casos de uso objetivo incluyen boletines informativos, libros y videos, agrega el sitio web de la compañía.
El sitio web de ElevenLabs dice que la compañía fue fundada por Piotr Dabkowski, un ex ingeniero de aprendizaje automático de Google, y Mati Staniszewski, un ex estratega de implementación de Palantir. Este mes, la compañía [anunció una ronda previa a la semilla de $ 2 millones] (https://sifted.eu/articles/generative-ai-audio-elevenlabs) dirigida por la firma checa de capital de riesgo Credo.
El lunes, poco después de que los clips circularan en 4chan, ElevenLabs escribió en Twitter que “Fin de semana loco: gracias a todos por probar nuestra plataforma Beta. Si bien vemos que nuestra tecnología se aplica abrumadoramente a un uso positivo, también vemos un número creciente de casos de uso indebido de clonación de voz”. ElevenLabs agregó que si bien puede rastrear cualquier audio generado hasta un usuario específico, estaba explorando más medidas de seguridad. Estos incluyen solicitar información de pago o "identificación de identificación completa" para realizar la clonación de voz, o verificar manualmente cada solicitud de clonación de voz.
ElevenLabs no respondió a una solicitud de comentarios.