Incidentes Asociados
Una empresa emergente británica se vio obligada a introducir medidas de seguridad después de que se publicaran grabaciones de audio falsas de la actriz Emma Watson leyendo Mein Kampf de Adolf Hitler y el locutor Sir David Attenborough siendo racista.
Los usuarios tomaron la tecnología de clonación de voz para crear los archivos de audio y los publicaron en el foro de mensajes 4Chan en el último abuso de la tecnología de IA.
La empresa de investigación ElevenLabs lanzó su nueva herramienta de texto a audio que permite a los usuarios escribir palabras y escucharlas reproducidas inmediatamente en una voz humana. Fundada por dos exingenieros de Google y Palantir, también ha desarrollado tecnología de doblaje y clonación de voz para ser utilizada en las industrias cinematográfica y editorial.
Sin embargo, algunos usuarios parecen haber tomado la herramienta de clonación de voz, que puede generar un deepfake a partir de una grabación de solo un minuto, para crear grabaciones de Watson, Attenborough y otras personas destacadas. También hubo clips falsos de Sir Alec Guinness y el presidente Biden haciendo comentarios sexistas y transfóbicos.
ElevenLabs dice que introducirá medidas de seguridad para evitar un mayor abuso del producto. La compañía tuiteó: "Gracias a todos por probar nuestra plataforma Beta. Si bien vemos que nuestra tecnología se aplica abrumadoramente a un uso positivo, también vemos un número creciente de casos de uso indebido de clonación de voz".
IA de texto a voz y clonación de voz se encuentran entre las tecnologías de "IA generativa" que están llamando la atención de los inversores y el público. El chatbot ChatGPT y los generadores de imágenes Stable Diffusion, DALL-E y Midjourney todos prometen revolucionar e interrumpir las industrias creativas y otros negocios.
Mati Staniszewski y Piotr Dabkowski, los fundadores de ElevenLabs, anunciaron recientemente una financiación de 2 millones de dólares (1,6 millones de libras esterlinas). Sin embargo, las empresas de IA se encuentran actualmente atrapadas en un "dilema de apertura" sobre si lanzar las poderosas herramientas, que generan interés pero también riesgos.
Microsoft anunció recientemente un programa de inteligencia artificial llamado VALL-E que puede clonar la voz de alguien a partir de un clip de audio de tres segundos. Sin embargo, no ha puesto la tecnología a disposición del público en general, citando problemas éticos que incluyen el uso indebido con "falsificación de la identificación de voz o hacerse pasar por un hablante específico".
ElevenLabs también ha reconocido que "hablar en la voz de otra persona plantea preocupaciones éticas, ya que puede usarse con fines nefastos".
Henry Ajder, un experto en deepfakes e inteligencia artificial generativa, dijo: "Lo que ellos [ElevenLabs] han desarrollado, tecnológicamente, es muy impresionante [pero] al abrir estos modelos, lamentablemente han hecho un juicio bastante ingenuo sobre las intenciones de esos gente por ahí que usará esos modelos.
"En este clima de ciclo exagerado en torno a la IA generativa, muchas empresas se apresuran y se esfuerzan mucho por destacarse de una escena muy ruidosa. Me preocupa que el tipo de prisa febril tal vez esté llevando a ciertas organizaciones a tomar atajos cuando se trata de consideraciones de seguridad, aunque no digo que eso sea necesariamente lo que motivó a Eleven en este caso", dijo Ajder.
El audio de Deepfake se utilizó anteriormente para narrar una película documental, irritar a un comentarista controvertido y defraudar a un banco. Los creadores de una película sobre el chef Anthony Bourdain encendieron un debate en 2021 después de que usaron una simulación de IA de la voz del difunto chef para leer algunos de sus escritos. Lo llamaron [narración moderna] (https://www.thetimes.co.uk/article/let-the-ai-tell-you-a-story-in-the-next-chapter-for-audiobooks-8jq37gq7j) pero otros dijeron que los espectadores deberían haber sido informados.
El psicólogo canadiense Jordan Peterson amenazó con demandar a un sitio web en 2019 después de que permitió usuarios para generar clips de él diciendo lo que escribieron, y al año siguiente un banco en los Emiratos Árabes Unidos fue defraudado por $ 35 millones cuando se usó la voz falsa del director de una empresa para convencer al gerente de una sucursal para que autorizara las transacciones.