Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 2784

Incidentes Asociados

Incidente 4927 Reportes
Canadian Parents Tricked out of Thousands Using Their Son's AI Voice

Loading...
Los estafadores están utilizando A.I. de clonación de voz. herramientas para sonar como los familiares de las víctimas que necesitan desesperadamente ayuda financiera. Esta funcionando.
fortune.com · 2023

Es muy posible que en un futuro cercano reciba una llamada de un pariente que necesita ayuda urgente y le pida que le envíe dinero rápidamente. Y puede que estés convencido de que son ellos porque, bueno, conoces su voz.

La inteligencia artificial cambia eso. Nueva I.A. generativa Las herramientas pueden crear todo tipo de resultados a partir de indicaciones de texto simples, incluidos [ensayos] (https://www.vanityfair.com/news/2022/12/chatgpt-question-creative-human-robotos) escritos en el estilo de un autor en particular, imágenes [dignas de premios de arte] (https://www.nytimes.com/2022/09/02/technology/ai-artificial-intelligence-artists.html) y, con solo un fragmento de la voz de alguien con quien trabajar, discurso que suena convincentemente como una persona en particular.

En enero, los investigadores de Microsoft demostraron una tecnología de IA de texto a voz. herramienta que, cuando se le da solo una muestra de audio de tres segundos, puede simular de cerca la voz de una persona. No compartieron el código para que otros jugaran con él; en cambio, advirtieron que la herramienta, llamada VALL-E, “puede conllevar riesgos potenciales en caso de uso indebido… como falsificar la identificación de voz o hacerse pasar por un hablante específico”.

Pero una tecnología similar ya está disponible y los estafadores se están aprovechando de ella. Si pueden encontrar 30 segundos de su voz en algún lugar en línea, es muy probable que puedan clonarlo y hacer que diga cualquier cosa.

“Hace dos años, incluso hace un año, necesitabas mucho audio para clonar la voz de una persona. Ahora… si tiene una página de Facebook… o si ha grabado un TikTok y su voz está allí durante 30 segundos, las personas pueden clonar su voz”. Hany Farid, profesor de análisis forense digital en la Universidad de California en Berkeley, al Washington Post.

'El dinero se fue'

The Post informó este fin de semana sobre el peligro, describiendo cómo una familia canadiense fue víctima de estafadores que usaban I.A. clonación de voz—y perdió miles de dólares. Un “abogado” les dijo a los padres ancianos que su hijo había matado a un diplomático estadounidense en un accidente automovilístico, estaba en la cárcel y necesitaba dinero para los honorarios legales.

Luego, el supuesto abogado supuestamente le entregó el teléfono al hijo, quien les dijo a los padres que los amaba y apreciaba y que necesitaba el dinero. La voz clonada sonaba "lo suficientemente cerca para que mis padres realmente creyeran que hablaron conmigo", dijo el hijo, Benjamin Perkin, al Post.

Los padres enviaron más de $ 15,000 a través de una terminal de Bitcoin a, bueno, a los estafadores, no a su hijo, como pensaban.

“El dinero se fue”, dijo Perkin al periódico. “No hay seguro. No hay forma de recuperarlo. Se fue."

Una empresa que ofrece una I.A. generativa. herramienta de voz, ElevenLabs, twitteó el 30 de enero que estaba viendo “un número creciente de casos de uso indebido de clonación de voz”. Al día siguiente, anunció que la función de clonación de voz ya no estaría disponible para los usuarios de la versión gratuita de su herramienta, VoiceLab.

Fortune contactó a la compañía para hacer comentarios, pero no recibió una respuesta inmediata.

“Casi todo el contenido malicioso fue generado por cuentas gratuitas y anónimas”, escribió. “Es necesaria una verificación de identidad adicional. Por esta razón, VoiceLab solo estará disponible en los niveles de pago”. (Las suscripciones comienzan en $ 5 por mes).

La verificación de la tarjeta no detendrá a todos los malos actores, reconoció, pero haría que los usuarios fueran menos anónimos y “los obligaría a pensar dos veces”.

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd