Incidentes Asociados
En un video de TikTok hábilmente producido, se puede escuchar al ex presidente Barack Obama, o una voz inquietantemente como la suya, defendiéndose de una nueva y explosiva teoría de conspiración sobre la [muerte súbita] (https://www.nytimes.com/2023/07 /24/us/obama-chef-drowned-paddleboard.html) de su ex chef.
"Aunque no puedo comprender la base de las acusaciones formuladas en mi contra", dice la voz, "insto a todos a recordar la importancia de la unidad, la comprensión y no precipitarse a emitir juicios".
De hecho, la voz no pertenecía al expresidente. Era una falsificación convincente, generada por inteligencia artificial utilizando nuevas y sofisticadas herramientas que pueden clonar voces reales para crear inteligencia artificial. marionetas con unos pocos clics del ratón.
La tecnología utilizada para crear A.I. Voices ha ganado fuerza y gran reconocimiento desde que empresas como ElevenLabs lanzaron una serie de nuevas herramientas a finales del año pasado. Desde entonces, las falsificaciones de audio se han convertido rápidamente en una nueva arma en el campo de batalla de la desinformación en línea, amenazando con Acelerar la desinformación política antes de las elecciones de 2024 al brindar a los creadores una forma de poner sus teorías de conspiración en boca de celebridades, presentadores de noticias y políticos.
El audio falso se suma a las amenazas generadas por IA a partir de videos "deepfake", escritura similar a la humana de ChatGPT e imágenes de servicios como Midjourney.
Los organismos de control de la desinformación han notado la cantidad de videos que contienen A.I. Las voces han aumentado a medida que los productores de contenidos y los vendedores de información errónea adoptan estas novedosas herramientas. Las plataformas sociales como TikTok están luchando por marcar y etiquetar dicho contenido.
El vídeo que parecía del Sr. Obama fue descubierto por NewsGuard, una empresa que monitorea la información errónea en línea. El video fue publicado por una de las 17 cuentas de TikTok que hacían afirmaciones infundadas con audio falso que NewsGuard identificó, según [un informe que publicó el grupo](https://www.newsguardtech.com/special-reports/ai-voice-technology- crea-videos-de-conspiración-en-tiktok/) en septiembre. Las cuentas publicaron principalmente videos sobre rumores de celebridades utilizando la narración de un A.I. voz, pero también promovió la afirmación infundada de que Obama es gay y la teoría de la conspiración de que Oprah Winfrey está involucrada en la trata de esclavos. Los canales habían recibido colectivamente cientos de millones de visitas y comentarios que sugerían que algunos espectadores creían en las afirmaciones.
Si bien los canales no tenían una agenda política obvia, dijo NewsGuard, el uso de A.I. Las voces para compartir chismes y rumores, en su mayoría lascivos, ofrecieron una hoja de ruta para los malos actores que querían manipular la opinión pública y compartir falsedades con audiencias masivas en línea.
"Es una forma de que estas cuentas se afiancen, ganen seguidores que puedan atraer la participación de una amplia audiencia", dijo Jack Brewster, editor empresarial de NewsGuard. "Una vez que tengan la credibilidad de tener un gran número de seguidores, podrán sumergirse en contenido más conspirativo".
TikTok requiere que las etiquetas que revelen contenido realista generado por IA sean falsas, pero no aparecieron en los videos marcados por NewsGuard. TikTok dijo que había eliminado o dejado de recomendar varias de las cuentas y videos por violar las políticas sobre hacerse pasar por organizaciones de noticias y difundir información errónea dañina. También eliminó el video usando la voz generada por IA que imitaba la de Obama por violar la política de medios sintéticos de TikTok, ya que contenía contenido altamente realista no etiquetado como alterado o falso.
"TikTok es la primera plataforma que proporciona una herramienta para que los creadores etiqueten contenido generado por IA y un miembro inaugural de un nuevo código de mejores prácticas de la industria que promueve el uso responsable de los medios sintéticos", dijo Jamie Favazza, portavoz de TikTok, refiriéndose a un marco introducido recientemente por la organización sin fines de lucro Partnership on A.I.
Aunque el informe de NewsGuard se centró en TikTok, que [tiene cada vez más](https://www.reuters.com/business/media-telecom/fewer-people-trust-traditional-media-more-turn-tiktok-news-report-says -2023-06-13/) se convirtió en fuente de noticias, se encontró contenido similar difundiéndose en YouTube, Instagram y Facebook.
Plataformas como TikTok permiten contenido de figuras públicas, incluidos presentadores de noticias, generado por IA, siempre que no difundan información errónea. Se han publicado vídeos de parodia que muestran conversaciones generadas por IA entre políticos, celebridades o líderes empresariales (algunos muertos). se ha extendido ampliamente desde que las herramientas se hicieron populares. El audio manipulado agrega una nueva capa a los videos engañosos en las plataformas que ya han presentado versiones falsas de [Tom Cruise] (https://www.nytimes.com/2021/03/10/technology/ancestor-deepfake-tom-cruise. html), Elon Musk y presentadores de noticias como Gayle King y Norah O'Donnell. TikTok y otras plataformas han estado lidiando últimamente con una avalancha de anuncios engañosos que presentan falsificaciones de celebridades como el Sr. Cruise y la estrella de YouTube Mr. Bestia.
El poder de estas tecnologías podría influir profundamente en los espectadores. "Sabemos que el audio y el vídeo quizás sean más pegajosos en nuestra memoria que el texto", dijo Claire Leibowicz, directora de A.I. e integridad de los medios en Partnership on A.I., que ha trabajado con empresas de tecnología y medios en un conjunto de recomendaciones para crear, compartir y distribuir contenido generado por IA.
TikTok dijo el mes pasado que estaba introduciendo una etiqueta que los usuarios podrían seleccionar para mostrar si sus videos usaban A.I. En abril, la aplicación comenzó exigiendo a los usuarios que revelen medios manipulados que muestren escenas realistas y prohibiendo deepfakes de jóvenes y figuras privadas. David G. Rand, profesor de ciencias de la gestión en el Instituto de Tecnología de Massachusetts a quien TikTok consultó para pedirle consejo sobre cómo redactar las nuevas etiquetas, dijo que las etiquetas eran de utilidad limitada cuando se trataba de información errónea porque “las personas que están tratando de ser engañosos no van a ponerle la etiqueta a sus cosas”.
TikTok también dijo el mes pasado que estaba probando herramientas automatizadas para detectar y etiquetar medios generados por IA, lo que, según Rand, sería más útil, al menos en el corto plazo.
YouTube prohíbe que los anuncios políticos utilicen A.I. y exige que otros anunciantes etiqueten sus anuncios cuando A.I. se utiliza. Meta, propietaria de Facebook, agregó una etiqueta a su kit de herramientas de verificación de datos en 2020 que describe si un video está “[alterado](https://www.facebook.com/journalismproject/programs/third-party-fact-checking /nuevas-calificaciones).” Y X, anteriormente conocido como Twitter, exige que el contenido engañoso sea “alterado, manipulado o fabricado de manera significativa y engañosa” para violar sus políticas. La empresa no respondió a las solicitudes de comentarios.
La IA del Sr. Obama voice se creó utilizando herramientas de ElevenLabs, una empresa que irrumpió en el escenario internacional a finales del año pasado con su software de inteligencia artificial de uso gratuito. Herramienta de conversión de texto a voz capaz de producir audio realista en segundos. La herramienta también permitía a los usuarios cargar grabaciones de la voz de alguien y producir una copia digital.
Después del lanzamiento de la herramienta, los usuarios de 4chan, el foro de mensajes de derecha, [organizaron](https://www.vice.com/en/article/dy7mww/ai-voice-firm-4chan-celebrity-voices-emma -watson-joe-rogan-elevenlabs?utm_source=reddit.com) para crear una versión falsa de la actriz Emma Watson leyendo un discurso antisemita.
ElevenLabs, una empresa con 27 empleados con sede en la ciudad de Nueva York, respondió al mal uso limitando la función de clonación de voz a usuarios pagos. La compañía también lanzó un A.I. herramienta de detección que es capaz de identificar A.I. contenidos producidos por sus servicios.
"Más del 99 por ciento de los usuarios de nuestra plataforma están creando contenido interesante, innovador y útil", dijo un representante de ElevenLabs en un comunicado enviado por correo electrónico, "pero reconocemos que hay casos de uso indebido y hemos estado desarrollando y liberando salvaguardas continuamente". para frenarlos”.
En las pruebas realizadas por The New York Times, el detector de ElevenLabs identificó con éxito el audio de las cuentas de TikTok como generado por IA. Pero la herramienta fallaba cuando se añadía música al clip o cuando el audio se distorsionaba, lo que sugiere que los vendedores de información errónea podrían eludir fácilmente la detección.
AI. empresas y académicos han explorado otros métodos para identificar audio falso, con resultados mixtos. Algunas empresas exploraron agregar una marca de agua invisible a la inteligencia artificial. audio incorporando señales que fueron generadas por IA. Otros han presionado a la A.I. empresas limiten las voces que pueden clonarse, prohibiendo potencialmente réplicas de políticos como Obama, una práctica que ya existe con algunas herramientas de generación de imágenes como Dall-E, que [se niega a generar](https://labs.openai .com/policies/content-policy) algunas imágenes políticas.
Sra. Leibowicz en la Asociación sobre A.I. dijo que el audio sintético era especialmente difícil de detectar para los oyentes en comparación con las alteraciones visuales.
"Si fuéramos un podcast, ¿necesitaríamos una etiqueta cada cinco segundos?" dijo la señora Leibowicz. "¿Cómo se puede tener una señal en un fragmento de audio largo que sea consistente?"
Incluso si las plataformas adoptan A.I. detectores, la tecnología debe mejorar constantemente para mantenerse al día con los avances en IA. generación.
TikTok dijo que estaba desarrollando nuevos métodos de detección internamente y explorando opciones para asociaciones externas.
“Las grandes empresas tecnológicas, las empresas multimillonarias o incluso billones de dólares, ¿no pueden hacerlo? Eso me sorprende un poco”, dijo Hafiz Malik, profesor de la Universidad de Michigan-Dearborn que está desarrollando sistemas de inteligencia artificial. detectores de audio. “¿Si intencionalmente no quieren hacerlo? Eso es comprensible. ¿Pero no pueden hacerlo? No lo acepto”.
Audio producido por Adrienne Hurst.