Incidentes Asociados
NewsGuard descubrió que una red de 17 cuentas de TikTok parece estar aprovechando la tecnología de voz de IA de audio hiperrealista para obtener cientos de millones de visitas sobre contenido de conspiración que suena auténticamente humano. Las cuentas parecen estar utilizando software de conversión de texto a voz con inteligencia artificial para generar instantáneamente narraciones y otras voces en los videos, lo que demuestra una forma novedosa en que los malos actores pueden aprovechar el software de inteligencia artificial para producir de manera rápida y económica contenido falso que llegue a grandes audiencias.
En septiembre de 2023, NewsGuard descubrió que desde que la primera de estas cuentas comenzó a publicarse en junio de 2023, la red ha producido aproximadamente 5.000 vídeos, muchos de los cuales presentan voces en off aparentemente generadas por IA. En total, los videos publicados en estas cuentas recibieron 336 millones de visitas y 14,5 millones de me gusta hasta el 25 de septiembre de 2023.
Las narrativas infundadas impulsadas por los narradores de AI en estos videos incluyen la afirmación de que el ex presidente de Estados Unidos Barack Obama estuvo relacionado con la muerte de su chef personal Tafari Campbell; esa presentadora de programas de televisión Oprah Winfrey es una "comerciante sexual"; que el actor Jamie Foxx quedó paralizado y ciego por la vacuna COVID-19; y ese comediante Joan Rivers fue asesinada por afirmar que Obama era gay.
Por ejemplo, un vídeo de julio de 2023 publicado por una cuenta llamada @e.news.tv presentaba a una narradora con un tono pulido que presentaba una narración de tres minutos. informe "noticia" que vinculaba infundadamente a Obama con la muerte de su chef personal. El vídeo comenzaba con un narrador de AI que decía: "Obama ha reaccionado cuando Sherise Campbell lo culpa por la muerte de su marido Tafari Campbell. Esto es lo que dijo al respecto".
Esta introducción, aparentemente leída por un narrador de IA, fue seguida por el audio de un "Obama" robótico, claramente generado por IA, leyendo una declaración sobre la muerte de Campbell. "Aunque no puedo comprender la base de las acusaciones formuladas contra mí, insto a todos a recordar la importancia de la unidad, la comprensión y no apresurarse a emitir juicios", afirmó la voz de Obama. Hasta el 27 de septiembre de 2023, el vídeo había obtenido más de 50.700 visitas en TikTok.
De hecho, una revisión de Politifact no encontró Hay evidencia de que la esposa de Campbell alguna vez culpó a Obama por la muerte de su esposo, y no hay evidencia de la autenticidad de la declaración leída por la voz de Obama AI.
Un vídeo de julio de 2023, publicado en una cuenta de la red llamada "e.news.tv", fue narrado por una voz de IA que NewsGuard pudo recrear utilizando la plataforma de texto a voz de IA ElevenLabs. Además de tener un narrador de IA, el video reproducía audio de una voz de Barack Obama generada por IA leyendo una declaración inventada sobre la muerte de Tafari Campbell. (Captura de pantalla vía NewsGuard)
NewsGuard pudo recrear la introducción de audio del vídeo utilizando un software de conversión de texto a voz con inteligencia artificial llamado ElevenLabs. identificando la probable voz que aparece bajo el nombre "Natasha - Valley Girl" en el sitio de ElevenLabs.
En respuesta a un correo electrónico de NewsGuard de septiembre de 2023 en el que se preguntaba si este vídeo se produjo realmente con el software de ElevenLabs, un portavoz de la empresa señaló a NewsGuard un clasificador de voz con IA que ElevenLabs ofrece en su sitio. Cuando un analista de NewsGuard ingresó el audio del video mencionado anteriormente en el clasificador, la herramienta ElevenLabs devolvió un mensaje que decía: "98%. Es muy probable que este archivo de audio haya sido generado con ElevenLabs".
En otro vídeo, este publicado por una cuenta en la red llamada @d.news.tv, una pulida voz de IA leyó un 15 de agosto de 2023, publicación en X (anteriormente conocido como Twitter) afirmando que los incendios de Maui de agosto de 2023 "no fueron incendios climáticos, son armas de energía directa" y que Winfrey estuvo de alguna manera involucrada en el inicio de los incendios. No hay evidencia que respalde tampoco de estas afirmaciones.
En un vídeo de agosto de 2023, publicado por una cuenta llamada @d.news.tv, un refinado narrador de IA leyó un tweet que afirmaba que los incendios de agosto de 2023 en Maui fueron causados por "armas de energía directa". (Captura de pantalla vía NewsGuard)
Al principio del vídeo, un error de audio reveló la aparente identidad de IA del narrador: al referirse a la valoración de 6,6 millones de dólares de una propiedad de 870 acres en Maui que Winfrey compró recientemente, el narrador declaró robóticamente que el valor del terreno era "la friolera de seis puntos por dólar". seis millones." Si no fuera por este fallo robótico, un usuario probablemente no tendría forma de saber que el vídeo era uno de los muchos vídeos aparentemente generados en masa mediante la conversión de texto a narración por IA. Hasta el 27 de septiembre de 2023, el vídeo había recibido más de 562.000 visualizaciones.
Además, en un aparente intento de engañar a los espectadores haciéndoles creer que las cuentas son fuentes creíbles, NewsGuard descubrió que 13 de las 17 cuentas identificadas como impulsoras de estas narrativas estaban engañosamente etiquetadas para parecerse a los principales medios de comunicación, programas de televisión y cuentas de TikTok de alto perfil. Por ejemplo, una cuenta utiliza el identificador @drphilshowtv, invocando el nombre del popular programa de entrevistas " Dr. Phil." Otra cuenta, @ynewstv2023, utiliza un nombre y un logotipo que imitan fielmente a Yahoo News. La cuenta @e.news.tv usa un nombre y un logotipo que se parecen a los de E! News, un popular sitio web de noticias de entretenimiento.
Las páginas de perfil de tres de las cuentas encontradas por NewsGuard aparentemente habían utilizado IA para producir en masa videos de conspiración generados por IA. (Capturas de pantalla vía NewsGuard)
Según los comentarios que generaron los videos, el contenido generado por IA está teniendo un impacto. Por ejemplo, en los comentarios del vídeo sobre el chef de Obama, el usuario Shay Lashay comentó: "A Obama le mataron el culo". En otro vídeo en el que aparece una voz aparentemente generada por IA que hace la misma afirmación, el usuario ricka189 escribió: "TAFARI FUE MUERTO A GOLPE Y LUEGO PONIDO EN EL ESTANQUE PARA ESCENIZAR UNA MUERTE POR AHOGAMIENTO, OBAMA LO MATÓ Y TENÍA AYUDA PARA HACERLO".
De hecho, el 22 de agosto de 2023, el médico forense jefe de Massachusetts dictaminó que la muerte de Campbell fue accidental, según The Washington Post.
El 19 de septiembre de 2023, TikTok reveló una nueva función que permite a los usuarios coloque etiquetas de divulgación en el contenido que han producido con la ayuda de IA. Sin embargo, hasta el 26 de septiembre de 2023, ninguno de los vídeos de conspiración que NewsGuard identificó como narrados por IA llevaba dicha etiqueta.
Cuando se le pidió un comentario sobre los hallazgos de NewsGuard, un portavoz de TikTok dirigió a NewsGuard a las políticas de la plataforma sobre desinformación y medios manipulados. En un correo electrónico de seguimiento enviado a NewsGuard, el portavoz dijo que TikTok había eliminado tres de las cuentas mencionadas en este informe por violar la política de suplantación de identidad de la plataforma que prohíbe a las cuentas, entre otras cosas, hacerse pasar por organizaciones de noticias. El portavoz también dijo que TikTok había eliminado un video identificado por NewsGuard por violar la política de medios manipulados de la plataforma y prohibió que cuatro videos fueran impulsados algorítmicamente por violar las pautas de desinformación de la plataforma. El portavoz pidió a NewsGuard que no fuera identificado y que parafraseara las respuestas de la empresa.
Hafiz Malik, profesor de informática de la Universidad de Michigan-Dearborn, dijo a NewsGuard en una entrevista telefónica en septiembre de 2023 que la llegada de las tecnologías de conversión de texto a voz con IA ha reducido en gran medida las barreras para la difusión de audio fabricado en plataformas, como TikTok. "Con la evolución de herramientas como ElevenLabs o similares, creo que han puesto todo en una escala diferente en términos de qué tan rápido se pueden generar deepfakes (de audio)", dijo Malik. "Anteriormente, había cierto retraso en la creación. Anteriormente, tal vez necesitabas grabar y luego tal vez reproducir el audio de alguien. Pero ahora, en este caso, es un clic del mouse".
Nota del editor: este informe se actualizó el 29 de septiembre de 2023 para incluir la respuesta de TikTok a la consulta de NewsGuard.