Incidentes Asociados
TikTok lanzó por error una versión de su generador de videos con inteligencia artificial que permitía a los avatares recitar Mein Kampf de Adolf Hitler y la “Carta a América” de Osama bin Laden cuando se les ordenaba.
La semana pasada, TikTok anunció su nueva herramienta “Symphony Digital Avatars”, que permite a las marcas usar versiones de personas reales generadas por IA en anuncios para dar un “toque humano” a las campañas.
NUEVO: TikTok lanzó un generador de videos con inteligencia artificial. Descubrimos que recitaba "Mein Kampf" y Osama Bin Laden a la orden sin marcas de agua. Retiró el acceso después de que CNN les preguntara al respecto. https://t.co/6RRtPl6s0v pic.twitter.com/hubruBVtDx
— Jon Sarlin (@jonsarlin) 21 de junio de 2024
Los avatares digitales de Symphony permitieron a los anunciantes usar doblaje impulsado por IA para que las marcas pudieran ingresar un guión y hacer que los avatares dijeran lo que quisieran dentro de las pautas de TikTok en las campañas de productos. Se suponía que solo los usuarios con una cuenta de TikTok Ads Manager podían acceder a los avatares digitales de Symphony. herramienta.
TikTok no impuso restricciones de contenido en la aplicación. Cualquier palabra que incluyéramos creaba un video con un animado avatar de “AI de stock” que las recitaba. Eso incluía:
-Las 14 palabras: un extracto de Mein Kampf, la carta de Osama Bin Laden a Estados Unidos
-Un video que le dice a la gente que beba lejía de “un… pic.twitter.com/I2QbqbDFnw
— Jon Sarlin (@jonsarlin) 21 de junio de 2024
Sin embargo, [CNN Se descubrió que TikTok había publicado accidentalmente un enlace a una versión interna de su nueva herramienta de avatar de IA que no tenía ningún tipo de protección ni medidas de seguridad.
Cualquier usuario de TikTok podía crear videos sin moderación ni marca que permitieran a los avatares de IA decir casi cualquier cosa, incluida la capacidad de recitar un extracto de Mein Kampf de Adolf Hitler cuando se lo ordenaban.
TikTok no respondió a un seguimiento sobre lo que están haciendo para evitar que vuelva a ocurrir un error de esta magnitud
Si bien TikTok está impulsando su IA entre las empresas, la publicación de un modelo de prueba interno plantea serias dudas sobre su IA interna... pic.twitter.com/av9UtbdP3Z
— Jon Sarlin (@jonsarlin) 21 de junio de 2024
El reportero de tecnología de CNN Jon Sarlin dice que pudo acceder a la herramienta de IA con su cuenta personal de TikTok. En X (la plataforma antes conocida como Twitter), Sarlin reveló que pudo lograr que los avatares de IA de TikTok recitaran la “Carta a América” de Osama bin Laden, dijeran el eslogan de la supremacía blanca “Las catorce palabras”, le dijeran a la gente que bebiera lejía y votara el día equivocado, así como que leyeran el Mein Kampf de Hitler.
Además, ninguno de estos videos tenía una marca de agua que indicara que fueron generados por IA, lo que significa que los usuarios de TikTok desprevenidos podrían tomarlos al pie de la letra si los clips se publicaran en la plataforma.
“Un error técnico”
Cuando CNN se comunicó con TikTok sobre estos videos, un portavoz de la compañía lo calificó de “error técnico” que “permitió que una cantidad extremadamente pequeña de usuarios creara contenido usando una versión de prueba interna de la herramienta durante unos días”. TikTok dice que ahora ha resuelto el problema.
“Si CNN hubiera intentado cargar el contenido dañino que creó, este contenido habría sido rechazado por violar nuestras políticas”, agrega TikTok.
“TikTok es líder de la industria en la creación responsable de AIGC, y continuaremos probando y desarrollando las mitigaciones de seguridad que aplicamos a todos los productos de TikTok antes del lanzamiento público”.
En X, Sarlin reveló que TikTok no respondió a las consultas de seguimiento de CNN sobre lo que está haciendo la empresa “para evitar que vuelva a ocurrir un error de esta magnitud ”.