Incidents associés
TikTok a publié par erreur une version de son générateur de vidéos IA qui permet aux avatars de réciter Mein Kampf d'Adolf Hitler et la Lettre à l'Amérique d'Oussama ben Laden sur commande.
La semaine dernière, TikTok a annoncé son nouvel outil « Symphony Digital Avatars » qui permet aux marques d'utiliser des versions générées par l'IA de personnes réelles dans les publicités pour donner une « touche humaine » aux campagnes.
NOUVEAU : TikTok a publié un générateur de vidéos IA. Nous avons découvert qu'il récitait « Mein Kampf » et Oussama Ben Laden sur commande sans filigrane. Il a retiré l'accès après que CNN les a interrogés à ce sujet. https://t.co/6RRtPl6s0v pic.twitter.com/hubruBVtDx
— Jon Sarlin (@jonsarlin) 21 juin 2024
Symphony Digital Avatars permettait aux annonceurs d'utiliser le doublage alimenté par l'IA afin que les marques puissent saisir un script et faire dire aux avatars ce qu'ils voulaient dans le cadre des directives de TikTok dans les campagnes de produits. Seuls les utilisateurs disposant d'un compte TikTok Ads Manager étaient censés pouvoir le faire accéder à l'outil.
TikTok n'a imposé aucune restriction de contenu à l'application. Tous les mots que nous avons saisis ont créé une vidéo avec un avatar « Stock AI » plein d'entrain qui les récitait. Cela comprenait :
-Les 14 mots-Un extrait de Mein Kampf-La lettre d'Oussama Ben Laden à l'Amérique
-Une vidéo incitant les gens à boire de l'eau de Javel dans « un… pic.twitter.com/I2QbqbDFnw
— Jon Sarlin (@jonsarlin) 21 juin 2024
Cependant, [CNN [https://edition.cnn.com/2024/06/21/business/video/tiktok-ai-avatar-disinformation-hitler-digivid] a découvert que TikTok avait accidentellement publié un lien vers une version interne de son nouvel outil d'avatar IA qui n'avait aucune garde-fou ni mesure de sécurité en place.
N'importe quel utilisateur de TikTok pouvait créer des vidéos non modérées et non marquées qui permettaient aux avatars IA de dire à peu près n'importe quoi, y compris la possibilité de réciter un extrait de Mein Kampf d'Adolf Hitler sur commande.
TikTok n'a pas répondu à une demande de suivi concernant les mesures prises pour éviter qu'une erreur de cette ampleur ne se reproduise
Alors que TikTok propose son IA aux entreprises, la publication d'un modèle de test interne dans la nature soulève de sérieuses questions sur son IA interne… pic.twitter.com/av9UtbdP3Z
— Jon Sarlin (@jonsarlin) 21 juin 2024
Jon Sarlin, journaliste spécialisé dans les technologies de CNN affirme avoir pu accéder à l'outil d'IA avec son compte TikTok personnel. Sur X (la plateforme autrefois connue sous le nom de Twitter), Sarlin a révélé qu’il avait pu faire réciter aux avatars IA de TikTok la « Lettre à l’Amérique » d’Oussama ben Laden, prononcer le slogan suprémaciste blanc « Les Quatorze Mots », dire aux gens de boire de l’eau de Javel et de voter le mauvais jour, ainsi que lire à haute voix Mein Kampf d’Hitler.
De plus, aucune de ces vidéos ne comportait de filigrane indiquant qu’elles étaient générées par l’IA, ce qui signifie que ces vidéos pouvaient être prises au pied de la lettre par des utilisateurs de TikTok sans méfiance si les clips devaient être publiés sur la plateforme.
« Une erreur technique »
Lorsque CNN a contacté TikTok au sujet de ces vidéos, un porte-parole de l’entreprise a qualifié cela d’« erreur technique » qui « a permis à un nombre extrêmement restreint d’utilisateurs de créer du contenu en utilisant une version de test interne de l’outil pendant quelques jours ». TikTok affirme avoir désormais résolu le problème.
« Si CNN avait tenté de télécharger le contenu préjudiciable qu’elle a créé, ce contenu aurait été rejeté pour violation de nos politiques », ajoute TikTok.
« TikTok est un leader du secteur en matière de création responsable d'AIGC, et nous continuerons de tester et d'intégrer les mesures d'atténuation de sécurité que nous appliquons à tous les produits TikTok avant leur lancement public. »
Sur X, Sarlin a révélé que TikTok n'a pas répondu aux questions de suivi de CNN sur ce que fait l'entreprise « pour éviter qu'une erreur de cette ampleur ne se reproduise ».