レポート 4062

TikTok は、ガードレールのない新しい AI デジタル アバター ツールの社内バージョンへのリンクを誤って投稿し、ユーザーが何でも言う動画を作成できるようにしました。この 問題は CNN によって最初に発見されました。この問題により、CNN はヒトラーの発言や漂白剤を飲むようにというメッセージなどのフレーズを含む動画を生成できました。TikTok はその後、このバージョンのツールを削除しましたが、TikTok がリリースを予定していたバージョンは引き続き利用可能です。

今週初めにリリースされた、TikTokのSymphony Digital Avatarsでは、企業が有料俳優の肖像を使用して広告を生成できます。また、AIを利用した吹き替えも使用しており、広告主はスクリプトを入力して、TikTokのガイドラインに従ってアバターに好きなことを言わせることができます。このツールにアクセスできるのはTikTok Ads Managerアカウントを持つユーザーだけですが、CNNが見つけたバージョンでは、個人アカウントを持つ人なら誰でも試すことができました。

The Verge への声明で、TikTok の広報担当者 Laura Perez 氏は、TikTok は「数日間、極めて少数のユーザーがツールの内部テスト版を使用してコンテンツを作成できた」という「技術的エラー」を解決したと述べた。

CNN が内部ツールを発見したとき、CNN は同メディアに、オサマ・ビン・ラディンの「アメリカへの手紙」を朗読する動画、白人至上主義のスローガン、間違った日に投票するよう呼びかける動画の作成を許可した。 CNN が作成した動画には、動画が AI 生成であることを示す透かしは入っていなかったが、これは TikTok の Symphony Digital Avatars の正規版には入っている。

CNN は作成した動画を TikTok に投稿しなかったが、もし投稿していたら、そのコンテンツは「ポリシー違反として拒否されていただろう」と Perez 氏は指摘する。 TikTok はその後このバージョンのツールを削除したが、人々がデジタルアバタークリエイターを悪用する別の方法を見つけるかどうか、そして TikTok がそれに対応する準備ができているかどうかは疑問だ。