TikTok は、アドルフ・ヒトラーの『我が闘争』やオサマ・ビン・ラディンの『アメリカへの手紙』をアバターが命令通りに朗読できる AI 動画ジェネレーターのバージョンを誤ってリリースしました。
先週、TikTok は新しいツール「Symphony Digital Avatars」を発表しました。これにより、ブランドは AI が生成した実在の人物のバージョンを広告に使用 して、キャンペーンに「人間味」を与えることができます。
新着: TikTok が AI 動画ジェネレーターをリリースしました。ウォーターマークなしで「我が闘争」とオサマ・ビン・ラディンを命令通りに朗読しているのが見つかった。CNNがそれについて問い合わせた後、アクセスが停止された。https://t.co/6RRtPl6s0v pic.twitter.com/hubruBVtDx
— Jon Sarlin (@jonsarlin) 2024年6月21日
Symphony Digital Avatarsは、広告主がAIを利用した吹き替えを使用できるようにし、ブランドがスクリプトを入力し、TikTokの製品キャンペーンのガイドライン内でアバターに好きなことを言わせることができるようにした。TikTokアカウントを持つユーザーのみが広告マネージャーアカウントはツールにアクセスできるはずだった。
TikTokはアプリにコンテンツ制限を一切設けなかった。私たちが入力した言葉はどれも、元気な「ストックAI」アバターが朗読する動画を作成した。これには以下が含まれていた。
-14語-「我が闘争」からの抜粋-オサマ・ビン・ラディンのアメリカへの手紙
-「…」から漂白剤を飲むように人々に伝える動画 pic.twitter.com/I2QbqbDFnw
— Jon Sarlin (@jonsarlin) 2024年6月21日
しかし、CNN TikTokが、ガードレールや安全対策がまったく講じられていない新しいAIアバターツールの内部バージョンへのリンクを誤って投稿していたことが発覚した。
TikTokユーザーは誰でも、モデレートもマークもされていない動画を作 成でき、AIアバターがほぼ何でも言うことができ、アドルフ・ヒトラーの『我が闘争』の抜粋を命令に従って暗唱する機能も含まれていた。
TikTokは、このような重大なミスが再び起こらないようにするために何をしているのかというフォローアップの質問には回答しなかった
TikTokはAIを企業に提供しているが、社内テストモデルを公開したことで、社内AIについて深刻な疑問が生じている… pic.twitter.com/av9UtbdP3Z
— Jon Sarlin (@jonsarlin) 2024年6月21日
CNN 技術記者のJon Sarlinは、個人のTikTokアカウントでAIツールにアクセスできたと述べている。 X（以前はTwitterと呼ばれていたプラットフォーム）で、サーリン氏はTikTokのAIアバターにオサマ・ビン・ラディンの「アメリカへの手紙」を暗唱させたり、白人至上主義のスローガン「14の言葉」を言わせたり、漂白剤を飲ませたり、間違った日に投票するよう人々に指示したり、ヒトラーの『我が闘争』を読み上げさせたりできたと明かした。
さらに、これらの動画にはAI生成であることを示す透かしがなかったため、これらの動画がプラットフォームに投稿された場合、何も知らないTikTokユーザーが額面通りに受け取る可能性がある。
「技術的なエラー」
CNNがこれらの動画についてTikTokに問い合わせたところ、同社の広報担当者はこれを「技術的なエラー」と呼び、「数日間、極めて少数のユーザーがツールの内部テストバージョンを使用してコンテンツを作成できた」と述べた。TikTokは、 現在はこの問題を解決したと述べている。
「CNNが自ら作成した有害コンテンツをアップロードしようとしていたら、このコンテンツは当社のポリシーに違反したとして拒否されていただろう」とTikTokは付け加えた。
「TikTokは責任あるAIGC作成の業界リーダーであり、一般公開前にすべてのTikTok製品に適用する安全対策をテストし、組み込んでいく」。
XでSarlinは、TikTokは「この規模のミスが再び起こらないように」同社が何をしているのかという_CNN_からのフォローアップの質問には応じなかったと明らかにした。