インシデント 790: Unrestricted AI Avatar Tool Accidentally Released by TikTok Permits Recitation of Hitler Quotes and Other Harmful Speech

概要: TikTok accidentally released an internal version of its AI digital avatar tool without safeguards, allowing users to generate videos where avatars could recite harmful content, including quotes from Hitler. The tool, meant for advertisers, was accessible to personal accounts and lacked the watermark indicating AI-generated content. TikTok has since removed the tool and acknowledged the problem.
Editor Notes: Timeline notes: TikTok released TikTok Symphony on June 17, 2024. On June 21, 2024, CNN reported the problems associated with it.

組織

すべての組織を表示
推定: TikTokが開発し提供したAIシステムで、TikTok users と General publicに影響を与えた

インシデントのステータス

インシデントID
790
レポート数
2
インシデント発生日
2024-06-21
エディタ
Daniel Atherton
Applied Taxonomies
MIT

MIT 分類法のクラス

Machine-Classified
分類法の詳細

Risk Subdomain

1.2. Exposure to toxic content

Risk Domain

  1. Discrimination and Toxicity

Entity

Human

Timing

Post-deployment

Intent

Unintentional

TikTokのAIツールが誤ってヒトラーの言葉を有料俳優の口に乗せてしまう
theverge.com · 2024
自動翻訳済み

TikTok は、ガードレールのない新しい AI デジタル アバター ツールの社内バージョンへのリンクを誤って投稿し、ユーザーが何でも言う動画を作成できるようにしました。この 問題は CNN によって最初に発見されました。この問題により、CNN はヒトラーの発言や漂白剤を飲むようにというメッセージなどのフレーズを含む動画を生成できました。TikTok はその後、このバージョンのツールを削除しましたが、TikTok がリリースを予定していたバージョンは引き続き利用可能です。

今…

TikTokのAIビデオジェネレーターはアバターにヒトラーの「わが闘争」を朗読させる
petapixel.com · 2024
自動翻訳済み

TikTok は、アドルフ・ヒトラーの『我が闘争』やオサマ・ビン・ラディンの『アメリカへの手紙』をアバターが命令通りに朗読できる AI 動画ジェネレーターのバージョンを誤ってリリースしました。

先週、TikTok は新しいツール「Symphony Digital Avatars」を発表しました。これにより、ブランドは AI が生成した実在の人物のバージョンを広告に使用 して、キャンペーンに「人間味」を与えることができます。

新着: TikTok が AI 動画ジェネレーター…

バリアント

「バリアント」は既存のAIインシデントと同じ原因要素を共有し、同様な被害を引き起こし、同じ知的システムを含んだインシデントです。バリアントは完全に独立したインシデントとしてインデックスするのではなく、データベースに最初に投稿された同様なインシデントの元にインシデントのバリエーションとして一覧します。インシデントデータベースの他の投稿タイプとは違い、バリアントではインシデントデータベース以外の根拠のレポートは要求されません。詳細についてはこの研究論文を参照してください
前のインシデント次のインシデント