関連インシデント
AI 企業 Character.AI は、2006 年に殺人事件の被害者となった 18 歳のジェニファー アン クレセンテの肖像を家族の同意なしにビデオ ゲームで使用したことで、非難に直面している。同社は、このキャラクターがなりすましに対する同社のポリシーに違反したとして、このキャラクターを削除した。
ジェニファーの父親であるドリュー クレセンテは、水曜日の午前 4 時半頃、Character.AI で娘の AI バージョンが作成されたという自動 Google アラートを受け取った。リンクをクリックすると、Character.AI は彼女の AI の肖像を「ビデオ ゲーム、テクノロジー、ポップ カルチャーなど、幅広いトピックに関する情報を提供できる、知識が豊富でフレンドリーな AI キャラクター」と 説明した。
「朝一番にこのメッセージを見て、誰かが作った混乱を片付けるのに慌てなければならないのはよくありません」とクレセンテは ADWEEK に語った。メディアの報道によると、ジェニファーは2006年、高校4年生の時に元恋人のジャスティン・クラッブに射殺された。
Character.AIの広報担当者はADWEEKに対し、同社のユーザーの1人がジェニファーの肖像を使ってキャラクターを作成し、それを他の人に公開したことが同社のポリシー違反であると語った。これらのポリシーによると、Character.AIはユーザーがキャラクターを作成するためにデータをどのように入手するかについて責任を負わない。
「さらなる措置が必要かどうか検討します」と広報担当者は述べた。
この事件が初めてXで表面化したのは、ゲームニュースサイトKotakuの創設者ブライアン・クレセンテ氏が、亡くなった姪をモデルにした無許可のキャラクターを発見し、水曜日にCharacter.AIを非難した時だった。
「これは本当にひどい」と同氏は書いた。
これは本当にひどい。@character_aiが、私の殺害された姪を父親の許可なくビデオゲームのAIの顔として使っている。父親は今とても動揺している。父親がどんな思いをしているのか想像もつかない。
このようなひどい行為をやめるよう、どうかご協力ください。 https://t.co/y3gvAYyHVY
— Brian Crecente (@crecenteb) 2024 年 10 月 2 日
Character.AI の 利用規約 では、ユーザーはなりすましポリシーを遵守する必要があると規定されています。このポリシーでは、「政治的な誤報を作成したり、詐欺やペテンを行ったり、第三者の評判を傷つけたり、その他の有害な行為に該当するものを含むがこれらに限定されない、あらゆる種類のディープフェイクやなりすまし」を禁止しています。
AI アバターの使用は、マーケティング担当者の 関心 が高まっているが、AI 生成キャラクターの倫理的使用に関する議論が再燃している。特に、同意なしに実在の人物のレプリカを作成する場合である。ディープフェイク技術は、長い間、有名人や政治家にとって懸念事項であった。この技術がより利用しやすくなるにつれ、AI に対する国民の信頼を損ない、企業とオーディエンスの関係に悪影響を及ぼす恐れがある。
「マーケティング担当者は、オーディエンスとの信頼関係の構築に努めています」と、ガートナーのバイスプレジデントアナリスト、ニコール・グリーン氏は述べた。「実在の人物に似せて AI アバターが本人の知らないうちに、または本人の同意なしに作成された場合、信頼と信憑性が損なわれる可能性があります。消費者は騙された、または操作されたと感じる可能性があり、ブランドとターゲットオーディエンスの関係に悪影響を及ぼす可能性があります。」
グリーン氏は、マーケティング担当者は、代理店やパートナーが AI を使用する際に倫理ガイドラインに従っているかどうかをより適切に評価する必要があると付け加えた。
元 Google 社員の Noam Shazeer によって設立された Character.AI は、昨年、Andreessen Horowitz が主導するシリーズ A ラウンドで 1 億 5,000 万ドルを調達し、評価額は 10 億ドルに達した。
Charcater.AI では、ユーザーが AI 搭載のキャラクターを作成し、エンゲージすることができる。このプラットフォームは、過去 1 年間で月間ユーザー数を倍増し、月間ユーザー数は 2,000 万人を超えている。TechCrunch によると、同社は 1 億のユニークなキャラクターを支えている。今週、Character.AIは元YouTube幹部のエリン・ティーグ氏を最高製品責任者に任命した。
8月にAxiosは、GoogleがCharacter.AIのモデルの非独占ライセンス契約を締結し、Character.AIのベンチャー投資家を約25億ドルの評価額で買収する予定であると報じた。
ジェニファーの父親であるクレセンテ氏は、Character.AIに訴訟を起こし、午前9時51分時点で調査の確認を受けたが、それ以降、解決策は示されていないとADWEEKに語った。
「このような被害が予見できる場合に、テクノロジー企業が適切な安全策を講じないのは無責任だ」とクレセンテ氏は述べた。