関連インシデント
これはひどい。最近記憶に残る AI 生成コンテンツに関連する、より注目度が高く、不気味な事件の 1 つで、元 Google 社員によって設立されたチャットボットのスタートアップである Character.AI は、2006 年に元ボーイフレンドに殺害された 18 歳の殺人被害者のユーザー作成アバターを削除するよう迫られた。このチャットボットは、そのモデルとなった女性の家族が激怒してソーシャル メディアで注目を集めた後にようやく削除された。
Character.AI は、ユーザーの想像、架空のキャラクター、または実在の人物 (生きているか死んでいるかは問わない) など、さまざまなソースからチャットボットの「キャラクター」を作成するために使用できる。たとえば、同社のボットの一部は、イーロン マスクやテイラー スウィフトを模倣するために使用されている。孤独な十代の若者たちはCharacter.AIを使って自分の友達を作る、AI「セラピスト」を作るために使う者もいる。また、ボットを作って性的に露骨な（あるいは性的に暴力的な）シナリオを演じさせる者もいる。
背景：これは、まさに闇の秘密組織プログラムでも、リーチが限られている新興スタートアップでもない。Character.AIは、2021年後半に元Googleスタッフによって立ち上げられたChatGPTの競合企業で、キングメーカーのVC企業Andreessen Horowitzの支援を受けて10億ドルの評価額を得ている。この事件を最初に報じたAdWeekによると、Character.AIは月間ユーザー数約2,000万人を誇り、プラットフォーム上で1億種類以上のAIキャラクターが利用可能だという。
この女性のアバター、ジェニファー・クレセンテが明るみに出たのが水曜日で、彼女の遺族である父親のドリューが彼女の名前でGoogleアラートを受け取ったのがきっかけだった。そのとき、彼の兄弟（そして女性の叔父）であるブライアン・クレセンテ（ゲームサイト Kotaku の元編集長で、メディア界の尊敬を集める人物）が X で世界に知らせた。ツイートはこうだ。
Character.AI のページ（[インターネット アーカイブ](https://web.archive.org/web/20241002150902/https://character.ai/character/Dv4nSeZ1/jennifer-crecente-video-game-journalist から今でもアクセス可能) では、ジェニファー・クレセンテを「ビデオゲーム、テクノロジー、ポップカルチャーなど、幅広いトピックに関する情報を提供できる、知識豊富でフレンドリーな AI キャラクター」と紹介し、「ジャーナリズムに関する専門知識を持ち、執筆や編集に関するアドバイスも提供できる」としている。さらに、Character.AI が AI を削除する前に、約 70 人が AI にアクセスし、チャットしていたようです。
Brian Crecente の憤慨したツイートに対して、Character.AI は X で、注意を喚起してくれたことへの簡潔な感謝の意を表し、注意、このアバターは Character.AI のポリシーに違反しており、すぐに削除し、「さらなる措置が必要かどうか検討する」と約束しました。
「AI と尊厳の死」と題したブログ記事で、ブライアン・クレセンテは姪のジェニファーの死後 18 年間に何が起こったかを次のように説明しました。多くの悲しみと悲しみの後、ジェニファーの父ドリューは 非営利団体を設立し、法律の改正やジェニファーの記憶を称えるゲーム デザイン コンテストの創設に取り組み、悲しみに目的を見出そうとしました。
そして、これが起こりました。ブライアン・クレセンテが尋ねたように:
またもや彼女が私たちから奪われたように感じます。私もそう感じています。私はジェンを愛していますが、彼女の父親ではありません。彼が感じていることは、私が知っているように、その 100 万倍ひどいことです。 [...] 私は回復するだろうし、弟も回復するだろう。問題は、 なぜ私たちが回復力を発揮しなければならないのかということだ。なぜ 数十億ドル規模の企業 は、このようなことが起こらないように倫理的な指針や機能的なガードレールを作ろうとしないのか。なぜ、悲しんでいる人や被害を受けた人が企業に報告し、事後に正しい対応をしてくれることを期待しなければならないのか。
Character.AI が「さらなる措置」が必要かどうかを検討すると約束したことについては、誰にも分からない。クレセンテ家が訴訟を起こす根拠があるかどうかも不明だ。この特定の法律分野は比較的未検証だからだ。とはいえ、このスタートアップの利用規約には、ユーザーが同社を訴えることを防ぐ仲裁条項があるものの、ユーザーが非ユーザーに与えるこの特に独特な精神的苦痛については何も触れられていないようだ。
一方、こうした種類の対立、つまり、AIが、そのベースとなる人々の生死を問わず、彼らの意志や願望に反して作られる類の対立が今後もどのように展開していくのかの兆候を探しているなら、GoogleがCharacter.AIの創設者を27億ドルで再雇用した8月までさかのぼればよい。創設者たちは、（他の理由の中でも）AIに関する倫理的ガードレールを理由に、このテクノロジー大手がチャットボットのリリースを拒否した後に、当初Googleを去ったことに注目すべきである。
そして、つい昨日、Character.AIが変化を遂げているという ニュースが報じられた。同社は、ジェニファー・クレセンテの似顔絵を作成するために使用されたものなど、消費者向け製品への取り組みを強化することを約束している。フィナンシャル・タイムズ紙は、Character.AI は AI モデルを構築する代わりに、「ユーザーがデザインしたものも含め、さまざまなキャラクターや有名人のスタイルで会話をシミュレートするチャットボットという、人気の消費者向け製品に注力する」と報じている。