カリフォルニア州メンロパークに拠点を置く新興企業Character AIは、自社の使命を「パーソナライズされたAIで世界中のすべての人を支援する」ことだとしている。同社のシステムは、アニメ、伝統的な「デジタルアシスタント」、さらには昔ながらの私立探偵などのジャンルのキャラクターベースのAIペルソナとチャットする機会をユーザーに提供する。また、提供されているものが気に入らない場合は、独自のカスタム チャットボット を作成できます。つまり、「声、会話の開始、口調」などを選択できます。同社は現在、これらのユーザー生成キャラクターの 1 つで注目を集めています。このキャラクターは、ゲーム オブ スローンズ のキャラクター、デナーリス ターガリエンにちなんで名付けられており、数か月間人工ペルソナと会話した後、自殺したフロリダの 14 歳の少年と関連しています。 ABC7Newsは、セウェル・セッツァー3世という名の少年がしばらくチャットボットと話していたと報じている。セッツァー3世の母親は、少年は実在の人間ではないとわかっていたにもかかわらず、そのデジタル人格に「感情移入し」、その後「孤立と鬱状態に陥り、自殺した」と述べている。ニューヨーク・タイムズは、セッツァーが1日に何十回もボットとチャットしており、そのやり取りは恋愛や性的な内容を交換するまでにエスカレートしていたと伝えている。息子は死亡する直前までボットと話しており、自殺願望があったことを示唆していたとタイムズ紙は伝えている。
少年の母親であるメガン・L・ガルシアさんは、現在、Character AIを訴えている。ガルシアさんは、チャットボットメーカーとその創設者であるノアム・シャジール氏とダニエル・デ・フレイタス氏に息子の自殺の責任を負わせようとしており、金額未定の損害賠償を求めているという。ニュースサイトDecrypt.coは、訴訟の中で、Character AIが「危険で安全でないと知りながら、未成年者をターゲットにし、サポート、作成、リリースすることを選択した」と主張している。訴訟は、GoogleとAlphabetも標的にしている。 Googleは、Characterの創業者2人（2021年に同社を退職してCharacterを立ち上げた）を8月に再雇用した。これは、スタートアップのチャットボット技術をGoogleがライセンス供与する契約の一環である。契約額は27億ドル。
Character AIの技術をめぐる訴訟を複雑にしているのは、他の人間のユーザーが関与しておらず、Characterのシステムは、他のソーシャルプラットフォームがユーザーのエンゲージメントを維持するために使用しているのと同じ、中毒性があるとされるアルゴリズムのトリックに依存していない可能性があることだ。
CharacterはXの投稿でこの件について声明を発表し、「私たちはユーザーの一人が悲劇的に亡くなったことに心を痛めており、遺族に深い哀悼の意を表します」と述べた。同社は「ユーザーの安全を非常に真剣に受け止めており、新しい安全機能を追加し続けています」と投稿は続き、ブログへのリンクを貼って「当社のポリシーでは、合意のない性的コンテンツ、性行為のグラフィックまたは具体的な描写、自傷行為や自殺の宣伝や描写は許可されていません」と述べている。また、「プラットフォーム上のキャラクターを動かす大規模言語モデル（LLM）を継続的にトレーニングし、これらのポリシーを遵守させています」と説明している。
セッツァーの死は悲劇だが、法的責任に関するすべての問 題は法廷で決着するまで待たなければならないだろう。結局のところ、ここで問題となっているテクノロジーは非常に新しいものだからだ。
チャットや共有プラットフォーム、主にMetaのInstagramサービスのような従来のソーシャルメディアシステムの形をとるプラットフォームは、進行中の10代の若者のメンタルヘルス危機との関連が疑われ、ここ数年間話題になっていることを覚えておく価値がある。たとえば、10月中旬には、Metaが若いユーザーの精神的健康に影響を与えているとして2件の訴訟に直面する見込みであることが明らかになった。
この話は、すべてのAI企業や、AI技術を使用またはライセンス供与する第三者にとっての教訓というわけではない。しかし、チャットボット技術や同様のAI技術はまだ初期段階にあり、必然的に複雑さや間違いが生じることを思い起こさせるものだ。また、あなたの会社のサービスが若者にも利用可能である場合、これらの脆弱なユーザーを保護するためのシステムが厳しい監視の対象となる可能性があることも思い出してください。
あなたやあなたの知り合いが自殺願望を抱いている、または危機的状況にある場合は、988 に電話して 988 自殺・危機ライフラインに助けを求めることができます。24 時間対応で、無料で秘密厳守です。