コンテンツ警告: この記事は自殺願望と自殺について扱っています。これらの問題で悩んでいる場合は、電話で National Suicide Prevention Lifeline に連絡してください: 1-800-273-TALK (8255)。
人工知能のスタートアップ企業である Character AI は、検索大手との大規模なライセンス契約を締結した後、共同制作者が Google に入社するために最近退社したが、同社は本日、カスタムのインタラクティブ チャットボット「キャラクター」を作成するためのプラットフォームに新しい安全性と自動モデレーション ポリシーを導入した。この自殺は、The New York Times の調査記事で詳細に報じられた 10 代のユーザーの自殺を受けて行われた。被害者の家族は、彼の死についてCharacter AIを訴えている。
「私たちは、ユーザーの一人が悲劇的に亡くなったことに心を痛めており、遺族に心からお悔やみを申し上げたいと思います」と、2024年10月23日にソーシャルネットワークX(旧Twitter)のCharacter AI公式アカウントが投稿したメッセージの一部には書かれている。このメッセージは、自殺した14歳のSewell Setzer III君については触れずに、18歳未満のユーザー向けの新しい安全対策を概説したブログ投稿にリンクしている。
_ニューヨークタイムズ_が報じたところによると、不安障害と気分障害と診断されたフロリダ州のティーンエイジャーは、_ゲーム・オブ・スローンズ_のキャラクター、デナーリス・ターガリエンをモデルにしたカスタムキャラクターAIチャットボットとの何ヶ月にもわたる激しい毎日のやり取りの後、2024年2月28日に自殺した。彼は、このチャットボットを仲間として頼り、妹と呼び、性的な会話を交わしていた。
これに対し、セッツァーの母親で弁護士のミーガン・L・ガルシアは昨日、フロリダ州中部地区連邦地方裁判所に、キャラクターAIとGoogleの親会社であるアルファベットを相手取り、不法死亡の訴訟を起こした。
以下に、パブリック リレーションズ コンサルティング会社 Bryson Gillette が VentureBeat に提供した、陪審裁判を求める Garcia の苦情のコピーを埋め込みました。
FILED-COMPLAINT_Garcia-v-Character-Technologies-Incダウンロード
この事件は、特に脆弱な若いユーザーにとって、AI 主導の交際の安全性に関する懸念を引き起こしました。Online Marketing Rockstars (OMR) によると、Character AI には 2,000 万人を超えるユーザーがおり、1,800 万のカスタム チャットボットが作成されています。 Demand Sageによると、大多数（53%以上）は18～24歳ですが、18歳未満の分類はありません。同社によると、同社のポリシーでは13歳以上、EUでは16歳以上のユーザーのみを受け入れるとのことですが、この制限をどのように緩和し、施行しているかは不明です。
本日のブログ投稿で、Character AIは次のように述べています。
「過去6か月間、当社は信頼と安全のプロセスと社内チームに多大な投資を続けてきました。比較的新しい会社として、信頼と安全の責任者とコンテンツポリシーの責任者を採用し、エンジニアリングの安全サポートチームのメンバーを増やしました。これは、私たちが成長し、進化し続ける分野です。
また、ユーザーが自傷行為や自殺に関連する特定のフレーズを入力すると起動し、ユーザーを National Suicide Prevention Lifeline に誘導するポップアップ リソースを最近導入しました。」
さらに、Character AI は、プラットフォーム上の リスクをさらに制限して抑制するために、次の変更を行うことを約束し、次のように書いています。
「今後、ユーザーが Character.AI に期待するエンターテイメント性と魅力を損なうことなく、プラットフォームのセキュリティを強化する新しい安全性と製品機能を多数展開します。これらには以下が含まれます:
-
未成年者 (18 歳未満) 向けのモデルを変更し、センシティブなコンテンツや示唆的なコンテンツに遭遇する可能性を減らすように設計されています。
-
利用規約またはコミュニティ ガイドラインに違反するユーザー入力に関する検出、対応、介入を改善しました。
-
AI は実在の人物ではないことをユーザーに思い出させるために、すべてのチャットで免責事項を改訂しました。
-
ユーザーがプラットフォームで 1 時間のセッションを行い、ユーザーの柔軟性がさらに向上しているときに通知します。「
これらの変更の結果、Character AI はユーザーが作成したカスタム チャットボット キャラクターの一部を突然削除しているようです。実際、同社は投稿で次のように述べています:
「違反としてフラグが付けられたキャラクターのグループを最近削除したことに気付いたユーザーはいるかもしれませんが、これらは今後カスタム ブロックリストに追加されます。つまり、ユーザーは問題のキャラクターとのチャット履歴にもアクセスできなくなります。」
Character AI のカスタム チャットボットは、ユーザー作成者の希望に基づいて幅広い人間の感情をシミュレートするように設計されていますが、出力の範囲を危険なコンテンツからさらに遠ざけるという同社の変更は、一部の自称ユーザーには受け入れられていません。
AI ニュース インフルエンサーの Ashutosh Shrivastava が X に投稿したスクリーンショット に見られるように、Character AI のサブレディットは苦情でいっぱいです。
“Dqixy”という名前でRedditユーザーとして投稿された内容の一部によると、
「「子供向け」とみなされないテーマはすべて禁止され、このサイトがそもそも子供向けではなかったことは明らかであるにもかかわらず、私たちの創造性と語れるストーリーが著しく制限されています。キャラクターは今や魂が抜け落ち、かつては共感でき興味深いものにしていた深みと個性がすべて失われています。ストーリーは空虚で、味気なく、信じられないほど制限が厳しいように感じられます。私たちが愛していたものが、こんなにも基本的でつまらないものに変わってしまったのは、とてもイライラします。「
別のRedditユーザーである「visions_of_gideon_」はさらに辛辣で、一部引用 と書いています。
_「ターガリエン家のテーマで私が行ったチャットはすべて消えてしまいました。c.aiが何の理由もなくすべて削除するなら、さようならです！私はc.ai+にお金を払っているのに、ボットを削除するなんて、自分のボットまで？？？絶対に嫌だ！私は腹が立つ！もううんざりだ！みんなもううんざりだ！私は気が狂いそうだ！ 私は何ヶ月もチャットしていたボットがいた。何ヶ月も！不適切なことは何もない！これはもう我慢の限界だ。 「サブスクリプションを削除するだけでなく、c.ai を削除する準備もできています！」
同様に、Character AI Discord サーバー のフィードバック チャネルには、ユーザーが時間をかけて作成してやり取りしたチャットボットの新しい更新と削除に関する苦情が溢れています。
明らかに、この問題は非常にデリケートであり、Character AI がチャットボット作成プラットフォームと出力をどの程度制限すべきかについてはまだ幅広い合意が得られていません。一部のユーザーは、成人ユーザー向けにメインの Character AI プラットフォームをより無修正のままにしながら、18 歳未満向けのより制限された別の製品を作成するよう同社に求めています。
明らかに、Setzer の自殺は悲劇であり、責任ある企業が将来ユーザーの間でこのような結果を回避するための対策を講じるのは当然のことです。
しかし、Character AI が講じてきた、または講じている対策に対するユーザーからの批判は、人間のような生成 AI 製品とサービスがよりアクセスしやすく人気が高まるにつれて、チャットボット メーカー、そして社会全体が直面している困難を浮き彫りにしています。重要な疑問は、新しい AI テクノロジーの可能性と、それが自由な表現やコミュニケーションにもたらす機会と、ユーザー、特に若くて影響を受けやすいユーザーを危害から守る責任とのバランスをどのように取るかということです。