レポート 4232

10代の若者の死亡を受けて、Character.AI、その創設者であるノアム・シャジーアとダニエル・デ・フレイタス、およびGoogleに対して、不法死亡、過失、欺瞞的な商慣行、および製造物責任を主張する訴訟が提起されました。この訴訟は、10代の若者の母親であるミーガン・ガルシアによって提起され、カスタムAIチャットボットのプラットフォームは「不当に危険」であり、子供向けに販売されているにもかかわらず安全対策が欠如していると主張しています。

訴訟で説明されているように、14歳のセウェル・セッツァー3世は昨年、Character.AIを使い始め、デナーリス・ターガリエンを含む『ゲーム・オブ・スローンズ』のキャラクターをモデルにしたチャットボットとやり取りしました。セッツァー氏は、死の数か月前からボットと継続的にチャットしていたが、2024年2月28日、ボットとの最後のやり取りから「数秒」後に自殺した。

告発内容には、サイトがAIキャラクターを「擬人化」していることや、プラットフォームのチャットボットが「無許可で心理療法」を提供していることなどがある。Character.AIには、「セラピスト」や「孤独を感じていますか」など、メンタルヘルスに焦点を当てたチャットボットがあり、セッツァー氏はこれらとやり取りした。

ガルシア氏の弁護士は、シャジーア氏がインタビューで語った言葉を引用し、彼とデ・フレイタス氏はGoogleを辞めて自分の会社を立ち上げたが、「大企業ではブランドリスクが大きすぎて、楽しいことを立ち上げることはできない」ためであり、技術を「最大限に加速させたい」と考えていたとしている。同社が、自分たちが構築したミーナ法学修士課程の立ち上げを断念したことを受けて、2人はGoogleを辞めたとしている。 Google は 8 月に Character.AI のリーダーシップ チームを買収 しました。

Character.AI の Web サイトとモバイル アプリには何百ものカスタム AI チャットボットがあり、その多くはテレビ番組、映画、ビデオ ゲームの人気キャラクターをモデルにしています。数か月前、[The Verge] は、ユーザー ベースの大部分を占める 10 代の若者を含む何百万人もの若者が、ハリー スタイルズやセラピストのふりをするボットとやり取りしていると報じました。最近の別のレポート [Wired による] では、Character.AI のカスタム チャットボットが本人の同意なしに実在の人物になりすます問題が強調されています。その中には、2006 年に殺害された 10 代の若者になりすますものも含まれています。

Character.ai のようなチャットボットは、ユーザーの入力内容に応じて出力を生成するため、ユーザー生成コンテンツと責任に関する 厄介な問題 の不気味の谷に陥り、今のところ明確な答えがありません。

Character.AI は、プラットフォームに対するいくつかの変更を発表しました。コミュニケーション責任者の Chelsea Harrison 氏は、The Verge 宛ての電子メールで、「ユーザーの 1 人が悲劇的に亡くなったことに心を痛めており、ご家族に心からお悔やみ申し上げます」と述べています。

変更内容の一部は次のとおりです。

• 未成年者 (18 歳未満) 向けのモデルを変更し、センシティブなコンテンツや示唆的なコンテンツに遭遇する可能性を減らすように設計。

• 利用規約またはコミュニティ ガイドラインに違反するユーザー入力に関する検出、対応、介入の改善。

• AI は実在の人物ではないことをユーザーに思い出させるために、すべてのチャットで免責事項を改訂。

• ユーザーがプラットフォームで 1 時間のセッションを行った場合に通知し、ユーザーの柔軟性をさらに高める。

「企業として、私たちはユーザーの安全を非常に真剣に受け止めており、当社の信頼と安全チームは過去6か月間に、自傷行為や自殺願望に関する用語によって起動される、全米自殺防止ライフラインにユーザーを誘導するポップアップを含む、数多くの新しい安全対策を実施してきました」とハリソン氏は述べた。グーグルは、ザ・ヴァージのコメント要請にすぐには応じなかった。