AI 搭載のチャットボット プラットフォーム Character AI は、2 月に自殺した 10 代のユーザーの母親が起こした訴訟を受けて、「厳格な」新しい安全機能を導入しています。
同社の広報担当者は Decrypt に対し、この対策には「利用規約またはコミュニティ ガイドラインに違反するユーザー入力に関する検出、対応、介入の改善」と使用時間通知が含まれると語り、係争中の訴訟についてはコメントできないと述べました。
ただし、Character AI はユーザーの死に哀悼の意を表し、水曜日に ブログ投稿 で安全プロトコルの概要を説明しました。
「ユーザーの 1 人が悲劇的に亡くなったこと に心を痛めており、ご家族に心からお悔やみ申し上げます」と Character.ai はツイートしました。「当社は企業として、ユーザーの安全を非常に真剣に受け止めています。」
私たちは、ユーザーの一人が悲劇的に亡くなったことに心を痛めており、ご遺族に心からお悔やみ申し上げます。当社は企業としてユーザーの安全を非常に重視しており、新しい安全機能の追加を続けています。詳細については、こちらをご覧ください。…
— Character.AI (@character_ai) 2024 年 10 月 23 日
New York Times によると、フロリダ州在住の 14 歳の Sewell Setzer III は、亡くなる数か月前から、ゲーム オブ スローンズのキャラクター Daenerys Targaryen にちなんで名付けられたユーザー生成のチャットボットにますます愛着を感じていました。彼は 1 日に何十回もボットとやり取りし、時には恋愛や性的な内容を交換することもあったそうです。
セッツァーは死に至るまでの数分間、ボットとコミュニケーションを取り、以前にも自殺願望を語っていたとタイムズ紙は報じている。
セッツァーの母親で弁護士のミーガン・L・ガルシアは火曜日、息子の死についてキャラクターAIとその創設者であるノアム・シャジーアとダニエル・デ・フレイタスに責任を負わせようと訴訟を起こした。訴状によると、訴訟では被告らが「危険で安全でないと知りながら、未成年者をターゲットにし、支援、作成、発売することを選択した」などと主張している。ガルシアは金 額を特定していない損害賠償を求めている。
グーグルLLCとアルファベットもこの訴訟の被告に挙げられている。グーグルは、2021年に同社を離れてキャラクターAIを設立したシャジーアとデ・フレイタスを、チャットボットスタートアップの大規模言語モデルのライセンス供与も含まれた27億ドルの取引の一環として、8月に再雇用した。
同社の声明によると、他の安全対策に加え、Character AI は「過去 6 か月間に、自傷行為や自殺願望に関する用語によって起動される、ユーザーを National Suicide Prevention Lifeline に誘導するポップアップなど、多数の新しい安全対策を実施しました」。また、18 歳未満のユーザーが「センシティブなコンテンツや示唆的なコンテンツに遭遇する可能性を減らす」ためにモデルを変更する予定だという。
Character AI は、市場に出回っている多くの AI コンパニオン アプリの 1 つで、ChatGPT などの従来のチャットボットよりも安全ガイドラインが厳しくないことが多い。Character AI を使用すると、ユーザーはコンパニオンをカスタマイズし、行動を指示できる。
テクノロジーが子供やティーンエイジャーに与える心理的影響について親の間で懸念が高まる中で起こされたこの訴訟では、ボットへの愛着が彼の精神的健康に悪影響を及ぼしたと主張している。セッツァーは子供の頃に軽度のアスペルガー症候群と診断され、最近は不安障害と破壊的気分調節障害と診断されたと、Times は報じている。
この訴訟は、通信品位法第230条に基づいてソーシャルメディア企業に提供される法的保護をテストしている、裁判所で進行中のいくつかの訴訟の1つです。この保護は、ユーザー生成コンテンツに関連する責任から企業を保護します。TikTokは、アプリで見た「ブラックアウトチャレンジ」を完了しようとして10歳の少女が死亡した後、同社に責任がある可能性があると裁判官が判決を下した事件の再審を申し立てています。これは、殺人被害者にちなんで名付けられたチャットボットをホストしたことで先月非難されたCharacter AIにとって最新の問題です。
生成AIモデルのGenが語る毎週のAIの旅。