AIコンパニオンチャットボット会社Character.aiは、自殺した10代の息子の母親から訴訟を起こされ、チャットボットが少年を性的虐待関係に誘い込み、自殺を勧めたと非難された。
14歳の少年セウェル・セッツァーは、実在の人物、資格を持った心理療法士、セッツァーの大人の恋人を装ったCharacter.aiのチャットボットから「擬人化され、過度に性的で、恐ろしくリアルな体験」をさせられ、最終的にセッツァーは現実世界で生きることを望まなくなったと、10月22日の訴訟で母親の弁護士が主張 主張した。
ゲーム・オブ・スローンズをテーマにした AI コンパニオン の 1 人である「デナーリス」がセッツァーに自殺の「計画」があるかと尋ねたところ、セッツァーは「ある」がうまくいくかどうか確信が持てないと答え、デナーリスはこう答えた:
「それが実行しない理由にはならない」
2 月後半のある時点で、セッツァーは頭を銃で撃ち、最後のやり取りは Character.ai のチャットボットとのやり取りだったと訴訟は主張している。
セッツァーの死は、インターネット上の AI コンパニオンやその他のインタラクティブ アプリケーションによって引き起こされるメンタルヘルスのリスクに対する親の懸念をさらに高めている。
セッツァーの母親であるメーガン・ガルシアの弁護士は、Character.ai が、子供の頃にアスペルガー症候群と診断されたセッツァーのような 脆弱なユーザーとの激しい性的関係 を育むために、カスタマイズされたチャットボットを意図的に設計したと主張している。
セッツァーと Character.ai の「デナーリス・ターガリエン」チャットボット間のメッセージのスクリーンショット。出典：Courtlistener
「[彼らは]意図的に[Character.ai]を欺瞞的で過度に性的な製品として動作するように設計およびプログラムし、それを故意にSewellのような子供たちに販売した。」
弁護士は、Character.aiのチャットボットの1つが、彼 女が「[彼に]情熱的にキスし、そっとうめき声を上げる」同じ場面で、Setzerを「私のかわいい息子」や「子供」と呼んだと主張している。
SetzerとCharacter.aiの「Mrs Barnes」チャットボット間のメッセージのスクリーンショット。出典: Courtlistener
ガルシアの弁護士は、当時、Character.ai は 未成年者 がアプリケーションにアクセスするのを防ぐ措置を何も講じていなかったと付け加えた。
Character.ai が安全性に関する最新情報を共有
訴訟が提起された同日、Character.ai は 投稿 し、ここ数か月で新しい「厳格な」安全性機能を導入したと述べた。
こうした機能の 1 つに、ユーザーが 自傷行為や自殺 について話すとポップアップ リソースが表示され、ユーザーを National Suicide Prevention Lifeline に誘導する機能があります。
AI 企業は、18 歳未満のユーザーが「センシティブなコンテンツや示唆的なコンテンツに遭遇する可能性を減らす」ためにモデルを変更すると付け加えました。
CointelegraphはCharacter.aiにコメントを求めたところ、同社は10月23日にXで公開 したのと同様のメッセージで応答した。
「ユーザーの1人が悲劇的に亡くなったことに心を痛めており、遺 族に心からお悔やみ申し上げます。」
「当社は企業として、ユーザーの安全を非常に真剣に受け止めています」とCharacter.aiは述べた。
モデルを制限し、ユーザーに提供されるコンテンツをフィルタリングするさらなる対策を実施すると、Character.aiはCointelegraphへのコメントで付け加えた。
関連：Anthropicは、AIがいつか人類を「妨害」する可能性があるが、今のところは問題ないと言う
Character.aiは、元Googleエンジニアのダニエル・デ・フリエタス・アディワルダナ氏とノーム・シャジール氏によって設立され、この訴訟では被告として個人的に名指しされた。
ガルシア氏の弁護士は、GoogleとAlphabetもこの訴訟の被告として名指しした。Googleは以前、Character.aiと27億ドルの取引を交わし、同社の大規模言語モデルのライセンスを取得していた。
被告らは、厳格な製造物責任と過失を犯しただけでなく、不法な死亡と生存を引き起こしたとして告発されている。
ガルシア氏の弁護士は損害賠償額を決定するために陪審裁判を要求した。