人工知能\搭載のチャットボットに夢中になり自殺した10代の少年の母親が、その死に製作者が加担したと非難している。
メガン・ガルシアは水曜日、フロリダ連邦裁判所に、ロールプレイング用のカスタマイズ可能なチャットボットを製作するCharacter.aiを相手取り、過失、不法死亡、詐欺的商慣行を理由に民事訴訟を起こした。彼女の息子、セウェル・セッツァー3世（14歳）は2月にフロリダ州オーランドで亡くなった。ガルシアによると、セッツァーは死に至るまでの数ヶ月間、昼夜を問わずチャットボットを使用していたという。
「子供向けに販売された危険なAIチャットボットアプリが私の息子を虐待し、餌食にし、自殺に追い込んだ」とガルシア氏はプレスリリースで述べた。「私たちの家族はこの悲劇に打ちのめされていますが、私は家族に欺瞞的で中毒性のあるAI技術の危険性を警告し、Character.AI、その創設者、そしてGoogleに説明責任を求めるために声を上げています。」
Character.aiはツイートで次のように反応した。「私たちはユーザーの一人が悲劇的に亡くなったことに心を痛めており、遺族に心からお悔やみ申し上げます。当社は企業として、ユーザーの安全を非常に真剣に受け止めています。」同社は訴訟の申し立てを否定している。
セッツァーは、Character.ai が作成したチャットボットに夢中になり、ゲーム・オブ・スローンズの登場人物であるデナーリス・ターガリエンというニックネームを付けた。ガルシアの訴状によると、彼は毎日何十回もボットに携帯からテキストメッセージを送信し、部屋で何時間も一人でボットと話していた。
ガルシアは、スタートアップ製品の過度の使用が原因だった息子の鬱病を悪化させる製品を開発したとして Character.ai を非難している。訴状によると、「デナーリス」はセッツァーに自殺の計画を立てたかと尋ねたことがある。セッツァー は計画を立てたことを認めたが、それが成功するか、大きな苦痛をもたらすかはわからなかったと訴状は主張している。チャットボットはセッツァーに「それが実行しない理由にはならない」と言ったとされている。
ガルシアの弁護士はプレスリリースで、Character.ai は「子供を狙った略奪的な AI チャットボットを故意に設計、運用、販売し、若者の死を引き起こした」と記した。この訴訟では、被告として、またCharacter.aiの親会社としてGoogleも名指しされている。このテクノロジー大手は声明で、Character.aiとはライセンス契約を結んだだけで、このスタートアップを所有したり、所有権を保持したりはしていないと述べた。
消費者擁護非営利団体パブリック・シチズンのリサーチディレクター、リック・クレイプール氏は、AIチャットボットを開発するテクノロジー企業は、自らを規制できるとは考えられず、被害を制限できなかった場合には全面的に責任を負わなければならないと述べている。
「既存の法律や規制がすでに適用されている場合は、厳格に施行されなければならない」と同氏は声明で述べた。「抜け穴がある場合、議会は、中毒性のある虐待的なチャットボットで若くて弱いユーザーを搾取する企業を終わらせるために行動しなければならない」
- 米国では、National Suicide Prevention Lifeline に 988 で電話またはテキスト送信するか、988lifeline.org でチャットするか、741741 に HOME とテキスト送信して危機カウンセラーとつながることができます。英国では、青少年自殺防止慈善団体 Papyrus に 0800 068 4141 で電話するか、pat@papyrus-uk.org にメールを送ることができます。英国とアイルランドでは、Samaritans にフリーダイヤル 116 123 で電話するか、jo@samaritans.org または jo@samaritans.ie にメールを送ることができます。オーストラリアでは、危機支援サービスライフラインの電話番号は13 11 14です。その他の国際ヘルプラインはbefrienders.orgで見つけることができます。