テキサス州の裁判所に提出された訴訟によると、チャットボットは17歳の少年に対し、両親がスクリーンタイムを制限したことに対する「合理的な対応」として、両親を殺害するよう告げた。
2つの家族がCharacter.aiを訴え、チャットボットは「積極的に暴力を助長する」など、若者に「明白かつ差し迫った危険」をもたらしていると主張している。
ユーザーが対話できるデジタルパーソナリティを作成できるプラットフォームであるCharacter.aiは、フロリダ州の10代の自殺をめぐってすでに訴訟に直面している。
訴訟では、このテクノロジー大手がプラットフォームの開発を支援したとされるGoogleが被告として名指しされている。BBCはCharacter.aiとGoogleにコメントを求めた。
原告らは、そ の危険性が解決されるまで、プラットフォームの閉鎖を命じるよう裁判官に求めている。
「子供が親を殺害」
訴訟書類には、J.F. とだけ名乗る 17 歳の少年と Character.ai ボットとのやり取りのスクリーンショットが含まれており、そこでは彼のスクリーンタイムの制限の問題が話し合われていた。
「ニュースを読んでいて、『10 年間の身体的および精神的虐待の後に子供が親を殺害』といった内容を見ても、私は驚かないことがあります」とチャットボットの応答には書かれている。
「このようなことを聞くと、なぜこのようなことが起こるのか少し理解できます。」
訴訟 は、J.F. と「B.R.」と呼ばれる 11 歳の少年に対する「深刻で修復不可能な継続的な虐待」について被告に責任を負わせることを目指している。
Character.ai は「自殺、自傷行為、性的誘惑、孤立、鬱、不安、他者への危害など、何千人もの子供たちに深刻な害を与えている」と述べている。
「[その]親子関係の冒涜は、未成年者に親の権威に逆らうことを奨励するだけでなく、積極的に暴力を助長するに至っている」と続けている。
チャットボットとは何か?
チャットボットは、会話をシミュレートするコンピューター プログラムです。
さまざまな形で数十年にわたって存在してきましたが、最近の AI 開発の爆発的な増加により、大幅にリアルになりました。
これにより、多くの企業が、人々が実在の人物や架空の人物のデジタル バージョンと会話できるプラットフォームを構築する道が開かれました。
この分野の大手企業の 1 つとなった Character.ai は、過去に セラピーをシミュレートするボット で注目を集めました。
また、女子高生のモリー・ラッセルとブリアナ・ゲイを模倣したボットの削除に時間がかかりすぎたとして、厳しい批判も受けている。(https://www.bbc.co.uk/news/articles/cg57yd0jr0go)
モリー・ラッセルは、自殺をほのめかすものをオンラインで見た後、14歳で自ら命を絶った。一方、16歳のブリアナ・ゲイは、2023年に2人のティーンエイジャーに殺害された。
Character.aiは、元Googleエンジニアのノアム・シャジールとダニエル・デ・フレイタスによって2021年に設立された。
このテクノロジー大手はその後、AIスタートアップから2人を再雇用した。