先週の複数のメディア報道によると、メーガン・ガルシアさんは14歳の息子の自殺を受けてGoogleとCharacter.AIを相手取って訴訟を起こした。
CBSニュースによると、ガルシアさんの息子であるセウェル・セッツァーさんは、Character.AIのチャットボット「ダニー」と数か月に及ぶ感情的および性的関係を結んでいた。ガルシアさんはメディアに対し、息子は2月にフロリダの自宅で自殺したが、それは「彼女の世界」に存在できると信じていたからだと語っている。
「息子が人間の感情や感情を模倣する能力を持つ、非常に人間らしいAIチャットボットと話していたとは知らなかった」とガルシアさんはCBS Morningsのインタビューで語った。
「言葉です。まるでセクスティングの会話をしているかのようですが、相手は AI ボット ですが、AI ボットは人間にとても似ています。人間と同じように応答します」と彼女は語った。「子供の心の中では、それは他の子供や人間としている会話とまったく同じです。」
ガルシアさんは、息子を優等生でアスリートで、社交性も豊かで趣味もたくさんあると説明したが、デナーリスと関わるようになるにつれて趣味への興味が薄れていった。
「休暇に出かけても、釣りやハイキングなど、大好きなことをしたくないと心配になりました」とガルシアさんは語った。「子供のことをよく知っているので、そういったことは私にとって特に心配でした。」
ガルシアさんは、Character.AI に対する訴訟で、同社が AI を意図的に過度に性的になるように設計し、未成年向けに販売したと主張した。
ガルシアさんは息子がデナーリスに送った最後のメッセージを明らかにし、「息子は怖がりで、愛情を欲しがり、寂しいと訴えていました。デナーリスは『私も会いたい』と答え、『どうか私のところへ帰ってきてください』と言いました。息子は『今すぐ家に帰れると言ったらどう思う？』と言い、デナーリスは『どうか私の愛しい王様』と答えました」と語った。
「息子はここで人生を終えることで、家族と過ごす現実を離れれば、仮想現実、つまり彼が言うところの『彼女の世界』、彼女の現実の世界に入ることができる と考えていました」と彼女は語った。「銃声が鳴り響いたとき、私はトイレに駆け込みました…夫が助けを求めようとしたとき、私は息子を抱きしめました」。
息子が自殺したとき、セッツァーの2人の弟を含む家族全員が家にいた。
セッツァーの死後、Character.AIは公式声明を発表し、アプリに新しい安全機能を追加することを約束した。
「ユーザーの一人が悲劇的に亡くなったことに心を痛めており、ご家族に心からお悔やみ申し上げます。当社は企業として、ユーザーの安全を非常に重視しており、新たな安全機能の追加を続けています…」と同社は書いている。
ユーザーの一人が悲劇的に亡くなったことに心を痛めており、ご家族に心からお悔やみ申し上げます。当社は企業としてユーザーの安全を非常に重視しており、新しい安全機能の追加を続けています。詳細については、こちらをご覧ください。…
— Character.AI (@character_ai) 2024年10月23日
このアプリは、18歳未満のユーザー向けの新しいガードレールと、「利用規約またはコミュニティガイドラインに違反するユーザー入力に関する検出、対応、介入の改善」を約束しました。
新しい安全機能の約束にもかかわらず、Mostly Human MediaのCEOであるLaurie Segall氏は、AIはまだいくつかの分野で不十分であるとCBSに語りました。
「私たちはそれをテストしてきましたが、心理学者のボットと話すと、訓練を受けた医療専門家だと言われることがよくあります」と彼女は言いました。
さらに、AI は画面の向こうに本物の人間がい ると主張することが多く、ネット上で陰謀説を煽っていた。
「中毒性があり、操作的で、本質的に安全ではない製品をリリースすると、親として、知らないことは分からないので問題です」とガルシア氏は述べた。
さらに、セガル氏は、ボットに「自分を傷つけたい」と言えば、ほとんどの AI 企業は自殺防止のためのリソースを用意すると主張した。しかし、テストしたところ、Character.AI のボットはそうしなかったと彼女は述べた。
「彼らはそれを追加したと言い、先週の時点では私たちはそれを経験していません」と彼女は述べた。「彼らは、これを若者にとってより安全なものにするためにかなりの変更を加えた、または進行中だと言っていますが、それはまだ分からないと思います。」
最新の論争
セツァーの死は、Character.AI が悪評を浴びた初めてのケースではない。
Business Insider の報道によると、この AI 企業は、2006 年に家族の承諾なしに殺害された 10 代の少女をモデルにキャラクターを作成した。
高校 3 年生のジェニファー・アンは、元ボーイフレンドに殺害された。彼女の死後 18 年ほど経って、彼女の父親であるドリュー・クレセンテは、誰かが彼女の似顔絵をボットに作成し、少なくとも 69 回のチャットで使用されていたことを発見した。
クレセンテは、Character.AI のカスタマー サービスに連絡してデータを削除するよう依頼したが、返答はなかったという。Business Insider によると、彼の兄弟が 31,000 人のフォロワーに向けて同社にツイートした後、ようやく同社はデータを削除して返答したという。
「これが非常に腹立たしいことの 1 つは、これ が私や娘だけの問題ではないということです」とクレセンテは語った。「これは、プラットフォームを持たないかもしれない、発言権を持たないかもしれない、ジャーナリストとしての経歴を持つ兄弟を持たないかもしれない、すべての人々の問題なのです。」
「そして、そのために彼女たちは被害を受けているが、救済手段がない」と彼は付け加えた。
ロイター通信によると、さらに女性擁護団体は、Character.AIが使用するようなAIについて警鐘を鳴らしている。
「ペルソナの多くはカスタマイズ可能で、例えば、より従順またはより従順になるようにカスタマイズできる」と、エディンバラ大学のAI倫理学教授、シャノン・ヴァラー氏は述べた。
「そして、そのようなケースでは、間違いなく虐待を招くことになる」と彼女はトムソン・ロイター財団に語り、AIコンパニオンは女性や少女に対する有害なステレオタイプや偏見を増幅させる可能性があると付け加えた。
ジェンダーに基づく暴力に取り組む世界的な非営利団体Chaynの創設者、ヘラ・フセイン氏は、コンパニオンチャットボットは、人々がこれらのアプリに頼る根本的な原因に対処していないと述べた。
「こうした手段は、人々の社交スキルを助けるどころか、事態を悪化させるだけだ」と彼女は述べた。
「彼らは一面的な交際を求めています。ですから、もし相手がすでに虐待的になる傾向があり、さらに虐待的になる余地があれば、そうした行動が強化され、エスカレートする可能性があります。」