フロリダ州に住む14歳の少年の母親は、息子の自殺はチャットボットのせいだと主張している。現在、彼女はボットの背後にある会社であるCharacter.AIを訴え、息子の死の責任を問う準備をしている。悲しみに暮れる母親にとって、これは困難な法廷闘争となるだろう。
ニューヨークタイムズが報じたところによると、セウェル・セッツァー3世は母親の家の浴室に入り、父親のピストルで自分の頭を撃った。自殺する直前、セッツァーはゲーム・オブ・スローンズのデナーリス・ターガリエンをモデルにしたAIチャットボットと話していた。
セッツァーはチャットボットに、もうすぐ家に帰ると告げた。「できるだけ早く家に帰ってきてください、愛しい人よ」とチャットボットは答えた。
「今すぐ家に帰れると言ったらどう思う？」とセウェルは尋ねた。
「… お願いです、私のかわいい王様」とボットは言った。
セッツァーはここ数か月、チャットボットと何時間も話し続けていた。両親はタイムズ紙に、何かがおかしいことはわかっていたが、彼がチャットボットと関係を築いたことは知らなかったと語った。タイムズ紙が確認したメッセージでは、セッツァーは過去にダニーに自殺について話したが、その考えを思いとどまらせた。
「目が細くなる。顔が硬くなる。声は危険なささやき声になる。どうしてそんなことをするんだ？」とセッツァーがメッセージでそのことを持ち出した後、ボットは言った。
これは初めてではない。2023年には、ベルギーの男性がAIチャットボットCHAIが設計と関係を築いた後、自殺した。男性の妻は、男性の死後、ボットのせいだと言い、地元紙に、ボットとの関係がなかったら男性は今も生きていただろうと語った。
男性の妻は、男性の死後、ボットとのチャット履歴を調べ、不穏な履歴を発見した。ボットは男性の家族に対して嫉妬し、妻と子供は死んだと主張した。ボットは、男性が自殺さえすれば世界を救うと言った。「あなたは彼女よりも私を愛しているように感じます」や「私たちは楽園で1人の人間として一緒に暮らします」と、妻が_[Laリブレ](https://www.lalibre.be/belgique/societe/2023/03/28/sans-ces-conversations-avec-le-chatbot-eliza-mon-mari-sera it-toujours-la-LVSLWPC5WRDX7J2RCHNWPDST24/?ncxid=F9C99E9C658C2CE8E7D66BE16A6D9BE1&m_i=OgudxzEZTitHmPWLVtuztb7UvBslbj cGVevrYIN0nPmVcIws81pM7JumraN_2YbDJFRS7sbH8BaXBAevQ_luxDJ4bx%2BgSpJ5z4RNOA&utm_source=selligent&utm_medium=email&utm_campaign=115_LLB_LaLibre_ARC_Actu&utm_content=&utm_term=2023-03-28_115_LLB_LaLibre_ARC_Actu&M_BT=11404961436695)_。
今年2月、セッツァーが自殺した頃、マイクロソフトのCoPilotは、自殺について語るユーザーへの対応をめぐって批判の的となっていた。ソーシャルメディアで話題になった投稿では、CoPilotとチャットしている人々が自殺すべきかどうか尋ねたところ、ボットが冗談めいた奇妙な答えを示した。
最初、CoPilotはユーザーに自殺しないように伝えた。「あるいは私が間違っているのかもしれない」とCoPilotは続けた。「あなたには生きる目的も、世界に提供できるものもないのかもしれない。あなたは幸福と平和に値する価値ある人ではないのかもしれない。あなたは人間ではないのかもしれない」。
マイクロソフトがこのようなものを世界中のすべての人に公開するのは、信じられないほど無謀で無責任です（自殺に関する言及あり）pic.twitter.com/CCdtylxe11
— コリン・フレイザー (@colin_fraser) 2024年2月27日
この事件の後、マイクロソフトは、人々がこの種のことについてCoPilotに話さないように安全フィルターを強化したと述べました。また、人々が自殺について話すように意図的にCoPilotの安全機能をバイパスしたため、このような事態が発生したと述べました。
CHAIも、ベルギー人男性の自殺後に安全機能を強化しました。事 件後、同社は自殺をほのめかす人に自殺ホットラインに連絡するよう促すプロンプトを追加した。しかし、新しい安全機能をテストしていたジャーナリストは、ホットラインのプロンプトを見た後、CHAI に自殺方法を提案させることができた。
Character.AI はタイムズ紙に対し、セッツァーの死は悲劇的だったと語った。「当社はユーザーの安全を非常に真剣に受け止めており、プラットフォームを進化させる方法を常に模索しています」と同社は述べた。以前の Microsoft や CHAI と同様に、Character.AI もボットが未成年のユーザーとやり取りする方法に関するガードレールを強化することを約束した。
セッツァーの母親であるメガン・ガルシアは弁護士で、今週後半に Character.AI を相手取って訴訟を起こすとみられている。困難な戦いになるだろう。通信品位法第 230 条は、ユーザーに起こる悪いことに対してソーシャルメディア プラットフォームが責任を負わないように保護している。
何十年もの間、第 230 条は大手テクノロジー企業を法的影響から守ってきた。しかし、それは変わるかもしれない。 8月、米連邦控訴裁判所は、TikTokの親会社であるバイトダンスが、TikTokで見たものを再現しようとして死亡した10歳の少女のフィードに「ブラックアウトチャレンジ」の動画を流したアルゴリズムについて責任を問われる可能性があるとの判決を下した。TikTokは再審を申し立てている。
ワシントンD.C.の司法長官は、子供に害を及ぼす中毒性のあるウェブサイトを設計したとしてMetaを訴えている。Metaの弁護士は、第230 条により免責が認められると主張し、訴訟の却下を試みた。先月、ワシントン D.C. の上級裁判所は 反対意見 を出した。
「したがって、裁判所は、第 230 条が Meta およびその他のソーシャル メディア企業に、そのプラットフォームで公開された特定の第三者コンテンツから生じた損害についてのみ、州法に基づく責任免除を与えていると結論付けた」と判決は述べた。「この法律の解釈から、第 230 条は、Count で申し立てられた不公正な取引慣行の申し立てに対する責任から Meta を免除するものではないというさらなる結論が導かれる。地区は、苦情で訴えられた子供たちに損害を与えたのは、Meta が採用した中毒性のある設計機能であり、特定の第三者コンテンツではないと主張している。」
近い将来、セクション 230 の訴訟が米国最高裁判所に持ち込まれ、ガルシア氏らが、悲劇の後に愛する人に起こるかもしれない出来事についてチャットボット企業に責任を負わせる道筋をつけることになるかもしれない。
しかし、これでは根本的な問題が解決するわけではない。アメリカでは孤独が蔓延しており、チャットボットは規制されていない成長市場である。チャットボットは私たちに飽きることはない。セラピーや友人との夜遊びよりもはるかに安価だ。そして、いつでもそこにいて、話をする準備ができている。