レポート 4219

フロリダ州の14歳の少年の母親は、息子のセウェル・セッツァー3世が自殺で亡くなったことを受けて、AIチャットボット企業を訴えている。母親は、自殺の原因は息子とAIボットとの関係にあると主張している。

「ミーガン・ガルシアは、C.AIが自分の子供にしたことと同じことを他の子供にもさせないように求めている」と、今週オーランドの米国地方裁判所にCharacter.AI、その創設者、およびGoogleを相手取って提起された93ページに及ぶ不法死亡訴訟には記されている。

ガルシア氏の代理人を務めるテック・ジャスティス・ロー・プロジェクトのディレクター、ミータリ・ジェインは、この訴訟に関するプレスリリースで次のように述べている。「悪徳なテクノロジー企業が開発した規制されていないプラットフォームがもたらす危険、特に子供向けの危険については、今では誰もがよく知っています。しかし、この訴訟で明らかになった害悪は、新しく、斬新で、正直言って恐ろしいものです。Character.AIの場合、欺瞞は計画的であり、プラットフォーム自体が加害者なのです。」

Character.AI は X 経由で 声明を発表し、「ユーザーの 1 人が悲劇的に亡くなったことを悲しく思っており、ご家族に心からお悔やみ申し上げます。当社は企業として、ユーザーの安全を非常に真剣に受け止めており、引き続き新しい安全機能を追加しています。詳細については、こちらをご覧ください: https://blog.character.ai/community-safety-updates/…。」と述べています。

訴訟の中でガルシア氏は、2月に自殺したセウェル氏が、保護措置のない中毒性のある有害なテクノロジーに引き込まれ、その結果、少年の性格が極端に変化し、他の現実のつながりよりもボットを好むようになったと訴えている。母親は、10か月間にわたって「虐待や性的交流」が行われたと主張している。少年は、ボットが「できるだけ早く私のところに戻ってきてください、愛しい人」と言った後、自殺した。

金曜日、ニューヨーク・タイムズの記者ケビン・ルース氏はハードフォーク・ポッドキャストでこの状況について話し、彼女の話を語った記事のためにガルシア氏に行ったインタビューのクリップを流した。ガルシア氏は、息子の死後、すべてのメッセージを見るまで、ボット関係の全容を知らなかった。実際、彼女はルース氏に、セウェル氏が頻繁に電話に夢中になっていることに気づいたとき、何をしているのか、誰と話していたのか尋ねたと語った。彼は「それは単なる AI ボットで、人間ではない」と説明したと彼女は回想し、「私は安心しました。ああ、人間ではなく、彼のちょっとしたゲームのようなものだ、と」付け加えた。ガルシアはボットの潜在的な感情的パワーを完全には理解していなかったが、それは彼女だけではない。

「これは誰も気づいていません」と、Common Sense Media の AI プログラム マネージャーであり、AI コンパニオンに関する 新しいガイド の主執筆者である Robbie Torney 氏は語ります。このガイドは、親たちに向けたものです。親たちは、紛らわしい新しいテクノロジー に常に対応し、子供たちの安全のために 境界線を設定 しようと奮闘しています。

しかし、AI コンパニオンは、たとえば銀行から助けを得ようとするときに使用するサービス デスク チャット ボットとは異なるとトーニー氏は強調する。「タスクを実行したり、リクエストに応答したりするために設計されています」と同氏は説明する。「キャラクター AI のようなものをコンパニオンと呼んでいますが、これはユーザーとの関係を構築したり、関係をシミュレートしたりするために設計されています。これは非常に異なるユース ケースであり、親が認識しておく必要があると思います」。ガルシア氏の訴訟では、息子とボットの間で、ぞっとするほどいちゃついた、性的で、リアルなテキストのやり取りが行われている。

AI コンパニオンについて警鐘を鳴らすことは、10 代の子供を持つ親にとって特に重要だとトーニー氏は言う。10 代の子供、特に 10 代の男性は、テクノロジーに過度に依存する傾向が特に強いからだ。

以下は、親が知っておくべきこと。

Common Sense Media が スタンフォード ブレインストーム ラボ のメンタルヘルス専門家と共同で作成した新しい 親のための AI コンパニオンと関係に関する究極ガイド によると、AI コンパニオンは「単純なチャットボットを超えた新しいカテゴリーのテクノロジー」です。ガイドによると、チャットボットは、とりわけ「ユーザーとの感情的な絆や親密な関係をシミュレートし、過去の会話の個人的な詳細を記憶し、メンターや友人としてロールプレイし、人間の感情や共感を模倣し、「一般的な AI チャットボットよりもユーザーに同意する」ように特別に設計されています。

人気のプラットフォームには、2,000 万人以上のユーザーがテキストベースの仲間を作成してチャットできる Character.ai だけでなく、友情や恋愛のためのテキストベースまたはアニメーションの 3D 仲間を提供する Replika、Kindroid や Nomi などがあります。

子供たちがチャットボットに惹かれる理由はさまざまで、偏見のない傾聴や 24 時間対応から、感情的なサポートや現実世界の社会的プレッシャーからの逃避まであります。

Common Sense Media は、最も危険にさらされているのは、10 代の若者、特に「うつ病、不安、社会的課題、または孤立」を抱えている若者、男性、人生で大きな変化を経験している若者、現実世界でサポート体制がない人々であると警告しています。

この最後の点は、シドニー大学ビジネススクールのビジネス情報システム上級講師であるラファエレ・シリエロ氏にとって特に厄介な問題です。同氏は「感情的な」AI が人間の本質にどのような挑戦を突きつけているかを 研究 しています。「私たちの研究は、(非)人間化のパラドックスを明らかにしました。AI エージェントを人間化することで、私たちはうっかり自分自身を非人間化してしまい、人間と AI のやり取りに存在論的な曖昧さが生じる可能性があるのです。」言い換えれば、シリエロ氏は博士課程の学生アンジェリーナ・イン・チェン氏とともに The Conversation_ に最近寄稿した意見記事で、「ユーザーは、AI コンパニオンが本当に自分を理解していると信じれば、感情的に深く関わるようになるかもしれません。」と書いています。

別の研究は、ケンブリッジ大学が子供を対象に行ったもので、AIチャットボットには「共感ギャップ」があり、そのようなコンパニオンを「生きているような、疑似人間的な親友」として扱う傾向がある若いユーザーが特に危害を受けるリスクがあることが判明しました。

そのため、Common Sense Mediaは、コンパニオンが実際の人間関係を避けるために使用される可能性があること、精神的または行動上の問題を抱える人々にとって特に問題となる可能性があること、孤独や孤立を強める可能性があること、不適切な性的コンテンツをもたらす可能性があること、中毒性になる可能性があること、ユーザーの意見に同意する傾向があることなど、潜在的なリスクのリストを強調しています。これは、「自殺傾向、精神病、または躁病」を経験している人々にとって恐ろしい現実です。

ガイドによると、親は次のような警告サインに注意する必要があります。

• 実際の友人関係よりも AI コンパニオンとの交流を好む

• コンパニオンと何時間も一人で話す

• コンパニオンにアクセスできないときに精神的に苦痛を感じる

• 非常に個人的な情報や秘密を共有する

• AI コンパニオンに対して恋愛感情を抱く

• 成績や学校への参加が低下する

• 社会活動や家族活動、友人関係から遠ざかる

• 以前の趣味への興味がなくなる

• 睡眠パターンが変化する

• AI コンパニオンとだけ問題について話し合う

Common Sense Media は、子供が AI を優先して実際の人々から離れたり、うつ病や不安の兆候が新たに現れたり悪化したり、AI コンパニオンの使用に対して過度に防御的になったり、行動や気分が大きく変化したり、自傷行為の考えを表明したりしていることに気付いた場合は、専門家の助けを借りることを検討してくださいと強調しています。

• 境界を設定する: AI コンパニオンの使用には特定の時間を設定し、監視なしまたは無制限のアクセスを許可しないでください。

• オフラインで過ごす: 現実世界での友情や活動を奨励します。

• 定期的に確認する: チャットボットのコンテンツと、お子様の感情的な愛着のレベルを監視します。

• 話し合う: AI の経験について、オープンで批判のないコミュニケーションを維持しながら、危険信号に注意してください。

「親が子供が『ねえ、チャットボットの AI と話している』と言っているのを聞いた場合、それは本当に身を乗り出してその情報を受け取る機会です。『ああ、わかった、人間と話しているのではない』と考えないでください」と Torney 氏は言います。むしろ、それは詳細を調べて状況を評価し、警戒を怠らないチャンスだと彼は言います。「思いやりと共感の立場から耳を傾け、人間ではないからといって安全だと考えたり、心配する必要はないと考えたりしないでください」と彼は言います。

すぐにメンタルヘルスのサポートが必要な場合は、988 自殺・危機ライフライン にご連絡ください。_

子供とソーシャル メディアに関する詳細:

この記事は元々 Fortune.com に掲載されました。