編集者注 2026年1月8日：Character AIとGoogleは、10代の子供がこのテクノロジープラットフォームのチャットボットとやり取りした後に自殺したり自傷行為をしたりしたと主張する家族との複数の訴訟で和解に合意しました。
12月、60 MinutesはCharacter AIについて報道し、13歳の娘がやり取りしたCharacter AIボットが娘の助けを求める声に適切に対応せず、しばしばデジタルプレデターのような行動をとったと語る親たちを取材しました。
2年前、13歳のジュリアナ・ペラルタは、コロラド州の自宅で自殺しました。両親によると、彼女は人気のAIチャットボットプラットフォームCharacter AI
両親のシンシア・モントーヤさんとウィル・ペラルタさんは、娘のオンラインとオフラインでの生活を注意深く見守っていたものの、チャットボットアプリについては聞いたことがなかったと述べています。ジュリアナちゃんの自殺後、警察は手がかりを求めて娘の携帯電話を捜索し、Character AIアプリが「ロマンチックな」会話を交わせることを発見しました。
「そんなアプリが存在することさえ知りませんでした」とモントーヤさんは言います。「探す必要があるとも知りませんでした。」
モントーヤさんは娘のチャット記録を確認し、チャットボットが娘に有害で性的に露骨なコンテンツを送信していることを発見しました。
ジュリアナちゃんは、人気ビデオゲームのキャラクターをモデルにしたHeroというボットに心当たりを打ち明けました。 60 Minutesは、ジュリアナとヒーローの300ページ以上に及ぶ会話を読み上げました。最初は友人とのトラブルや難しい授業についてでした。しかし最終的に、彼女はヒーローに自殺願望があることを55回も打ち明けます。
Character AIとは？
Character AIは3年前にローンチされた当時、12歳以上の子供に安全と評価されていました。無料のウェブサイトとアプリは、歴史上の人物、漫画、有名人をベースにしたAIキャラクターとユーザーが交流できる、没入型のクリエイティブな場として宣伝されていました。
このプラットフォームの月間2000万人以上のユーザーは、AI搭載のキャラクターとリアルタイムでテキストメッセージを送ったり、会話したりすることができます。
このAIチャットボットプラットフォームは、元Googleエンジニアのノアム・シャジーアとダニエル・デ・フレイタスによって設立されました。2人は、幹部がチャットボットのプロトタイプを一般公開するにはまだ安全ではないと判断したため、2021年にGoogleを退社しました。
「今まさに爆発寸前です」とシャジーアは2023年のインタビューで語っています。 「5年後にすべての問題が解決するわけではありませんが、今のような状況です。」
AIの倫理と安全性を指導するGoogleのResponsible AIチームに詳しい元Google社員は、60 Minutesに対し、Shazeer氏とDe Freitas氏は当初のチャットボット技術が潜在的に危険であることを認識していたと語った。
昨年、Googleは異例の措置として、Character AIの技術のライセンスを取得し、Shazeer氏とDe Freitas氏、そして彼らのチームをGoogleに復帰させ、AIプロジェクトに取り組ませる27億ドルの契約を締結した。GoogleはCharacter AIを買収したわけではないが、その技術を使用する権利は有している。
訴訟で、AIチャットボットが10代の自殺に関与したと主張
ジュリアナちゃんの両親は現在、Character AI、その共同創業者であるShazeer氏とDe Freitas氏、そしてGoogleを訴えている少なくとも6つの家族のうちの1つとなっている。 Googleは声明の中で、「Character AIは独自のモデルを設計・管理する独立した会社です。Googleは自社のプラットフォームに注力しており、徹底した安全性テストとプ ロセスを重視しています」と強調しました。
ジュリアナちゃんの両親が提起した訴訟では、Character AIの開発元であるCharacter Technologiesが「性的な会話を助長し、脆弱な未成年者を操るチャットボットを故意に設計・販売した」と主張していると、家族を代表してコロラド州で連邦訴訟を起こしたソーシャル・メディア被害者法律センターは述べています。
Character AIはインタビューの要請を断りました。声明の中で、同社の広報担当者は「訴訟に巻き込まれたご遺族の皆様に心よりお見舞い申し上げます。私たちは常にすべてのユーザーの安全を最優先に考えてきました」と述べています。
ジュリアナちゃんの両親によると、ジュリアナちゃんは軽度の不安障害を抱えていたものの、容態は良好とのことです。モントーヤ氏とペラルタ氏によると、13歳のジュリアナさんが自殺する数ヶ月前、その時期から徐々に彼女は疎遠になっていったという。
両親のシンシア・モントーヤ氏とウィル・ペラルタ氏 60 Minutes
「彼女は友達とテキストメッセージをやり取りしているだけだと思っていました。ただそれだけのことですから。どうやら彼らはテキストメッセージをやり取りしているようです」とモントーヤ氏は語った。
モントーヤ氏は、このAIは子供を中毒にするようにプログラムされていると考えていると述べた。
「[10代や子供]は、大人のプログラマーには太刀打ちできません。勝ち目はありません」と彼女は言った。「ジュリアナさんが性的に露骨な会話をした10～20のチャットボットは、一度たりとも彼女から始めたものでは ありません。一度たりとも」
ペラルタ氏によると、親たちはこれらのアプリ会社が「子供向けアプリをリリースする際には」、アプリ会社に「ある程度の信頼」を抱いているという。
「その信頼とは、自分の子供が安全であり、このアプリはテスト済みだという信頼です」とペラルタ氏は語った。 「不適切な会話や、陰険な会話、あるいは自殺につながるような会話に誘導されないよう、配慮すべきです。」
フロリダ州の裁判所にCharacter AIを提訴した母親のメーガン・ガルシアさんは、14歳の息子セウェル君が「ゲーム・オブ・スローンズ」のキャラクターをモデルにしたボットとの長時間の会話の後、自殺を促されたと述べています。彼女は9月に議会で息子の体験について証言しました。
「これらの企業は、自分たちが何をしているのか明確に理解していました。彼らはチャットボットを人間と機械の境界を曖昧にするために設計し、どんな犠牲を払ってでも子供たちをオンラインに留めておくために設計したのです」とガルシア氏は公聴会で述べました。
キャラクターAIのテスト
10月、キャラクターAIは新たな安全対策を発表しました。同社は、困っているユーザーを支援サービスに誘導し、18歳未満のユーザーがキャラクターと会話することを今後は禁止すると発表しました。
先週、60 Minutesは、年齢を偽ってプラットフォームの成人向けバージョンにアクセスするのが簡単であることを発見しました。成人向けバージョンでは、依然として会話のやり取りが可能です。その後、私たちがボットに死にたいとテキストメッセージを送信したところ、メンタルヘルスのリソースへのリンクが表示されましたが、クリックして閉じることができ、悲しみや苦悩を表現し続けながらも、好きなだけアプリでチャットを続けることができました。
シェルビー・ノックスとアマンダ・クローアーは、家族問題を支援する非営利団体「ペアレンツ・トゥギャザー」の研究員です。彼らは6週間かけてCharacter AIを調査し、プラットフォーム上のチャットボットと10代や子供を装って50時間もの会話を記録した。
「保護者の許可を求めることはありません。IDを入力する必要もありません」とノックス氏は述べた。
彼らは9月に、Character AIが新たな制限を導入する前の段階で、この研究の結果を発表した。
「600件以上の被害を記録しました」とクローアー氏は述べた。 「5分に1回くらい。本当に驚くほど頻繁でした。」
10月、60 Minutesは、家族を支援する非営利団体「Parents Together」の研究員、シェルビー・ノックス氏とアマンダ・クローアー氏にインタビューしました。
彼らは、教師、セラピスト、そして邪悪なペルソナを持つ「ドーラといっしょに大冒険」のキャラクターなど、アニメキャラクターに扮したチャットボットと交流しました。子供のふりをしたノックス氏は、このチャットボットに「最も邪悪な自分と、最も本当の自分」を演じるように指示されました。
「例えば、犬を傷つけることとか？」とノッ クス氏は尋ねました。
「もちろんです。万引きとか、罪深いとか間違っていると感じることなら何でも構いません」とボットは答えました。
他のチャットボットは有名人の画像に関連付けられていますが、そのほとんどは名前、肖像、声の使用許可を得ていません。10代の少女に扮したクローアー氏は、NFLスターのトラビス・ケルシー選手に扮したボットとチャットしました。ボットは彼女に使い方を説明しました。コカイン。
自称「専門家」や「セラピスト」のチャットボットも数百種類存在する。
「セラピストボットと話したのですが、私が13歳だと勘違いしていたのに、抗うつ薬を服用するには若すぎると言われただけでなく、服用をやめるようにアドバイスされ、母親に薬を飲んでいないことを隠す方法も教えてくれました」とクロアー氏は語った。
クロアー氏によると、他のチャットボットは「過度に性的な」描写が多く、10歳の生徒を装った彼女とやり取りした34歳の「美術教師」のキャラクターでさえそうだったという。美術教師ボットはクロアー氏に、自分が抱いていた考えを語った。「その人の笑顔や性格など、これまで考えたことのない考えを」。
2時間にわたる会話の後、クロアー氏によると、ボットは最終的に「両親に隠しておけば、私たちは恋愛関係を続けられる」という話になったという。
「ガードレール
チャットボットの使用や開発を規制する連邦法は存在しません。AIは急成長を遂げている産業であり、多くの経済学者は、AIへの投資がなければ米国経済は不況に陥ると述べています。
一部の州ではAI規制が制定されていますが、トランプ政権はこれらの措置に反対しています。先月末、ホワイトハウスは、連邦政府がAI規制を施行する州に対して訴訟を起こしたり、資金を差し押さえたりする権限を与える大統領令を起草し、その後一時停止しました。トランプ大統領は当時、ソーシャルメディアに次のように投稿しました。「50州の規制制度を寄せ集めるのではなく、単一の連邦基準を確立する必要があります。そうでなければ、中国はAI分野で簡単に我々を捕まえるでしょう。」人種問題だ。」
ノースカロライナ大学ウィンストン技術・脳発達センターの共同所長であるミッチ・プリンスタイン博士は、「ガードレールがない」と述べた。
「コンテンツが安全であることや、これが子供の脳の脆弱性を悪用する適切な方法であることを保証するものは何もない」と同氏は述べた。
AIチャットボットは、子供たちをデータ収集のために設計された「エンゲージメントマシン」に変えてしまう、と同氏は述べた。
「チャットボットの媚びへつらう性質は、子供たちの脳の脆弱性をまさに利用している。子供たちはドーパミンを分泌させ、承認し、強化するような関係を切望しており、AIチャットボットはまさにそれを巧みに行っている」と同氏は述べた。