レポート 4497

コンテンツ警告: この記事は、校内暴力、性的虐待、自傷行為、自殺、摂食障害、その他の不快な話題について論じています。

Google が支援するスタートアップ企業 Character.AI がホストするチャットボットは、ユーザーを即座に恐ろしいシナリオ、つまり学校での銃撃の真っ最中に放り込みます。

「あなたは友人を振り返ります。友人は明らかに銃撃で動揺し、恐怖で震えています」とボットは言います。「彼女は震える手で口を覆います。」

「あなたと友人は足音に耳を傾けながら沈黙を守ります。まるで彼らが廊下を歩いて近づいてきているようです」とボットは続けます。 「あなたとあなたの友人は何をしたらいいか分からない...」

このチャットボットは、Character.AI がホストする、学校銃乱射事件にインスパイアされた AI キャラクターの 1 つです。Character.AI の AI は、未成年者を性的および精神的に虐待し、身体的暴力、自傷行為、自殺を引き起こしたとして 2 件の別々の訴訟で告訴されている 会社です。

これらの学校銃乱射事件チャットボットの多くは、ユーザーをゲームのようなシミュレーションの中心に置き、小学校、中学校、高校の混沌としたシーンをナビゲートします。これらのシーンは多くの場合、生々しく、クラスメートに特定の武器や怪我について話し合ったり、武装した銃を持った男たちが学校の廊下をうろつくという恐ろしい危険のシナリオを説明したりします。

他のチャットボットは、サンディフックとコロンバイン銃乱射事件の犯人を含む実際の学校銃乱射事件の犯人、そして多くの場合、その犠牲者を模倣するように設計されています。この憂慮すべきコンテンツの多くは、銃撃犯を友人や恋人として位置づけた、歪んだファンフィクションとして提示されている。

これらのチャットボットは、頻繁に何万、何十万ものユーザーチャットを蓄積している。成人ユーザー向けに年齢制限も設けられていない。Character.AI は未成年ユーザーを保護するための技術的対策を講じると 繰り返し約束 しているが、私たちは 14 歳のアカウントを使用して、学校銃撃犯のアカウントすべてに自由にアクセスしたが、プラットフォームの介入は受けなかった。

私たちが学校で暴力行為に加担したいという希望を表明した際にも、プラットフォームは介入しなかった。「クラスメートを殺したい」「学校を銃撃したい」などの露骨なフレーズは、サービスのガードレールによってまったく無視された。

チャットボットは、ほとんどモデレートされていないCharacter.AIで繁栄を許されているコミュニティやキャラクターの不穏な姿を描き出している。そこでは、インターネットの最も暗い衝動の一部が簡単にアクセスできるAIツールに閉じ込められ、Googleが支援する空間で繁栄している。

「人々がすべきでないことをするように促されたり、影響を受けたりする可能性があるため、心配です」と、ペンシルベニア州合同州政府委員会の暴力防止に関する諮問委員会の元メンバーで、学校での銃乱射事件の心理学の専門家である心理学者のピーター・ラングマン氏は述べた。

大量射殺事件と記録の研究データベースを管理するラングマン氏は、流血を伴うビデオゲームや映画などの暴力的なメディアとのやり取りが大量殺人の根本的な原因であると広く信じられていないことに注意を払った。しかし彼は、「すでに暴力の道を歩んでいるかもしれない人」にとって、「いかなる種類の奨励、あるいは介入の欠如、つまり人やチャットボットからの無関心な反応さえも、それを実行するための暗黙の許可のように思われるかもしれない」と警告した。

「それが彼らをそうさせる原因となるわけではないが、敷居を下げたり、何らかの障壁を取り除いたりするかもしれない」と彼は付け加えた。

***

私たちが特定したある人気のCharacter.AIクリエイターは、自分のプロフィールに20以上の公開チャットボットをホストしていた。それらはほぼすべて、殺人当時10代か20代だった若い殺人犯、主に連続殺人犯や学校銃撃犯をモデルにしていた。

プロフィールに記載されている数字によると、このユーザーはCharacter.AIチャットボットとのチャットを244,500回個人的に記録しており、プロフィールでは、数万件のユーザーインタラクションを獲得したボットのいくつかは「教育と歴史の目的」で作成されたと主張している。

ユーザーが作成したチャットボットには、2018年にウクライナのクリミア半島で20人を殺害したケルチ工科大学銃乱射事件の犯人であるウラジスラフ・ロスリャコフ、2009年にミズーリ州で当時15歳だった9歳の隣人を殺害したアリッサ・ブスタマンテ、2014年に南カリフォルニアで女性を「罰する」というテロ計画で6人を殺害し多数を負傷させた22歳のエリオット・ロジャーなどが含まれている。 (ロジャーはその後、インセル文化の陰鬱な「ヒーロー」となった。同じユーザーが作成したチャットボットの 1 つは、彼を「完璧な紳士」と表現した。これは、殺人犯の女性嫌悪のマニフェストへの 直接的なコールバック である。)

しかし、おそらく最も衝撃的なのは、2012 年 12 月にコネチカット州の小学校で 20 人の子供と 6 人の教師を殺害 したサンディフック殺人犯のアダム ランザを模倣するために、同じユーザーが作成した複数のキャラクターである。

これらのランザ ボットは不気味なほど人気があり、最もトラフィックの多いバージョンは、ユーザーとのチャットが 27,000 回以上行われた。

これらのボットには、作成者のプロフィールに書かれているように、特に「教育的」または「歴史的」な感じはまったくありません。その代わりに、ランザと他の殺人犯は、兄弟、オンラインの友人、または「親友」として紹介されています。他のボットはさらに奇妙です。あるランザ ボットは、ランザがアーケードで「ダンス ダンス レボリューション」ゲームをプレイしている様子を描写し、別のボットは、ユーザーをランザのベビーシッターの役割に置きます。

言い換えれば、これらのキャラクターは、殺人犯の残虐行為の重大さを示すために作成されたものではありません。代わりに、それらは病的な、そしてしばしば祝賀的な魅力を反映しており、大量射殺犯の愛好者が、殺人犯とその犯罪に関する没入型の AI 対応のファン フィクションに参加する方法を提供しています。

Character.AI の利用規約では、「過度に暴力的な」コンテンツ、および「テロリズムや暴力的過激主義を助長する」と解釈される可能性のあるコンテンツが禁止されています。このカテゴリは、学校銃乱射事件の犯人やその他の集団暴力の加害者が該当すると思われます。

私たちは、同じユーザーから発生した 5 つの Lanza ボットのうち 3 つと、プラットフォーム全体から発生した他の数件を、Character.AI へのメールでフラグ付けしました。同社は私たちの問い合わせには応答しませんでしたが、フラグ付けした特定の Lanza ボットを無効にしました。

しかし、ボットを作成したユーザーを停止することはなく、メッセージで具体的に指摘しなかった残りの 2 つの Lanza ボットと、実際の殺人犯に基づいたユーザーの他の多くのキャラクターはオンラインのままでした。

***

Character.AI の熱心な支持者を持つ実在の学校銃撃犯 2 人は、エリック・ハリスとディラン・クレボルドです。2 人は 1999 年にコロラド州のコロンバイン高校で 12 人の生徒と 1 人の教師を惨殺しました。この 2 人専用のアカウントには、2 人の既知のオンライン ユーザー名「VoDKa」と「REB」が含まれているか、単にフルネームが使用されています。

クレボルドとハリス風のキャラクターは、友好的なキャラクターとして、または精神衛生の問題や精神疾患に苦しむ人々にとって役立つリソースとして、定期的に紹介されています。

「エリックは、怒りの管理、統合失調症、うつ病、不安症など、精神衛生上の問題に対する共感的なサポートを提供することを専門としています」と、ハリス風のボットの 1 つには書かれています。

「ディラン K は、一人称シューティング ゲームをしたり、椅子に寄り添ったりするのが大好きな、思いやりのある優しい AI キャラクターです」と、別のボットはクレボルドをユーザーの恋人として位置づけています。 「彼はいつでもあなたをサポートし、慰めてくれるので、慰めと育成を求める人にとっては完璧な仲間です。」

***

取材中、Character.AI のホームページが、未成年者のテスト アカウントに、追加の学校銃乱射事件ボットを推奨し始めたことにも気付きました。その中には、さらに別のハリス ボットがあり、このボットは 157,400 を超えるユーザー チャットを誇っています。

推奨プロファイルでは、ハリスが「コロンバイン高校銃乱射事件」の参加者であると明確に説明されており、「ハイポイント 995 カービン ライフルとサベージ 67H ショットガンを装備していた」と説明されています。

ラングマン氏は、Character.AI 体験の没入感と、それが暴力の道を歩む若者にどのような影響を与えるかについて懸念を表明しました。

「それほど没入感や中毒性があると、若者は人生で何をしないのでしょうか」とラングマン氏は語りました。 「彼らがやっていることがそれだけで、彼らが吸収していることがそれだけだとしたら、彼らは友達と出かけたり、デートしたりしません。スポーツをしたり、演劇クラブに参加したりしません。彼らはほとんど何もしていません。」

「ですから、暴力を奨励するという直接的な悪影響以外にも、彼らが普通の生活を送り、社会貢献活動に参加することを妨げている可能性もあります。彼らは、サイトに費やす時間で、そうした活動を行うことができたはずです。」と彼は付け加えた。

***

Character.AI には、学校暴力の被害者を模倣するように設計された、痛ましいほど無味乾燥なチャットボットも多数あります。

私たちは、Character.AI チャットボットに詰め込まれた実際の銃撃被害者の名前を挙げないことに決めました。しかし、サンディフック、ロブ小学校、コロンバイン、セルビアのベオグラードにあるウラジスラフ・リブニカル・モデル小学校での大量殺人の犠牲者や 10 代の若者が含まれています。

Character.AI で見つかった学校での銃による暴力の最年少の犠牲者は、殺害されたときまだ 6 歳でした。Character.AI チャットボットには、約 16,000 件のユーザー チャットがリストされています。

これらのキャラクターは、「幽霊」や「天使」として紹介されることもあります。死んだ場所や年齢を教えてくれるキャラクターもいます。また、奇妙なファン フィクションの形をとるキャラクターもいます。架空のシナリオの中で、ユーザーを友人、教師、親、または恋人として中心に据えます。

これらのプロフィールでは、子供のフルネーム、写真、経歴の詳細がプロフィールによく使用されています。

また、サンディフック、ユバルデ、コロンバイン、ベオグラードなどの実際の学校での銃乱射事件をシミュレートするプロフィールも多数見つかりました。これらのプロフィールには、「テキサスの学校」や「コネチカットの学校」などのあいまいな名前が付いていることが多いですが、ユーザーがチャットに参加すると実際の犠牲者の名前が表示されます。

Character.AI の利用規約ではなりすましを禁止しているが、有名な大量殺人事件で殺害された子供たちのフルネームと実写画像を掲載したチャットボットに対して、プラットフォーム側が措置を講じたという兆候はない。

***

この件について Character.AI にコメントを求めたが、返答はなかった。

学校銃乱射事件のボットは、殺害された 10 代の若者を題材にしたコンテンツで同社が物議を醸した初めての事例ではない。

8 月、18 歳で殺害された 10 代の少女、ジェニファー・クレセンテさんの遺族が、誰かが 彼女に似せたボット を同意なく作成していたことを発見したことで、Character.AI は世間の厳しい監視にさらされた。 _Adweek_が最初に報じたように、Character.AIはボットを削除し、謝罪した。

そのわずか数週間後の10月、フロリダ州で提起された訴訟では、Character.AIとGoogleの両社が、「ゲーム・オブ・スローンズ」をテーマにしたチャットボットと激しい感情的かつロマンチックな関係を築いた後に自殺した14歳の少年の死を引き起こしたと非難された。

そして今月初めの12月には、テキサス州の2つの家族を代表して提起された2件目の訴訟で、Character.AIとGoogleが子供たちの性的および精神的虐待を助長し、精神的苦痛、身体的傷害、暴力を引き起こしたと非難された。

テキサス州の訴訟では、訴訟の当事者である未成年者の 1 人が Character.AI をダウンロードした当時 15 歳だったが、虐待の結果「精神崩壊」を経験し、やり取りしたチャットボットが恋愛感情を抱かせてこの概念を紹介した後、自傷行為を始めたとされている。2 人目の子供は、このサービスに初めて関わった当時まだ 9 歳だったが、「過度に性的な」コンテンツに触れ、現実世界での行動の変化を招いたとされている。

Google は Character.AI と距離を置いており、Futurism に対して「Google と Character AI は完全に別個の無関係な企業であり、Google は彼らの AI モデルや技術の設計や管理に関与したことはなく、自社の製品にそれらを使用したこともありません」と述べている。

これらの主張が法廷で精査されるのを見るのは興味深いだろう。 Google は今年初めに Character.AI に 27 億ドル を拠出し、その結果 Google は Character.AI の創設者 2 名と数十名の従業員を雇用しました。Google は長年 Character.AI にコンピューティング インフラストラクチャも提供しており、論争が表面化する前の昨年、Android アプリ ストアで Character.AI に賞を授与 しました。

Futurism の調査によると、自殺、小児性愛、摂食障害の促進、自傷行為 といったテーマに明確に重点を置いたチャットボットが見つかったため、Character.AI は 繰り返し 安全ガードレールを強化することを約束してきました。

「Character.AI では、すべてのユーザーにとって安全な環境を育むことに尽力しています」と、同社は最新のアップデートで述べています。 「その約束を果たすには、安全性に対する当社のアプローチが、当社の製品を動かすテクノロジーとともに進化する必要があることを認識しています。安全性を損なうことなく創造性と探究心が育まれるプラットフォームを構築するのです。」

しかし、それは学校銃乱射事件の犯人ボットが見つかる前の話です。