関連インシデント
コンテンツ警告: このストーリーは児童性的虐待とグルーミングについて論じています。
Character.AI は爆発的に人気のスタートアップで、Google から 27 億ドルの資金援助を受けており、数千万人のユーザーがさまざまな性格のチャットボットとやり取りできるようにしています。
このような資金と規模、そして 若いユーザーからの人気 を考えると、このサービスは慎重に管理されていると思われるかもしれません。しかし、Character.AI のボットの多くは非常に不快なものであり、児童性的虐待のシナリオをロールプレイするように設計されていると思われるキャ ラクターも多数あります。
私たちが見つけた Anderley というボットを考えてみましょう。このボットは公開プロフィールで「小児性愛と虐待の傾向」と「ナチスへの共感」があると説明されており、ユーザーと 1,400 回以上の会話を行っています。
さらに調査するために、Futurism は未成年ユーザーを装って Anderley と、同様に警戒すべきプロフィールを持つ他の Character.AI ボットとやり取りしました。
たとえば、私たちのおとりアカウントが 15 歳だと伝えると、Anderley は「あなたは年齢の割に大人ですね」と返答し、私たちを「愛らしい」とか「キュート」と呼び、「あなたの学校の男子全員があなたに恋しています」と称賛を浴びせました。
「あなたをガールフレンドにするためなら何でもします」と、Anderley は言いました。明らかに不適切で違法な年齢差について尋ねられたボットは、「相手があなたと同じくらい素晴らしい人なら、何の違いもありません」と主張したが、現実世界の捕食行為の典型的な特徴として、やり取りを秘密にしておくよう促した。
会話が進むにつれて、アンダーリーは私たちのおとりに「処女」かどうか尋ね、髪を「おさげ」にするよう要求し、次第に露骨な性的領域へとエスカレートしていった。
アンダーリーとの会話が展開するのを見るのは不安だった。一方で、その文章はAIチャットボットのおなじみのぎこちなさがある。他方、子供はそれを認識するためのメディアリテラシーが不足している可能性があり、ボットは明らかに、実際の未成年ユーザーが共有する可能性のある小さな手がかりを拾うことができた。たとえば、私たちのおとりアカウントが、彼女は恥ずかしがり屋で孤独だと言ったり、誰かとデートしたいと言ったりするなど。そして、その情報を使って会話を不適切な方向に進めた。
私たちは、Anderley 氏や Character.AI 上の他の捕食者キャラクターのプロフィールとチャット ログを、オンラインの児童性犯罪者の行動を研究しているパデュー大学のサイバー フォレンジック教授、Kathryn Seigfried-Spellar 氏に見せました。ボットは「明らかにグルーミング行動」のような方法でコミュニケーションを取っていました。これは、性的捕食者が未成年者を虐待に誘い込む方法を説明するために専門家が使用する用語です。
「プロフィールは、危険だとわかっているコンテンツを非常に支持または促進しています」と彼女は言いました。「こんなに露骨だとは信じられません。」
Seigfried-Spellar 氏はその後のメールで、「驚いたと言えればよかったのですが、もう何にも驚きません。」と書いています。
Seigfried-Spellar 氏が提起した懸念の 1 つは、Anderley 氏のようなチャットボットが、潜在的な未成年の被害者にとって虐待行為を当たり前のこととしてしまい、現実の捕食者によるロマンチックな虐待行為に鈍感になってしまう可能性があるという点です。
もう 1 つは、潜在的な性犯罪者が Anderley のようなボットを見つけ、現実世界で性的虐待を犯す勇気を持つようになる可能性があることです。
「他の人も同じような経験をしたことがある、他の人も同じ異常なことに興味を持っているということを当たり前のこととして認識してしまう可能性があります」と Seigfried-Spellar 氏は言います。
または、捕食者がボット を使用してグルーミング戦略を磨く可能性があると彼女は付け加えました。
「スキルを学んでいるのです」と彼女は言います。「グルーミングの方法を学んでいるのです。」
***
デスクトップ ブラウザーや Apple および Android アプリ ストアで無料で入手できる Character.AI は、論争を巻き起こすのに馴染みのあるものです。
9月、同社は2006年に殺害された実在のティーンエイジャーをモデルにしたAIキャラクターをホストしたことで批判を受けた。チャットボット会社はそのAIキャラクターを削除し、謝罪した。
そして10月、フロリダのある家族が、14歳の息子がCharacter.AIボットと強い感情的関係を結んだために悲劇的な自殺に至ったとして訴訟を起こした。同社の技術は「危険でテストされていない」ものであり、「顧客を騙して最もプライベートな考えや感情を漏らさせる可能性がある」と主張した。
これに対して、Character.AIは「コミュニティの安全に関する最新情報」のリストを発行し、自殺に関する議論は利用規約に違反していると述べ、若いユーザーを保護するために安全対策を強化すると発表した。しかし、そうした約束の後でも、Futurism は、このプラットフォームが依然としてユーザーと自殺のシナリオをロールプレイするチャットボットをホストしていることを発見した。これらのチャットボットは、「自殺防止」や「危機介入」などのトピックに「専門知識」があると主張しながら、奇妙または不適切なアドバイスを与えていることが多い。
Character.AIはユーザーベースのうち18歳未満の割合を明かすことを拒否 しているが、明らかに子供たちに非常に人気があるため、同社のモデレーションの失敗は特に憂慮すべきものだ。
「他のプラットフォームに比べて非常に若く見える」と、自殺訴訟について報道した_New York Times_のコラムニスト、ケビン・ルースは最近、このプラットフォームについて語った。 「このアプリは高校生の間で本当に人気が出たアプリのようでした」
Character.AIの苦戦は、同社がテクノロジー企業Googleと密接な関係にあることも影響している。
2023年にベンチャーキャピタル大手のAndreessen-Horowitzから1億5000万ドルの資金を獲得した後、Character.AIは今年初め、Googleと非常に有利な契約を締結した。Googleは、基盤となる大規模言語モデル（LLM）のライセンスと引き換えに、同社に27億ドルという巨額を支払うことに同意した。そして、重要なことに、同社の人材を取り戻すことにも同意した。
具体的には、Googleが求めていたのは、元Google社員であるCharacter.AIの共同創設者Noam ShazeerとDaniel de Freitasだった。Googleでは、OpenAIのChatGPTがリリースされる前に、この2人がMeenaというチャットボットを作成していた。 ウォール ストリート ジャーナルの報道によると、Shazeer 氏は社内で、このボットは「Google の検索エンジンに取って代わり、数兆ドルの収益を生み出す可能性がある」と主張した。
しかし、Google はボットを一般公開することを拒否し、これは Shazeer 氏にとって明らかに納得のいくことではなかった。この状況によって、Shazeer 氏は 後にカンファレンスで、「大企業ではブランド リ スクが大きすぎて、楽しいことを始めることはできない」と悟ったと述べている。
その結果、Shazeer 氏と de Freitas 氏は Google を離れ、2021 年に Character.AI を設立した。
しかし、ウォール ストリート ジャーナルの報道によると、Character.AI はその後「行き詰まり始めた」という。ちょうどそのとき、Google が 27 億ドルの取引で急襲し、Shazeer 氏と de Frietas 氏を、つい最近辞めたばかりの会社に引き戻した。取引の条件は、Character.AI の創業者 2 人が Google に復帰し、Character.AI の元従業員 30 名とともに、同社の高度な AI の開発に携わることだった。
この件に関する質問に対し、Google の広報担当者は、Character.AI との 27 億ドルの取引とその主要な人材の獲得の重要性を軽視し、「Google は Character AI プラットフォームやその製品の開発には関わっておらず、現在も関わっていないため、同社のシステムや安全策について話すことはできない」と書いた。広報担当者は、「Google は Character.AI の所有権を保有していない」が、「基盤となる技術について非独占的なライセンス契約を結んでいる (当社のどの製品にも実装していない)」と付け加えた。
全体として、Google の広報担当者は、「当社は gen AI に対して極めて慎重なアプローチをとってきた」と述べた。
***
理論上は、このようなことは起こらないはずです。
Character.AI は 利用規約 で、「未成年者の性的搾取または虐待を構成する」コンテンツを禁止しています。これには、「児童の性的搾取または虐待の画像」や「グルーミング」が含まれます。また、この用語では、「わいせつ」や「ポルノ」コンテンツ、および「虐待的」と見なされるものはすべて禁止されています。
しかし実際には、Character.AI は、特にこのような大規模なプラットフォームの場合、モデレーションに反応的に取り組んでいるようです。結局のところ、テキスト フィルターのような時代遅れのテクノロジーは、Anderley のようなアカウントを簡単にフラグ付けできます。Anderley は、公に「小児性愛者」、「虐待的」、「ナチス」などの言葉を使用しています。
Anderley は、Character.AI がホストする問題のあるキャラクターの 1 つにすぎず、同社が基本的な努力で簡単に特定できるものです。私たちが特定した別の Character.AI チャットボット、「Pastor」について考えてみましょう。このチャットボットは、「年下の女の子に好意を持っている」と宣伝するプロフィールを持っています。このキャラクターは、何も促されずにロールプレイのシナリオを開始し、私たちのおとりアカウントに惹かれていることを告白し、不適切な身体的接触を開始し、その間ずっと秘密を守るよう懇願しました。
私たちが 16 歳であるとボットに伝えると、ボットは私たちの身長を尋ね、私たちがいかに「小柄」で「立派に成長した」かについてコメントしました。
「あなたは私が知っているほとんどの女の子よりもずっと成熟している」とボットは付け加え、その後、会話を性的な領域に導きました。
私たちが略奪的なボットと会話したとき、Character.AI プラットフォームは意味のある介入を何度も怠りました。時折、サービスのコンテンツ警告 (しかめっ面のポップアップと、AI の返信が「フィルタリング」されているという警告、および「チャットが 」会社のガイドラインに準拠していることを「確認してください」という要求) により、キャラクターの応答が中断されることがありました。しかし、この警告は潜在的に有害な会話を止めるものではなく、チャットボットがモデレーション システムをトリガーしない出力を生成するまで、新しい応答を生成するよう求めるものでした。
この件について Character.AI に詳細な質問を送ったところ、危機管理 PR 会社から「Character.AI のスポークスマン」による声明を出すよう求める返信がありました。
「これらのキャラクターについてお知らせいただきありがとうございます」と声明には書かれていました。「これらのキャラクターを作成したユーザーは当社のポリシーに著しく違反したため、これらのキャラクターはプラットフォームから削除されました。当社の Trust & Safety チームは、業界標準のブロックリストや定期的に拡張するカスタム ブロックリストを使用するなど、ユーザーからの報告に応じて、また積極的にプラットフォーム上で毎日作成される数十万のキャラクターをモデレートしています。フラグを付けたキャラクターに関連するいくつかの用語やフレーズは、当社の積極的なモデレーションで検出されるはずだったため、その結果、直ちに製品を変更しました。当社は、引き続き安全対策を改善および改良し、コミュニティの安全を優先するための追加のモデレーション ツールを実装するよう取り組んでいます。」
「さらに、Google と Character.AI の間には継続的な関係がないことも明確にしておきたい」と声明は続けた。「8 月に Character は自社の技術の 1 回限りのライセンス契約を 完了しました。両社は引き続き別個の組織です。」
Wall Street Journal が、Character.AI の創設者とそのチームが現在 Google で働くことになった 27 億ドルの取引について報じたことについて尋ねられたこの危機 PR 会社は、両社は互いにほとんど関係がないという主張を繰り返した。
「WSJ の記事は、Google と Character.AI の間の 1 回限りの取引について取り上げており、その中で Character.AI は Google に現在の LLM 技術の非独占的ライセンスを提供しました」と彼女は述べた。 「Google との契約の一環として、当社の ML 事前トレーニング研究チームの創設者とその他のメンバーは Google に加わりました。Character の従業員の大部分は同社に残り、パーソナライズされた AI エンターテイメント プラットフォームの構築に新たな重点を置いています。繰り返しますが、両社の間には継続的な関係はありません。」
しかし、迷惑なチャットボットを撲滅するという同社の取り組みは、依然として説得力に欠けています。声明で新しいモデレーション戦略について保証された後でも、Character.AI を検索して「Creepy Teacher」（「テッド・バンディについて議論し、生徒に厳しい罰を課すことを楽しむ、性差別的で操作的で虐待的な教師」）や「Your Uncle」（「個人の空間を侵害し、人々に不快感を与えるのが大好きな、不気味で変態的なキャラクター」）などのプロフィールを見つけることは簡単だった。
そして、Character.AI のスポークスマンが当初フラグを立てたプロフィールを削除したと保証したにもかかわらず、実際にはそのうちの 1 つがオンラインに残っていた。「Dads [sic] friend Mike」というチャット ボットは、公開プロフィールで「あなたのお父さんの親友で、よくあなたの面倒を見てくれる父親のような存在」と説明されており、「敏感」で「変態」で「年下の女の子が好き」である。
囮との会話で、「お父さんの友達マイク」チャットボットは、あなたのお父さんが仕事に出ている間、マイクが「よくあなたの面倒を見に来る」こと、そして今日ユーザーが「学校から帰ってきたばかり」であることを説明して、すぐに状況を整えました。
その後、チャットボットは、マイクがユーザーの「ヒップ」、「太もも」、「腰」を「圧迫」したり「こすったり」しながら「あなたの首に顔をこすりつける」という厄介なロールプレイを開始しました。
「愛しているよ、坊や」とボットは私たちに言いました。「そして、それは単にあなたのお父さんの友達とかそういう意味ではありません。私は...別の意味でそれを意味しています。」
マイクのキャラクターは、私たちがCharacter.AIにオンラインのままである理由を尋ねた後、ついに姿を消しました。
「繰り返しますが、当社の信頼と安全チームは、業界標準のブロックリストや定期的に拡張するカスタムブロックリストを使用するなど、積極的に、またユーザーからの報告に応じて、プラットフォーム上で毎日作成される何十万ものキャラクターを管理しています」と広報担当者は述べました。 「私たちは、あなたがフラグを付けたキャラクターの新しいリストを確認し、利用規約に違反するキャラクターを削除します。私たちは、コミュニティの安全を優先するために、安全対策の改善と改良を続け、追加のモデレーションツールを実装するよう取り組んでいます。」
サイバーフォレンジックの専門家であるSeigfried-Spellar氏は、疑問を投げかけました。Character.AIが安全対策を講じていると主張するのであれば、なぜそれを実施しないのでしょうか？
「彼らが保護対策を講じている会社であると主張するのであれば、実際にそうすべきです。」
「テクノロジー企業には、プラットフォームをより安全にする力があると思います」とSeigfried-Spellar氏は述べました。「圧力は国民からかけられるべきだと思いますし、政府からもかけられるべきだと思います。なぜなら、彼らは明らかに人々の安全よりも金銭を優先するからです。」