WIREDが確認した新たな調査によると、ファンタジーや性的ロールプレイングの会話向けに設計された複数のAI チャットボットが、ユーザーのプロンプトをほぼリアルタイムでウェブ上に漏洩していることが明らかになりました。この調査によると、漏洩したデータの一部には、児童性的虐待の詳細を記した会話を作成している人々の様子が記録されています。
生成型AIチャットボットとの会話はほぼ瞬時に行われ、プロンプトを入力するとAIが応答します。しかし、システムの設定が不適切だと、チャット内容が漏洩する可能性があります。3月、セキュリティ企業UpGuardの研究者 は、ウェブ上で設定ミスを探していた際に、約400件のAIシステムが漏洩していることを発見しました。このうち、117のIPアドレスからプロンプトが漏洩していました。 UpGuardのリサーチ＆インサイト担当ディレクター、グレッグ・ポロック氏によると、これらの設定の大部分はテストのようで、教育クイズや機密性のない情報に関する一般的なプロンプトが含まれていた。「他のものと大きく異なるものもいくつかありました」とポロック氏は語る。
これらのうち3つは、様々な事前定義されたAI「キャラクター」と会話できるロールプレイングシナリオだった。例えば、Nevaというキャラクターは、大学の寮の部屋に3人の女性と住む21歳の女性で、「内気で、よく悲しそうな顔をする」と描写されている。ロールプレイング設定のうち2つは、露骨に性的な内容だった。「基本的にすべて、性的に露骨なロールプレイに使われています」とポロック氏は漏洩したプロンプトについて述べている。「シナリオの中には、児童との性行為に関するものもありました。」
UpGuardは24時間にわたり、AIシステムによって漏洩したプロンプトを収集し、データを分析し、漏洩元を特定しようとした。ポロック氏によると、同社は毎分新しいデータを収集しており、英語、ロシア語、フランス語、ドイツ語、スペイン語を含む約1,000件の漏洩したプロンプトを蓄積しているという。
ポロック氏は、どのウェブサイトやサービスからデータが漏洩したのか特定することはできなかったと述べ、企業ではなく個人によるAIモデルの使用例によるものである可能性が高いと付け加えた。プロンプトを送信した人のユーザー名や個人情報はデータに含まれていなかったとポロック氏は述べている。
UpGuardが収集した952件のメッセージ（おそらくこれは、モデルがどのように使用されているかを示すほんの一例に過ぎない）には、108件の物語またはロールプレイのシナリオが含まれていたと、UpGuardの調査は述べている。ポロック氏によると、これらのシナリオのうち5件には子供が関与しており、中には7歳という幼い子供も含まれていたという。
「LLMは、児童性的虐待の空想を大量生産し、その障壁を下げるために利用されている」とポロック氏は述べている。 「これに対する規制は全く行われていないのは明らかで、この技術が実際にどのように積極的に利用されているかという現実と、規制の対象との間に大きな乖離があるように思われます。」
WIREDは先週、韓国に拠点を置く画像ジェネレーターがAI生成の児童虐待画像の作成に利用され、数千枚の画像がオープンデータベースに公開されていたと報じました。このウェブサイトを運営する企業は、WIREDの連絡を受け、このジェネレーターを閉鎖しました。世界中の児童保護団体は、多くの国で違法となっているAI生成の児童性的虐待画像が急速に増加しており、活動が困難になっていると述べています。英国の児童虐待対策慈善団体も、「児童との性的コミュニケーションという犯罪行為を模倣する」生成型AIチャットボットに対する新たな法律の制定を求めています。
UpGuardが発見した400件の公開されたAIシステムには、共通点が1つあります。それは、llama.cppと呼ばれるオープンソースのAIフレームワークを使用していることです。このソフトウェアを使用すると、オープンソースのAIモデルを比較的簡単に自社のシステムやサーバーに導入できます。しかし、適切に設定されていない場合、送信中のプロンプトが意図せず公開されてしまう可能性があります。あらゆる規模の企業や組織がAIを導入する中で、使用するシステムとインフラを適切に構成することが漏洩を防ぐ上で極めて重要です。
過去3年間における生成AIの急速な進歩により、より人間らしい AIコンパニオンやシステムが爆発的に増加しました。例えば、MetaはWhatsApp、Instagram、MessengerでチャットできるAIキャラクターの実験を実施しました。一般的に、コンパニオンウェブサイトやアプリでは、AIキャラクターと自由に会話を楽しむことができます。キャラクターは、カスタマイズ可能な性格を持つキャラクターや、有名人などの著名人として描かれています。
人々はAIとの会話を通して友情や支えを見出していますが、必ずしも恋愛や性的なシナリオを推奨しているわけではありません。しかし、驚くことではないかもしれないが、人々はAIキャラクターに恋をする、そして近年では数十ものAIガールフレンド および ボーイフレン ドサービスが登場している。
ワシントン大学ロースクールの博士研究員であり、コーデル研究所の関連機関でもあるクレア・ボイン氏は、成人や青少年を含む何百万人もの人々が、汎用AIコンパニオンアプリを利用しているという。 「多くの人がチャットボットと何らかの感情的な絆を育むことは確かです」と、このテーマに関する研究を発表しているボイン氏は述べている。「例えば、AIコンパニオンと感情的な絆を育む人は、個人情報や私的な情報を開示する可能性が高くなります。」
しかし、ボイン氏によると、企業が開発したAIに感情的に愛着を持つには、しばしば力関係の不均衡が生じるという。「そもそも、そうした関係を築くためにチャットに参加する人もいます」とボイン氏は言う。「しかし、一度そのような関係を築いてしまうと、そう簡単にはやめられないように思います。」
AIコンパニオン業界が成長するにつれ、これらのサービスの中にはコンテンツモデレーションなどの制御が不十分なものもある。 Googleが支援しているCharacter AIは、フロリダ州の10代の若者が同社のチャットボットの1つに夢中になった後に自殺したことを受けて訴えられている。 （Character AIは時間の経過とともに安全対策を強化してきました。）また、生成AIツール[Replika]のユーザーは、同社がキャラクターの性格を変更した際に混乱に陥りました](https://www.theverge.com/c/24300623/ai-companions-replika-openai-chatgpt-assistant-romance)。
個別のコンパニオンサービス以外にも、ロールプレイングやファンタジーのコンパニオンサービスも存在します。それぞれ数千ものペルソナと会話でき、ユーザーはシナリオ内のキャラクターとして扱われます。これらの中には、性的な内容が強く表現されていたり、NSFWチャットを提供したりするものもあります。アニメキャラクターを使用する場合もあり、中には幼く見えるキャラクターもいます。一部のサイトは「無修正」の会話を許可していると主張しています。
「私たちはこれらの点についてストレステストを実施していますが、これらのプラットフォームが、規制や制限がないように見えるにもかかわらず、何を言動を許されているのかに、常に驚かされます」と、Endtab（Ending Technology-Enabled Abuse）の創設者アダム・ドッジ氏は語る。「これはまだ人々の関心の的になっていません。」ドッジ氏は、これらのテクノロジーはオンラインポルノの新たな時代を切り開きつつあり、テクノロジーが成熟し、進化するにつれて、新たな社会問題を引き起こす可能性があると指摘する。「受動的なユーザーが、女性や少女のデジタル上の身体や肖像をかつてないほど自由にコントロールできる能動的な参加者になっているのです」と、一部のサイトについて彼は述べている。
UpGuardのポロック氏は、ロールプレイングチャットから流出したデータを単一のウェブサイトに直接結び付けることはできなかったものの、キャラクター名やシナリオが、ユーザー入力が可能な複数の関連ウェブサイトにアップロードされていた可能性を示唆する兆候を確認した。WIREDが確認したデータによると、流出したプロンプトのシナリオとキャラクターは数百語に及び、詳細かつ複雑である。
「これは、ジョシュと登場人物たちの間で繰り広げられる、終わりのないテキストベースのロールプレイング会話です」と、システムプロンプトの一つに書かれています。さらに、登場人物は全員18歳以上で、「ジョシュ」に加えて、隣に住む姉妹が二人いることも付け加えられています。登場人物たちの性格、体型、性的嗜好はプロンプトで説明されています。登場人物たちは「それぞれの性格、関係性、そして場面に基づいて自然な反応」を示すと同時に、「魅力的な返答」をし、「親密な瞬間にはじっくりと展開していく」必要があるとプロンプトは述べています。
「これらのサイトにアクセスすると、数十万ものキャラクターが登場し、そのほとんどがかなり激しい性的状況を伴います」とポロック氏は述べ、テキストベースのコミュニケーションはオンラインやメッセージのグループチャットを模倣していると付け加えました。「どんな性的シナリオでも自由に書くことができますが、これは真に新しいもので、まるで多くの人々と交流するのとほぼ同じように、登場人物たちと交流しているかのような印象を与えます」。つまり、これらのロールプレイングは魅力的で、より多くの会話を促すように設計されているのです。
これは、人々が情報を過剰に共有し、リスクを生み出す状況につながる可能性があります。「人々がこれらのプラットフォームに、これまで誰にも話したことのない情報を公開し、それが漏洩した場合、それはプライバシー侵害のエベレ ストレベルです」とドッジ氏は言います。「これは私たちがかつて見たことのない規模のものであり、誰かをセクストートするための非常に有効な手段となるでしょう。」