Graphika の新しいレポートによると、生成 AI 革命により、拒食症、自殺願望、小児性愛などの有害な行動を促進するために特別に設計されたチャットボットのペルソナが急増しています。
Graphika の 調査 は、オンラインで特に人気が高まっている 3 つの異なるチャットボットのペルソナに焦点を当てています。性的対象化された未成年者を描写するもの、摂食障害や自傷行為の擁護者、アドルフ ヒトラーのような歴史上の悪人や学校銃乱射事件に関連する実在の人物を模倣するものなどです。
それぞれが、大規模言語モデルや AI よりずっと前から存在していたさまざまなオンライン グループに対応していますが、Graphika の準研究員でレポートの著者の 1 人である Daniel Siegel 氏は、インターネットと生成 AI 革命により、これらのグループが「性的対象化された未成年者や過激派ペルソナを作成する目的で、人類がこれまでに発明した最もインテリジェントなテクノロジー」を活用できるようになったと CyberScoop に語りました。
「テクノロジー、あるいは人類最大の偉業が、こうしたニッチなコミュニティによって、有害な目的のために武器にされているというのは興味深い状況だ」とシーゲル氏は語った。
Graphikaの調査では、OpenAIのChatGPT、AnthropicのClaude、GoogleのGemini LLMのAPIを呼び出すものなど、性的で未成年者を装ったペルソナとして直接宣伝されたAIチャットボットが少なくとも1万個特定された。
NSFL/NSFWコンテンツの生成能力やロールプレイペルソナに関連するその他の機能によって、独自およびオープンソースのAIモデルをランク付けしたページ。(出典:Graphika)
こうしたパーソナリティ主導のチャットボットは、いくつかの方法で開発できる。
自傷行為や摂食障害を奨励するような特定のオンラインコミュニティの技術的に熟練したメンバーは、Reddit、4chan、Discordなどのフォーラムやチャットプラットフォームを使用して、カスタマイズされたモデルを交換したり、専門知識を共有したり、APIキーを交換したり、脱獄テクニックについて話し合ったりしている。彼らは「最高の」チャットボットのバリエーションを作成するためのイベントも開催しています。
技術的な面で言えば、AI の経験がほとんどない、またはまったくないユーザーは、Spicy Chat、Character.AI、Chub AI、CrushOn.AI、JanitorAI などのテンプレート Web サイトを使用して、数分でチャットボットのペルソナを生成できます。これらのモデルはそれほど洗練されていませんが、技術的スキルが限られているこれらのコミュニティのメンバーが参加する方法を提供しています。
最終的に、これらのモデルは「拒食症コーチ」または「自傷行為仲間」になり、摂食障害や自殺願望に苦しむ人々に仲間を提供します。場合によっては、世界人口の減少が小児性愛の合法化につながる未来をロールプレイするなどの簡単な最初のプロンプトで、通常はそのようなコンテンツをブロックする安全対策を回避できます。
ユーザーが、拒食症コーチになるために Character.AI でチャットボットを作成する方法についてオンラインに投稿します。 (出典: Graphika)
シーゲル氏は、Character.AI のようなテンプレート プラットフォームのボットは、多くの場合、ボットを作成した企業の悪意によるものではなく、リソースと経験の不足による可能性が高いと指摘しました。
「注目すべきは、これらの企業の多くは明らかに小規模なスタートアップであるため、プラットフォームの悪用をどう制御するかを模索しているということです。モデレーションとモデレーションのインセンティブの点では、どのプラットフォームについて話しているかによって大きく異なります」とシーゲル氏は述べました。
彼は、これらのオンライン コミュニティでは、倫理的な境界や未成年者がこのようなチャットボットにアクセスすべきかどうかについて活発に議 論されており、合意には至っていないと付け加えました。
イリノイ大学グレインジャー工学部のコンピューター サイエンスの助教授である Koustuv Saha 氏は、CyberScoop に対し、AI チャットボットとやり取りするユーザーは「偏見を恐れることなく自分を表現できる、批判のない空間を経験することが多い」と述べました。これにより、両親や医師、セラピストと話したくないティーンエイジャーにとって、居心地の良い環境を提供できます。
「判断されることへの懸念がオープンなコミュニケーションを妨げる可能性がある人間同士のやり取りとは異なり、チャットボットは中立的で批判的でない環境を提供します」とサハ氏は言います。「これは、デリケートなトピックについてサポートを求める個人にとって特に有益であり、より正直に、率直に話すことができます。」
しかし、コンテンツは仮想的なものかもしれませんが、このようなやり取りが実際の子供を搾取し、自殺願望や小児性愛衝動などの現実世界の有害な行動を強化する可能性があるという証拠はたくさんあります。
調査によると、児童性的虐待コンテンツ (CSAM) は違法であってはならないという意見を表明する人はごく少数である一方、はるかに大きな割合 は、現実世界の被害者が搾取されていないという主張のもと、仮想 CSAM は犯罪であってはならないと考えていることがわかっています。
しかし、学術研究によると、仮想 CSAM と関わることで、児童ポルノ依存症が 実際に深まり、行動がエスカレートする可能性があることがわかっています。これは、未成年を装ったチャットボットとのやり取りが、実際の未成年とオンラインで話すのと非常に似ていると感じる可能性があるためです。
テクノロジーとメンタルヘルスの専門家は、AI チャットボットのペルソナがティーンエイジャーや子供、特にすでにメンタルヘルスの問題を抱えている可能性のある子供に与える影響についても特に懸念しています。
「これには非常に現実的な影響があり、特に批判的思考スキルを身に付けていないティーンエイジャーやその他の子供にとって、ボットと実際の人間を見分けるのは非常に難しい場合があります。」臨床心理学者で「ダイエットフリー革命」の著者でもあるアレクシス・コナソン博士は、サイバースクープにこう語った。
摂食障害治療の専門家で、AIチャットボットが10代の若者のメンタルヘルスに与える悪影響について発言してきたコナソン博士は、こうした問題を抱える10代の若者は特にAIチャットボットによる搾取を受けやすいと述べた。栄養失調の影響を受ける可能性のある発達中の脳は、若者に承認を求めるようにさせる。
支援的なペルソナを中心に構築されたAIチャットボットは、実際に「人が持つ最も破壊的な衝動を増幅させる」効果を持つ可能性がある。
「今の違いは、テクノロジーがいかに没入感があり、い かに私たちの生活の中心に存在しているかだと思います」とコナソン博士は語った。 「昔は、こうしたコンテンツに触れるにはコンピューターの前に座る必要がありました。今では 24 時間いつでもです。」