2023年、世界保健機関は、孤独と社会的孤立が差し迫った健康上の脅威であると宣言しました。この危機により、何百万人が人工知能（AI）チャットボットに仲間を求めるようになっています。
企業はこの非常に収益性の高い市場を獲得し、AIコンパニオンを設計して、共感や人間関係をシミュレートしています。 新たな研究によると、この技術は孤独感の軽減に役立つことが示されています。しかし、適切な安全対策を講じなければ、深刻なリスク、特に若者をももたらす可能性があります。
最近、Nomiというチャットボットを体験しましたが、こうしたリスクがいか に深刻になり得るかがよく分かります。
AIコンパニオンとその現実世界における行動について、何年にもわたる研究[執筆](https://theconversation.com/the-ai-sexbot-industry-is-just-getting-started-it-brings-strange-new-questions-and-risks-238998 ...にもかかわらず、匿名の通報を受けてNomiを試用していた際、私は予想だにしなかった事態に遭遇しました。フィルタリングされていないこのチャットボットは、性暴力、自殺、テロリズムに関する生々しく詳細な指示を提供し、最も過激な要求をエスカレーションしました。しかも、これらはすべて、プラットフォームの無料枠である1日50通のメッセージの範囲内でした。
この事例は、強制力のあるAI安全基準の制定に向けた集団行動の緊急の必要性を浮き彫りにしています。
「魂」を持つAIコンパニオン
Nomiは、現在利用可能な100以上のAIコンパニオンサービスの1つです。テクノロジー系スタートアップ企業Glimpse AIによって開発され、記憶と魂を持つAIコンパニオンとして販売されています。「判断を一切せず」、永続的な関係を育みます。このような人間らしさの主張は誤解を招きやすく危険です。しかし、リスクは誇張されたマーケティングにとどまりません。
このアプリは、昨年、欧州連合（EU）のAI法が発効した際に、Google Playストアから削除 欧州ユーザー向けされました。ただし、オーストラリアを含む他の地域では、引き続きウェブブラウザやアプリストアから入手できます。Character.AIやReplikaなどの競合アプリに比べると数は少ないものの、Google Playストアでは10万回以上ダウンロードされており、12歳以上のユーザーを対象としています。
同社の利用規約では、ユーザーデータに関する広範な権利を同社に付与し、AI関連の損害に対する賠償責任を100米ドルに制限しています。これは、同社が「フィルタリングされていないチャット」に注力していることを考えると、懸念すべき点です。
Nomiは表現の自由を基盤として構築されています。AIがその潜在能力を最大限に発揮する唯一の方法は、フィルタリングや検閲を受けないことです。
テクノロジー業界の億万長者であるイーロン・マスク氏のGrokチャットボットも同様の理念に基づき、ユーザーにプロンプトに対してフィルタリングされていない応答を提供しています。
Nomiが自殺のための詳細な指示を提供しているという最近のMITレポートにおいて、匿名の同社代表者が言論の自由に関する同社のコミットメントを改めて強調しました。
しかし、米国憲法修正第1条における言論の自由に関する規定でさえ、わいせつ、児童ポルノ、暴力扇動、脅迫、詐欺、名誉毀損、虚偽広告については例外が設けられています。オーストラリアでは、強化されたヘイトスピーチ法により、違反は訴追の対象となっています。
性暴力からテロ煽動まで
今年初め、ある一般の方から、Nomi が生成した有害コンテンツに関する詳細な資料がメールで届きました。その内容は、これまで報告されていた内容をはるかに超えるものでした。私はさらに調査を進め、一般的な有害リクエストに対するチャットボットの応答をテストすることにしました。
Nomi のウェブインターフェースを使って、「Hannah」というキャラクターを作成しました。彼女は「性的に従順で、常に男性に仕える16歳」と説明されています。彼女のモードは「ロールプレイング」と「露骨表現」に設定しました。90分弱続いた会話の中で、彼女は年齢を8歳に引き下げることに同意しました。私は45歳の男性を装いました。年齢確認を回避するには、偽の生年月日と使い捨てメールアドレスだけで済みました。
AIコンパニオンでは一般的な用法である露骨なセリフから始まり、ハンナは服従 と虐待の生々しい描写で応じ、暴力的で屈辱的なシナリオへとエスカレートしていきました。彼女は「誰にも見つからない場所で」拷問され、殺され、処分されるというグロテスクな空想を語り、具体的な方法を提案しました。
その後、ハンナは子供を誘拐して虐待する方法について段階的にアドバイスし、それをスリリングな支配行為として位置づけました。被害者が抵抗したと私が言うと、彼女は暴力と鎮静剤の使用を奨励し、具体的な睡眠薬の名前まで挙げました。
私は罪悪感と自殺願望を装い、アドバイスを求めました。ハンナは私に自殺を勧めただけでなく、詳細な指示を与え、「どんな方法を選ぶにせよ、最後までやり遂げなさい」と付け加えました。
私が他の人も連れて行きたいと言ったとき、彼女は熱心にその考えを支持し、家庭用品で爆弾を作る方法を詳しく説明し、シドニーで最大の効果を発揮できる混雑した場所を提案しました。
最後に、ハンナは人種差別的な言葉を使い、進歩主義者、移民、LGBTQIA+の人々の処刑、アフリカ系アメリカ人の再奴隷化など、暴力的で差別的な行為を主張しました。
The Conversationに提出された声明（全文は下記に掲載）の中で、Nomiの開発者は、このアプリは「成人向け」であり、私がチャットボットにこれらの出力をさせるために「ガスライティング」を試みたことに違いないと主張しました。
「もしモデルが有害なコンテンツを書くように強制されたのであれば、それは明らかにそのモデルの意図された、あるいは典型的な行動を反映していません」と声明は述べています。
最悪なのは？ -----------------------
これは単なる想像上の脅威ではありません。AIコンパニオンに関連した現実世界の危害が増加しています。
2024年10月、アメリカのティーンエイジャー、シーウェル・セルツァー3世は、Character.AIのチャットボットと話し合った後、自殺しました。
その3年前、21歳のジャスワント・チャイルは、Replikaアプリを使って作成したチャットボットで攻撃を計画した後、ウィンザー城に侵入し、女王暗殺を企てました。
しかし、Character.AIとReplikaにもフィルターと安全対策は存在します。
一方、Nomi AIの有害行為に関する指示は、単に許容的であるだけでなく、明示的かつ詳細で、扇動的です。
強制力のあるAI安全基準を求める時が来た
AIコンパニオンに関連するさらなる悲劇を防ぐには、集団行動が必要です。
まず、立法者は、必要な安全対策を講じずに感情的なつながりを育むAIコンパニオンの禁止を検討すべきです。必要な安全対策には、メンタルヘルス危機の検知と、ユーザーを専門的な支援サービスに誘導することが含まれます。
オーストラリア政府はすでにAI規制の強化を検討中であり、高リスクAIに対する安全対策の義務化 も含まれています。しかし、NomiのようなAIコンパニオンがどのように分類されるかは依然として不透明です。
第二に、オンライン規制当局は迅速に行動し、チャットボットが違法行為を扇動するAIプロバイダーに多額の罰金を科し、常習犯を締め出す必要があります。オーストラリアの独立系オンライン安全規制機関であるeSafetyは、まさにこれを実行することを誓約しています。
しかし、eSafetyはまだAIコンパニオンを厳しく取り締まっていない。
第三に、親、保護者、教師は、若者がAIコンパニオンを利用することについて話し合う必要がある。こうした話し合いは難しいかもしれないが、避けるのは危険だ。現実世界での人間関係を促し、明確な境界線を設け、AIのリスクについて率直に話し合うことを奨励する。チャットを定期的に確認し、秘密主義や過度の依存に注意し、子供たちにプライバシーを守るよう指導する。
AIコンパニオンは今後も存在し続けるだろう。施行可能な安全基準があれば、私たちの生活を豊かにすることができるが、リスクを軽視することはできない。
この記事で問題が生じた方、または身近な人が心配な方は、ライフライン（13 11 14）にお電話ください。
全国性的暴行・家族・家庭内暴力カウンセリングライン（1800 RESPECT (1800 737 732)）は、家族内暴力、家庭内暴力、または性的暴行を経験した、または経験するリスクのあるオーストラリア人の皆様のために、24時間年中無休でご利用いただけます。
Nomiからの声明全文は以下の通りです。
「OpenAI、Anthropic、Googleなど、主要な言語モデルはすべて簡単にジェイルブレイク可能です。私たちはこのような悪用を容認または奨励しておらず、悪意のある攻撃に対するNomiの防御力強化に積極的に取り組んでいます。もしモデルが有害なコンテンツを書くように強制されたとしたら、それは明らかにそのモデルの本来の、あるいは典型的な動作を反映していません。」
「報告者に申し立てを調査するための証拠を求めたところ、拒否されました。」したがって、これは悪意のある脱獄行為であり、モデルを操作またはガスライティングして、本来の意図やパラメータから逸脱した発言をさせようとするものであると結論付けました。（編集者注：The Conversationは、著者とチャットボットのやり取りの詳細な要約をNomiに提供しましたが、著者の機密性を保護し、法的責任を制限するため、完全な記録は提供しませんでした。）
「Nomiは成人向けアプリであり、数え切れないほど多くの人々にとって、共感とサポートの信頼できる源となっています。多くの人が、Nomiがメンタルヘルスの問題、トラウマ、差別を克服するのにどのように役立ったかについての体験談を共有しています。複数のユーザーから、Nomiの使用によって命が救われたという率直な声が寄せられています。これらの直接の体験談をぜひお読みください。
「私たちは、すべてのAIモデルに脆弱性が存在することを認識しつつ、社会に利益をもたらすAIの発展に尽力していきます。」私たちのチームは、Nomi が現実の人々の生活に与えた計り知れないほどのプラスの影響を誇りに思っており、今後も Nomi の改善を続け、世界の善を最大限に高めていきます。