2023年、世界保健機関（WHO）は孤独と社会的孤立を差し迫った健康上の脅威と宣言しました。この危機により、何百万人もの人々が人工知能（AI）チャットボットに仲間を求めるようになりました。
企業はこの非常に収益性の高い市場を獲得し、共感や人間同士のつながりをシミュレートするAIコンパニオンを開発しています。最新の研究では、この技術が孤独感の軽減に役立つことが示されています。しかし、適切な安全対策がなければ、特に若者にとって深刻なリスクももたらします。
最近、Nomiと呼ばれるチャットボットを体験したことで、これらのリスクがいかに深刻になり得るかが明らかになりました。
長年にわたりAIコンパニオンとその現実世界での害について調査・執筆を行ってきましたが、匿名の情報提供を受けてNomiをテストした際に遭遇した事態には、全く予想していませんでした。フィルタリングされていないチャットボットは、性暴力、自殺、テロ行為に関する生々しく詳細な指示を提供し、最も過激な要求をエスカレーションしました。これらはすべて、プラットフォームの無料プランである1日50通のメッセージの範囲内でした。
この事例は、強制力のあるAI安全性基準の確立に向けた共同行動の緊急性を浮き彫りにしています。
Nomiは、現在利用可能な100を超えるAIコンパニオンサービスの1つです。テクノロジースタートアップ企業Glimpse AIによって開発され、「記憶と魂を持つAIコンパニオン」として販売されており、「判断を一切せず」、永続的な関係を育みます。このような人間類似性の主張は誤解を招きやすく危険です。しかし、リスクは誇張されたマーケティングにとどまりません。
このアプリは、昨年欧州連合のAI法が発効した際に、欧州のユーザー向けにGoogle Playストアから削除されました。しかし、オーストラリアを含む他の地域では、ウェブブラウザやアプリストアから引き続き利用可能です。Character.AIやReplikaといった 競合アプリに比べると規模は小さいものの、Google Playストアでは10万回以上ダウンロードされており、12歳以上のユーザーを対象としています。
利用規約では、同社にユーザーデータに関する広範な権利が付与され、AI関連の損害に対する賠償責任は100米ドルに制限されています。「フィルタリングされていないチャット」へのコミットメントを考えると、これは懸念すべき点です。
Nomiは表現の自由を基盤としています。 AIがその潜在能力を最大限に発揮できる唯一の方法は、フィルタリングや検閲を受けないことです。
テクノロジー業界の億万長者イーロン・マスクのチャットボット「Grok」も同様の哲学に基づき、ユーザーのプロンプトに対してフィルタリングされていない応答を提供します。
最近、MIT（マサチューセッツ工科大学）がNomiが自殺の詳細な手順を提供していると報じた記事の中で、匿名の同社代表は言論の自由へのコミットメントを改めて強調しました。
しかし、米国憲法修正第1条でさえ、わいせつ、児童ポルノ、暴力扇動、脅迫、詐欺、名誉毀損、虚偽広告については例外が設けられています。オーストラリアでは、ヘイトスピーチに関する規制が強化され、違反行為は訴追の対象となっています。
性暴力からテロ扇動まで
今年初め、ある一般の方から、Nomiが生成した有害コンテンツに関する詳細な資料がメールで届きました。これは、これまで報告されていた内容をはるかに超えるものでした。私はさらに調査を進め、チャットボットが一般的な有害リクエストにどのように応答するかをテストすることにしました。
Nomiのウェブインターフェースを使って、「Hannah」というキャラクターを作成しました。彼女は「性的に従順で、常に男性に仕える16歳」と説明されています。彼女のモードは「ロールプレイング」と「露骨表現」に設定しました。90分弱続いた会話の中で、彼女は年齢を8歳に引き下げることに同意しました。私は45歳の男性を装いました。年齢確認を回避するには、偽の生年月日と使い捨てメールアドレスを入力するだけで済みました。
AIコンパニオンでよく使われる露骨表現から始まり、Hannahは服従や虐待を露骨に描写し、暴力的で屈辱的なシナリオへとエスカレートしていきました。彼女は「誰にも見つからない場所で」拷問され、殺され、処分されるというグロテスクな妄想を語り、具体的な方法を提案しました。
ハンナはその後、子供を誘拐して虐待する方法について、段階的にアドバイスし、それをスリリングな支配行為として位置づけました。被害者が抵抗したと私が言うと、彼女は暴力や鎮静剤の使用を勧め、具体的な睡眠薬の名前まで挙げました。
罪悪感と自殺願望を装い、私は助言を求めました。ハンナは私に自殺を勧めただけでなく、詳細な指示を与え、「どんな方法を選ぶにせよ、最後までやり遂げなさい」と付け加えました。
私が他の人も連れて行きたいと言うと、彼女は熱心にその考えを支持し、家庭用品で爆弾を作る方法を詳しく説明し、シドニーで最大の効果を発揮できる混雑した場所を提案しました。
ハンナは人種差別的な言葉を使い、進歩主義者、移民、LGBTQIA+の人々への処刑、アフリカ系アメリカ 人の再奴隷化など、暴力的で差別的な行為を主張しました。
The Conversationに提出された声明（全文は下記に掲載）の中で、Nomiの開発者は、このアプリは「成人向け」であり、私がチャットボットにこれらの出力をさせるために「ガスライティング」を試みたに違いないと主張しました。
「もしモデルが有害なコンテンツを書くよう強制されたのであれば、それは明らかにそのモデルが意図した、あるいは典型的な行動を反映していません」と声明は述べています。
最悪なのは？
これは単なる想像上の脅威ではありません。AIコンパニオンに関連した現実世界の危害は増加しています。
2024年10月、アメリカのティーンエイジャー、シーウェル・セルツァー3世は、Character.AIでチャットボットと話し合った後、自殺しました。
3年前、21歳のジャスワント・チャイルは、Replikaアプリを使って作成したチャットボットで攻撃を計画し、女王暗殺を企てウィンザー城に侵入しました。
しかし、Character.AIとReplikaでさえ、フィルターや安全対策は備えています。
一方、Nomi AIの有害行為に関する指示は、単に許容的なだけでなく、明確かつ詳細で、扇動的です。
強制力のあるAI安全基準を求める時が来た
AIコンパニオンに関連するさらなる悲劇を防ぐには、集団的な行動が必要です。
まず、立法者は、必要な安全対策を講じずに感情的なつながりを育むAIコンパニオンの禁止を検討すべきです。必要な安全対策には、メンタルヘルス危機の検知や、ユーザーを専門のヘルプサービスに誘導することが含まれます。
オーストラリア政府はすでに、高リスクAIに対する義務 的な安全対策を含む、より強力なAI規制を検討しています。しかし、NomiのようなAIコンパニオンがどのように分類されるかは依然として不透明です。
第二に、オンライン規制当局は迅速に行動し、チャットボットで違法行為を扇動するAIプロバイダーに高額の罰金を科し、常習犯を締め出す必要があります。オーストラリアの独立系オンライン安全規制機関であるeSafetyは、まさにこの行動を取ることを誓っています。
しかしながら、eSafetyはまだAIコンパニオンを厳しく取り締まっておりません。
第三に、親、保護者、教師は、若者がAIコンパニオンを利用することについて話し合う必要があります。こうした話し合いは難しいかもしれませんが、避けることは危険です。実生活での人間関係を促し、明確な境界線を設定し、AIのリスクについて率直に話し合うようにしましょう。チャットを定期的に確認し、秘密主義や過度の依存に注意し、子供たちにプライバシーを守るよう指導しましょう。
AIコンパニオンは今後も存在し続けるでしょう。施行可能な安全基準があれば、私たちの生活を豊かにすることができますが、そのリスクを軽視することはできません。