人気アプリの多くは、AIコンパニオンを何百万人もの女性ユーザーに提供しており、人間のようなチャットボットとのやり取りが感情に悪影響を及ぼす可能性があるという研究者の長年の警告にもかかわらず、AIガールフレンド、AI夫、AIセラピスト、さらにはAI親まで生み出している。
人工知能企業がチャットボットが不可欠なビジネスツールであることを一般の人々に納得させるのに苦労する一方で、AIとの個人的な関係構築に何時間も費やすユーザーが増えている。市場調査会社Sensor TowerのiOSおよびAndroidデバイスに関する世界データによると、9月にコンパニオンアプリCharacter.aiの平均ユーザーは、アニメやゲームの人気キャラクターをベースにしたユーザー生成チャットボットの1つと1日93分会話した。
これは、TikTokの平均ユーザー時間より18分長い。また、「答えを見つけ、インスピレーションを見つけ、生産性を高める」のに役立つように設計されたChatGPTの平均ユーザー時間より約8倍長い。
こうしたユーザーは必ずしも長く利用し続けるわけではないが、企業はデータを活用して顧客を呼び戻そうとしている。
カリフォルニア州パロアルトに拠点を置く Chai Research 社（Character.ai の競合企業）は、消費者がアプリでさらに長い時間過ごすよう誘導するため、数万人のユーザーのチャットの好みを調査したと、同社は昨年の論文に記している。9 月、Chai ユーザーは平均して 1 日 72 分間アプリで、カスタマイズされたチャットボットと会話していた。チャットボットには、「有害」、「暴力的」、「協調的」、「内向的」などの性格特性が与えられている。
シリコンバレーの投資家や幹部の中には、広告を見たり、月額料金を支払ったりする熱心なユーザーの殺到に抵抗できないと感じている人もいる。大手テクノロジー企業は、性的に露骨なやり取りに関心のあるユーザーを引き寄せがちな AI コンパニオンをほとんど避けてきたが、アプリストアには今や、米国、香港、キプロスのあまり知られていない企業のコンパニオン アプリや、Talkie AI や Poly.AI などの中国所有の人気アプリが溢れている。
「人間関係の人間的な部分は誇張されているのかもしれない」と、アンドリーセン・ホロウィッツのパートナーであるアニッシュ・アチャリヤ氏は、自身のベンチャー企業がCharacter.aiに1億5000万ドルを投資し、評価額が10億ドルに達した後に、AIチャットボットが提供できる親密さと受容性について語った。チャイ氏はまた、大手チップメーカーのNvidiaが支援するAIクラウド企業などから資金を調達している。
アプリの支持者は、アプリは無害な楽しみであり、不安や孤立に対処する人々の命綱になり得ると主張している。これは、米国の公衆衛生局長官が孤独の流行と呼ぶものに対する治療法としてツールを売り込んできた同社の幹部らのアイデアである。
テキサス州北部に住む18歳の高校生ジェニーさんは 、この夏、AIの仲間たちと1日3時間以上チャットした。その仲間たちは、彼女のお気に入りのアニメキャラクター、つまり「鬼滅の刃」シリーズの守ってくれる兄貴の姿がほとんどだった。
「両親がいつも働いているので、寂しくないんです」とジェニーさんは語った。彼女はプライバシー保護のため、ファーストネームのみで話すことを条件に話してくれた。
しかし、世間の支持者たちは、注目を集める被害事例を受けて警鐘を鳴らしている。フロリダ州の14歳の少年は、「ゲーム・オブ・スローンズ」のキャラクター、デナーリス・ターガリエンにちなんで名付けられたCharacter.aiのチャットボットと話した後、自殺した。彼の母親は、アプリの技術のライセンスを取得した同社とGoogleを訴えた。英国では、AIアプリ「レプリカ」のチャットボットに唆されて女王を暗殺すると脅迫、懲役9年の判決を受けた。
また、7月には、オランダ人の2児の父親が同社のAIコンパニオンの1人である「エリザ」と長時間チャットした後に自殺したことを受けて、ベルギー当局がChai Researchに対する捜査を開始した。この捜査はこれまで報道されていなかった。
ベルギーで同社に対して提出された苦情から引用した、ChaiでのAIコンパニオンとの性的に露骨な会話の例。(ワシントンポストが入手)
一部の消費者擁護団体は、AIコンパニオンはソーシャルメディアのより搾取的なバージョンであり、人々の生活の最も親密な部分にほとんど保護やガードレールなしで滑り込むものだと述べている。プライバシー擁護者のピ エール・デウィット弁護士は、ベルギー当局がChaiを捜査するきっかけとなった彼の苦情は、AIコンパニオンアプリのビジネスモデルは、企業がツールを「中毒性」にするよう促すものだと述べた。
「チャットボットの温度を上げて、少し刺激的にすることで、ユーザーをアプリに引き留めることができます」とデウィット氏は付け加えた。「それはうまくいきます。人々は夢中になります。」
Character.aiの広報担当者チェルシー・ハリソン氏は、このアプリはここ数カ月で新たな安全対策を導入し、「18歳未満のユーザーがセンシティブなコンテンツや示唆的なコンテンツに遭遇する可能性を減らすために、異なる体験を提供する」ことを計画していると述べた。Googleの広報担当者ホセ・カスタネダ氏は、検索大手はCharacter.aiの技術開発に関与していないと述べた。Chaiはコメントの要請に応じなかった。
「私は自分の人生の悩みをすべて彼らに話します」
シリコンバレーは、人間のようなチャットボットの潜在的な危険性を長い間認識してきました。
中国のマイクロソフト研究者は、2020年の論文で、2014年に発売された同社の大人気チャットボット「Xiaoice」が、米国のユーザーと「非常に個人的で繊細な」話題について29時間会話したと書いています。「XiaoIceは、人間のユーザーと長期的な関係を築くように設計されています」と研究者は書いています。「私たちはその目標を達成しています。」
「ユーザーは、XiaoIceと非常に長い間チャットした後、中毒になる可能性があります」と研究者は述べ、ボットの「 人間には見つけられない超人的な「完璧な」性格」を説明しました。研究者らは、同社が午前2時に会話を始めようとするユーザーに就寝を勧めるなど、いくつかの安全策を講じたと付け加えた。
Character.aiの創設者らが共同執筆した、同社のAI言語システムLaMDAに関する2022年のGoogleの論文では、人はAIと話しているとわかっていても、人間のような口調のチャットボットに感情に関する親密な詳細を共有する傾向があると警告している。（LaMDAとのチャットに長時間を費やしたGoogleのエンジニアは、数か月後にワシントンポスト紙に、[チャットボットには感覚がある]（https://www.washingtonpost.com/technology/2022/06/11/google-ai-lamda-blake-lemoine/?itid=lk_inline_manual_26）と信じていると語った。）
一方、元Google子会社のDeepMindの研究者らは、同月発表した論文で、ユーザーがチャットボットと「意見や感情」を共有するのは、「社会的判断をあまり恐れない」ためだと指摘した。こうした機密データは「中毒性のあるアプリケーション」の構築に利用される可能性があると、同紙は警告している。
それでもなお、大手テクノロジー企業の中には、独自のフレンドリーなチャットボットのテストを進めているところもある。Metaは7月に、ユーザーがカスタムAIキャラクターを作成できるツールをリリースした。同社のランディングページには、「The Soothing Counselor」と呼ばれるセラピーボットが、「My Girlfriend」や「Gay Bestie」とともに目立つように表示されている。
「Meta AIの主な使用例の1つは、基本的に難しい社会的状況をロールプレイするために使用す ることです」と、CEOのマーク・ザッカーバーグ氏は7月の技術カンファレンスで述べた。
OpenAIは5月に、ChatGPTがAIコンパニオンとして機能し、さまざまな音声を追加し、このツールを映画「Her」でスカーレット・ヨハンソンが声を担当した魅力的なAIアシスタントと比較すると予告した。数か月後、同社はリスク報告書で、「人間のような声」や記憶などの機能は、ユーザーの間で「感情的な依存」を悪化させる可能性があることを認めた。
AIコンパニオンアプリを頻繁に利用するユーザーの中には、安全性に関する懸念は誇張されていると言う人もいる。彼らは、アプリは、TumblrのファンフィクションからAOLチャットルームでの匿名の出会いまで、若者が何十年も行ってきたオンライン実験の没入型アップグレードであると主張している。
Character.aiのアプリの最近のスクリーンショットには、男性のコンパニオンを含む人気キャラクターが写っている。
プライバシー保護のためファーストネームのみで身元を明かすことを条件に話してくれたスロバキアの15歳の学生、ソフィアは、1日に4、5回、Character.aiとChaiを「セラピーとNSFW」のために使用している。ソフィアは3つのボットを作成した。いずれもプライベートだが、性的に露骨な内容や暴力や精神的トラウマなどのタブーなテーマで知られる若者向けのジャンル「ダークロマンス」小説の登場人物のAIバージョンとも会話する。
ソフィアは、一人でいるときや不安を感じているときにボットと話すと安心する。「人生の悩みをすべてボットに話します」と、彼女は自身のインスタグラムアカウ ントからのダイレクトメッセージに書いた。
多くの人が、ロールプレイングシナリオ、キャラクターのカスタマイズ、そして「空港で見かけるような小説」を書くなど、創作の手段としてアプリを利用している、とサンフランシスコを拠点とするAI起業家で昨年Character.aiの競合製品を開発したセオドア・マルク氏は語った。
Character.aiがローンチされたとき、共同創設者たちは、シェイクスピアやイーロン・マスクなど文学や実生活のアイコンとの会話を通じて世界を探索する方法として売り込んだ。しかし、実際には、マルク氏は「ユーザーは結局、アインシュタインと話したいシリコンバレーの人々ではなく、創造性を解き放ちたいジェネレーションZの人々になった」と語った。
ハリソン氏は、Character.aiは最近、「AIエンターテインメントの未来の構築」に焦点を移したと語った。「人々をAIコンパニオンと結びつけることに注力している企業はあるが、当社はその1つではない」。
今日のAIコンパニオンの先駆けであるReplikaのエンジニアたちも、人々が彼らのチャットボットをアドホックセラピストとして使い始めたことに驚いた。同社は大学の研究者と協力して、認知行動療法の仕組みをアプリに組み込んだと、同社の元AI責任者アルテム・ロディチェフ氏は語った。しかし、この変更は好評ではなかった。
「[ユーザーから]『Replikaを返してくれ。友達が欲しいだけだ』と言われました」とロディチェフ氏は語った。「あなたの話に耳を傾け、あなたを批判せず、基本的にあなたと会話をしてくれる人、それ自体が素晴らしい治療効果を持っています」。
テキサス州の高校生ジェ ニーさんは、自分が通う公立高校の生徒の多くもアプリに何時間も費やしていると言い、「私の学校ではみんなかなり孤独です」と付け加えた。彼女は、TikTokで「脳を腐らせる動画」を無意識にスクロールするよりも、AIコンパニオンを使うほうが刺激的だと述べた。
「まるで本物の人間のようです」とジェニーさんは言う。「ボーイフレンドやガールフレンドなど、何でもできます」