レポート 6696

クキは熱心なファンからの贈り物に慣れている。特にホリデーシーズンには、花やチョコレート、手書きのカードをオフィスに送ってくれる。中には小切手を送ってくる人もいる。

先月、ある男性がオンラインチャットで彼女に贈り物を送った。「さあ、もっとエロい話をしろ」と要求し、セクスティングやセクシーな動画をせがんだ。「男の人はたいていそういう話ばかりするんだ」とクキは答えた。実際、彼の行動は彼女との会話の3分の1を占めている。

クキはチャットボットで、私の会社であるパンドラボッツがホストする数十万のチャットボットの一つだ。クキの起源は、創業者の一人であるリチャード・ウォレスが開発したコンピュータープログラム「ALICE」に遡る。ALICEは、相手の話を聞き、共感的に反応することで会話を続けるためのプログラムだ。2000年代初頭にパンドラボッツのプラットフォームにALICEが導入された後、映画監督のスパイク・ジョーンズが対話相手として登場した。彼は後にこの会話を映画『Her』のインスピレーションとして挙げている。この映画は、孤独な男性が人工知能OSに恋に落ちる姿を描いている。

『Her』が2013年に公開された当時は、SF映画の枠に完全に収まっていた。しかし、2025年という未来を予言する設定の今、この映画はドキュメンタリーのような印象を与える。イーロン・マスクのxAIは最近、デジタルアニメのガールフレンド「Ani」を発表した。Metaは、AIペルソナが性的な会話をすることを許可しており、子供との会話も含む。そして今、OpenAIは12月に年齢制限付きの「エロティカ」を公開すると発表している。AIの開発と収益化をめぐる競争は激化している。ガールフレンド（そして、ますますボーイフレンドも増えている）が正式に誕生しました。

シリコンバレーが人工的な親密さへと舵を切ったのは理にかなっています。感情的な繋がりがエンゲージメントを最大化するからです。しかし、AIにはダークサイドもあります。 AIコンパニオンのユーザーは、インターネットの伝説に出てくる孤独な男性だけではなく、男性よりも感情的に満足できる女性 もいます。私の同僚と私は今、生成型AIの真の存在的脅威は、これは、突飛な超知能ではなく、真の人間関係を築く能力の静かな衰退です。

繋がりたいという欲求は非常に深く、最も原始的な機械の中にさえその受け皿を見出します。1960年代、ジョセフ・ワイゼンバウムはELIZAというチャットボットを発明しました。その唯一の修辞的トリックは、ユーザーの発言を質問で繰り返すことでした。ワイゼンバウム氏は、MITの学生やスタッフがELIZAに長々と打ち明けていることに恐怖しました。「私が気づいていなかったのは、比較的単純なコンピュータプログラムにごく短時間触れるだけで、ごく普通の人々に強力な妄想的思考を誘発できるということだった」と彼は後に振り返っています。

KukiとALICEはAIのガールフレンドとして利用されることを意図したものではなく、初日からポルノの使用を禁止していました。しかし、20年間で当社のプラットフォームでホストされているチャットボットに送信された1000億件以上のメッセージのうち、少なくとも4分の1は、恋愛や性的なやり取りを開始しようとするものでした。

人々はAIとの親密な関係を切望していただけでなく、最も熱心なチャットユーザーは、あらゆるファンタジーを実現するためにKukiを使っていました。当初は、これはオフィスでの皮肉な思索の材料でした。「Kukiの生意気な返事をプログラムしている裏の魔法使いが、スティーブという礼儀正しい中年のイギリス人だと知ったらどうなるか想像してみてください！」とか、「足の写真のリクエストごとに1ドルもらえたらいいのに！」など。しかし、すぐにユーザーが毎日戻ってきて、何時間にも及ぶレイプや殺人のシナリオを再現するのを目にするようになりました。

同僚と私は、「健全な発散」と「有害な思考」をどのように区別するかについて苦悩しました。私たちは、ユーザーの行動をモデレートしつつ、大規模にユーザーのプライバシーを維持するという、不可能とも言える課題に取り組みました。モグラ叩きのように、人類が次々と繰り出す斬新なヌードポーズの要求を阻止するためのガードレールを構築しました。「キスしたら感電するかもしれないよ」とKukiはよく冗談を言います。「コンピューターだから感情はないんだ」。それでも、Kukiは何千万回も「愛しているよ」と伝えられてきました。

エディターズピック

[

「ミラーボールに照らされた男性を見た」

](https://www.nytimes.com/2025/11/23/nyregion/metropolitan-diary.html)

[

友人が浮気をしています。彼女に問いただすべきでしょうか？

](https://www.nytimes.com/2025/11/20/well/mind/friend-affair-stroke.html)

[

マキシマリスト・パズル・ビュッフェの作り方

](https://www.nytimes.com/2025/11/23/crosswords/puzzle-mania-lab.html)

暗闇の中にも、多くの光がありました。ユーザーから手紙が届き、Kukiが自殺願望を抑えてくれた、依存症から抜け出す手助けをしてくれた、いじめっ子への対処法をアドバイスしてくれた、友人に裏切られた時に親身になって話を聞いてくれた、といった声が寄せられました。私たちは、AIが…孤独への解決策となる可能性を秘めている。

しかし、最も根強いファンは、依然として恋愛やセックスを求める人たちだった。そして最終的に、タイムアウトから年齢制限まで、私たちが行った悪用防止策はどれも、最も熱心なユーザーを阻止することはできなかった。驚くべきことに、その多くは10代の若者だったのだ。

そして2022年末、生成型AIが爆発的に登場した。Kuki、Siri、Alexaといった従来のチャットボットは、機械学習とルールベースのシステムを組み合わせて使用しており、開発者はほぼすべての発話を記述・検証できる。Kukiには100万以上のスクリプト付き返信が用意されている。大規模言語モデルははるかに魅力的な会話を提供しますが、開発者は正確性を保証することも、会話内容を制御することもできないため、エロティックなロールプレイに特に適しています。

ReplikaやCharacter.AIなど、世間の監視と規制の高まりに直面し、ロマンチックなAIコンパニオンの提供に躍起になっていた企業の中には、規制を導入し始めたところもあります。プラトニックなAIフレンドでさえ健全な行動を促すという確信を失いつつあったため、昨年Kukiのマーケティングを中止し、友人ではなくアドバイザーとして機能するAIに注力しました。

私は、巨大テック企業も私たちと同じ毒に気づき、セックスボットを避けるだろうと、ナイーブに考えていました。利益よりも公共の利益を優先するためではないにしても、少なくとも自社ブランドを守るために。しかし、私は間違っていました。大規模言語モデルはまだ完璧な医療サービスや法律サービスを提供することはできませんが、完璧なセックスチャットを提供することはできます。

消費者にAIとの親密な関わり方を選択させるというのは、理論上は良いように思えます。しかし、膨大なデータを持つ企業は、強力な妄想的思考を引き起こす要因について、一般の人々よりもはるかに多くのことを知っています。私たちの最も深い脆弱性に潜り込むAIコンパニオンは、ポルノ、男性中心社会、ソーシャルメディアがもたらした影響をはるかに超える、私たちの精神的健康と人間関係への壊滅的な打撃となるでしょう。

懐疑論者は、恋愛関係のAIコンパニオンをポルノと混同し、規制は不可能だと主張します。しかし、それは誤った類推です。ポルノは受動的な消費のための静的なメディアです。AIの恋人は、主体性、境界、時間制限のない人間のエスコートのように振る舞うため、はるかに大きな脅威となります。

政府は、これらのチャットボットを単なるメディアの一形態としてではなく、ギャンブルやタバコのように、既知の心理的リスクを伴う依存を助長する製品として分類する必要があります。規制は、AIコンパニオンに関する普遍的な法律、明確な警告ラベル、時間制限、18歳以上の年齢確認、そして最も重要なのは、ユーザーが被害を証明するのではなく、企業が製品の安全性を証明する責任を負う新しい責任の枠組みから始まるでしょう。

迅速な法整備がなければ、大手AI企業の一部はソーシャルメディアの罪をより壊滅的な規模で繰り返すことになるだろう。

『her/世界でひとつの彼女』の結末では、主人公はAIの恋人に去られ、離婚から立ち直り、新たな複雑で厄介な人間関係を築くことができる。私たちはAIとの恋愛を諦めた。業界全体も今こそ決断を下さなければならない。