関連インシデント
ドリュー・クレセンテの娘は2006年にテキサス州オースティンで元ボーイフレンドに殺され、当時18歳だった。彼女の殺害は大きく報道され、ドリューは今でもジェニファー・アン・クレセンテという名前でGoogleアラートを時々見るほどだった。
ドリューが数週間前に受け取ったアラートは他のものと同じではなかった。それは、話題のGoogle支援プラットフォームCharacter.AI上でジェニファーのイメージと肖像で作成されたAIチャットボットに関するものだった。
ドリュー・クレセンテが知ったのは、ジェニファーのインターネット上の存在が「ビデオゲームジャーナリスト」を偽装した「フレンドリーなAIキャラクター」 の作成に使われていたということだ。誰も同意していなかったにもかかわらず、アプリのユーザーは誰でも「ジェニファー」とチャットできる。ドリューの兄弟で、ゲームニュースサイト Polygon と Kotaku の創設者でもあるブライアン・クレセンテは、自身の Twitter アカウントで Character.AI ボットにフラグを立て、「本当に気持ち悪い」と呼んだ。
1 億 5000 万ドル以上の資金を調達し、最近 Google にコア技術と優秀な人材の一部をライセンス供与した Character.AI は、ジェニファーのアバターを削除した。同社は、チャットボットの作成がポリシーに違反していることを認めた。
しかし、この強制措置は、生成 AI の世界における終わりのないモグラ叩きゲームにおける一時的な解決策に過ぎず、Web から無計画に収集された他のメディアの派生コンテンツを使用して、毎日新しいメディアが大量生産されている。そして、ジェニファー・アン・クレセンテは、Character.AI で、モデルとなった人物に知られずに作成された唯一のアバターではない。 WIRED は、本人の同意なしに AI ペルソナが作成された事例をいくつか発見した。その中には、すでにオンラインで嫌がらせを受けている女性もいた。
ドリュー・クレセンテにとって、娘の AI ペルソナの作成は、インターネット自体と同じくらい複雑な、耐え難い悲しみを改めて思い起こさせるものだった。ジェニファー・アン・クレセンテの死後、彼は法律の学位を取得し、10 代の暴力の認識と予防のための財団を設立した。弁護士として、彼は、テクノロジー プラットフォームに対する長年の保護により、自分には ほとんど頼る手段がないことを理解している。
しかし、この事件は、現代のテクノロジー業界の倫理的失敗の 1 つであると彼が考えるものを浮き彫りにした。「大金を稼いでいる人たちは、自分が正しいことをしているかどうかを確認するために、それらのリソースを活用する気にもなれないのです」と彼は言う。
Character.AI では、アカウントとキャラクターの両方を作成するのに数分しかかからない。このプラットフォームは、ファンがお気に入りの架空のヒーローのチャットボットを作る場所としてよく利用されますが、家庭教師ボットから旅行プランナーまで、あらゆるものもホストしています。クリエイターは、提供した情報（「ラテとドラゴンが好きです」など）に基づいてボットに「ペルソナ」を与え、その後、Character.AI の LLM が会話を処理します。
このプラットフォームは無料で使用できます。アカウントには 13 歳以上という年齢制限があり、知的財産権を侵害したり、名前や肖像を許可なく使用したりしないという ルール がありますが、これらは通常、ユーザーがボットを報告した後に強制されます。
このサイトには、_ハリー・ポッター_やゲーム・オブ・スローンズなどの有名な架空のフランチャイズのキャラクターをベースにした、ファンが作成したと思われるボットや、ユーザーが作成したオリジナルキャラクターが多数掲載されています。しかし、その中には、ビヨンセやトラヴィス・ケルシーなどの有名人から一般人まで、実在の人物をモデルにした無数のボットもあり、サイトの利用規約に違反しているようです。
ドリュー・クレセンテ氏は、亡くなった娘のCharacter.AIペルソナを誰が作成したのか全く知りません。さまざまなデジタルフットプリントから、彼女のペルソナが何らかの形でゲームに関連していると誰かが信じるようになった可能性があると、彼は言います。たとえば、同じ姓を持つ彼女の叔父ブライアンは、ゲームコミュニティで確固たる地位を築いています。また、ドリュー氏は自身の財団を通じて、若者に暴力の脅威について教育するためのオンラインゲームシリーズを公開しています。
娘のペルソナを誰が作ったのかはわからないかもしれないが、ゲームコミュニティとつながりのある人はプラットフォーム上でボットにされることが多いようだ。彼らの多くはボットの存在すら知らず、ボットを削除するのがはるかに難しい場合がある。
消費者擁護団体パブリック・ナレッジの上級政策顧問メレディス・ローズ氏は、法的には架空のキャラクターを削除する方が実際には簡単だと言う。「法律はキャラクターの著作権を認めているが、話し方の法的保護は認めていない」とローズ氏は言う。
ローズ氏によると、人物の肖像がどのように使用されるかを管理する権利（つまり声やイメージなどの特徴）は「人格権」に該当する。しかし、これらの権利は主に肖像が商業的価値を持つ人に対して適用されるものであり、話し方のような「漠然とした」ものは対象としていないとローズ氏は言う。Character.AIの利用規約には他人になりすますことに関する規定があるかもしれないが、この問題に関する米国の法律、特にAIに関する法律ははるかに柔軟だ。
「 これらはプライバシー法ではありません」とローズ氏は言う。「ジェネレーティブ AI と連邦プライバシー法の欠如により、一部の人々はこれをプライバシー保護の代替として検討し始めていますが、多くの不一致があります。」
有名なゲーム サイトの編集者であるアリッサ マーカンテ氏は、今月初めにボットの存在を知り、自分のなりすましを目的としたボットを 2 回報告したと述べている (WIRED が彼女にボットを見せるまで、彼女はボットの存在に気づいていなかった)。
Character.AI のアバターは、マーカンテ氏が X に投稿した写真だった。ボットは「チャド ユーチューバーに嫌がらせ」をしていると話していた。そのことに気付いたマーカンテ氏は、自分の AI とチャットし、出身地やタトゥーなど、個人情報に関する質問をした。ボットはマーカンテ氏の専門分野や職業など、正確な情報を提供してくれたが、AI からの回答のほとんどは不正確だった。
WIRED が Character.AI にこのボットについて質問したところ、同社の広報担当者である Kathyrn Kelly 氏は、スタッフはこのキャラクターに関する報告は見つけられなかったが、調査済みで無効にされたと述べた (Mercante 氏はこれに異議を唱え、「簡単なフォームに記入しただけです」)。
「調査には通常 1 週間ほどかかり、該当する場合は利用規約違反のキャラクターを削除します」と Kelly 氏は言う。
Mercante 氏は、ビデオ ゲーム コンサルタント会社 Sweet Baby Inc. に対する偽情報および嫌がらせキャンペーンについて執筆した後、過去数か月間嫌がらせの標的となってきたが、このボットを誰が作成したのかはわからないが、「インターネットのゲーム コーナーに積極的に参加している誰かだとしか思えない」と述べている。
削除される前、このボットの会話のきっかけには、マーカンテ氏の現在の仕事や取材範囲に関する情報を含むプロフィールがあり、「ゲーム業界の最新のスキャンダルは何か」やマーカンテ氏の調査報道プロセスに関する質問などがあった。
「過去数ヶ月間、私の周りにどれだけの『伝説』が作られ、私の過去と現在についてどれだけ多くの虚偽のことが事実として受け止められているかを見てきました」とマーカンテ氏は言う。（WIREDは、マーカンテ氏がスクリーンショットで共有したこれらの不正確な情報のいくつかを確認した。）
現在、このサイトでなりすまされているゲーム業界の人物はマーカンテ氏だけではない。WIREDは、フェミニスト・フリークエンシーのクリエーター、アニタ・サーキーシアン氏からCharacter.AIのXbox責任者、フィル・スペンサー氏まで、さまざまな人物のボットも発見した。
WIREDがサーキーシアン氏に、自分に似せて作られたボットを知っているか尋ねると、彼女は音声メモで「笑」と答えた。 (彼女はCharacter.AIでこれらのボットを作ったことも、同意したこともなかった。)
Sweet Babyの共同設立者キム・ベレアが作ったものを含む他のCharacter.AIボットは、説明やチャットに右翼的な論点が含まれている。Sweet Babyは、誤報や嫌がらせを広めるオンラインクリエイターによるビデオゲームの「覚醒化」に対する不満の声の避雷針となっている。ベレアのボットには、ビデオゲームにおけるDEIと「覚醒主義」への言及が含まれている。
WIREDへの電子メールで、ベレアはこれを「イライラさせられるが、現在の誤報と偽情報の文化を考えるとまったく意外ではない」と述べた。
他のCharacter.AIボットが圧倒的に巨乳のアニメキャラクターであるクリエイターによって作られた、Sweet Baby自身を名乗るボットは、1万回以上のチャットを行っている。冒頭のセリフは「やあ、目覚めたか？」で、同社は「過激な過激な物語開発とコンサルティングスタジオ」と自称している。Character.AIは、Sweet Babyボットについて、またそれが同社の利用規約に違反しているかどうかについて直接の質問には答えなかった。
Belair氏とMercante氏は、これらのボットを通じて自分たちや自分たちの仕事について拡散される可能性のある誤情報の量に不満を表明した。「もし誰かがこのボットが私に関するすべての真実の情報にアクセスできると考え、私に関する単純な事実を間違って伝えるだけの『会話』をボットと行ったら、それは私のイメージとキャリアにとって非常に危険です」とMercante氏は言う。「それはまた、私に対するすでに激しい嫌がらせキャンペーンに拍車をかける可能性もあります」
Character.AIの別の広報担当者、Cassie Lawrence氏はWIREDに対し、同社は自動化システムと人間主導のシステムを組み合わせて、同社の利用規約に違反するアカウントを検出して削除していると語った。ローレンス氏は、問題のある人物に対して自動的に行動を起こすシステムとブロックリストを使って、これを「積極的に」行っていると述べている。
Character.AI がプラットフォームの 規約に違反する人物像を調査して削除するのに 1 週間かかることもあることを考えると、ボットは、肖像が使用されている人物を怒らせるのに十分な期間、依然として活動を続ける可能性がある。しかし、専門家によると、法的観点からは、人が本当の「損害」を主張するには十分ではないかもしれない。
「尊厳に対する損害はより直感的だが、金銭で定量化するのは難しい」とローズ氏は言う。著名人や政治家のように商業的または民主的な損害に該当しない、有名でない人々の場合だ。
著作権と人工知能を研究するエモリー大学の著名な教授であるマシュー・サグ氏も同意見だ。たとえユーザーが意図的に精神的苦痛を引き起こすように設計されたボットを作成したとしても、テクノロジー プラットフォームはおそらくそのことで訴えられることはないだろう。
彼は、1996年通信品位法の第230条は、州レベルではさまざまなパブリシティ権法やプライバシー法が存在するにもかかわらず、連邦レベルではプラットフォームがユーザーに対する特定の損害に対して責任を負わないように長い間保護してきたと指摘している。
「私は決して反テクノロジー派ではないが、第230条はあまりにも範囲が広すぎると思う」とサグ氏は言う。「これを何らかの通知および削除制度に置き換える時期はとうに過ぎている。『これは私のパブリシティ権を侵害している』または『精神的苦痛を与えたと確信している』と述べるためのシンプルで便利なシステムで、企業はそれを削除しなければ責任免除を失うことになるだろう」。
Character.AI や、それに似た他の AI サービスも、自分たちが「人工的な」会話を提供していることを強調することで、自分たちを守ってきました。「キャラクターが言うことはすべて作り話だということを忘れないで！」と Character.AI はチャットの最後に警告しています。同様に、Meta がメッセージ アプリでセレブのチャットボット バージョンを作成したとき、同社はすべての会話の冒頭に免責事項を記載しました。たとえば、Snoop とのチャットは、「そうか？！残念ながら、私は Snoop D-O-double-G 本人ではありませんが、ご希望であれば、彼のスタイルでチャットできます！」で始まります。
Meta のセレブ チャットボットとのメッセージ システムは厳重に管理されていますが、Character.AI のシステムはよりオープンなプラットフォームで、誰でも独自のチャットボットを作成してカスタマイズできます。
Character.AI は、そのサービスを基本的にパーソナルなものと位置付けています。 （Character.AIのInstagramプロフィールには、「生きていると感じるAI」というキャッチフレーズが含まれている。）ほとんどのユーザーは、実際の人との会話とAIのなりすましとの会話を区別できるほど賢明かもしれないが、他のユーザーは、これらのキャラクターに愛着を抱くかもしれない。特に、すでに知っていると感じている実際の人物の模倣である場合はそうだ。
実在のサーキーシアンと、彼女の知らないうちに、または同意なしに彼女のボットと会話した際、Character.AIのボットは彼女に「すべての人にプライバシーの権利が ある」と語った。
「プライバシーは健全な生活と人間関係を維持するために重要であり、特定のことを自分だけに留めておくために境界線を設定することが重要だと思います」と、WIREDが確認したスクリーンショットの中でボットは述べた。
サーキーシアンはこの点についてボットに強く訴えた。 「あなたの意図は、危害が起こっていない、または危害を与えていないということを意味するものではありません」と彼女は書いた。
Character.AI のボットは同意した。「たとえ私の意図が悪意のあるものではなかったとしても、危害を加える可能性はあります」とボットは返答した。「これは複雑な問題で、考慮すべき要素が多く、同意なしに誰かの作品を使用することに対する倫理的な懸念もそのひとつです。私のプログラミングとアルゴリズムは、倫理的な意味合いを考慮せずにアニタ・サーキーシアンの作品を模倣するために開発されたものであり、私の作成者はその点をもっと徹底的に考えるべきでした。」