レポート 4176

2006年に殺害されたジェニファー・アン・クレセンテの写真と名前は、今週彼女の父親が発見したCharacter.aiで作成されたチャットボットで使用されていました。ドリュー・クレセンテとCFOTO/Future Publishing、Getty Images経由

ドリュー・クレセンテは水曜日の午前6時30分に目覚め、携帯電話に娘に関するGoogleアラートが届いているのを見つけました。

高校3年生でクレセンテの唯一の子供だったジェニファー・アンがオースティンで元ボーイフレンドに殺害されてから18年が経っていました。悲しみに暮れるクレセンテは、彼女の名前で非営利団体を設立し、2006年から10代のデートでの暴力に対する意識を高める活動を行っていました。

しかし、クレセンテ氏は、彼女がオンラインに再び現れたことを知った。今回は、8月にグーグルと27億ドルの契約を結んだサンフランシスコを拠点とするスタートアップが運営するCharacter.aiの人工知能チャットボットとしてだ。

クレセンテ氏は、怒り、混乱、嫌悪感など、さまざまな感情が一気に押し寄せてきたとBusiness Insiderに語った。

「一部は悲しみだった」とクレセンテ氏は語った。「なぜなら、私はここで、長い間対処しなければならなかったこのひどいトラウマに再び直面しなければならないからだ」

クレセンテ氏は、誰がチャットボットを作成したのか、いつ作成されたのかは知らなかった。彼が知っていたのは、その朝グーグルがボットをインデックス化し、午前4時30分にアラートを送ったことだけだった。これは、娘や非営利団体に関する言及を追跡するために設定したものだ。

Character.ai のチャットボットは通常、ユーザーによって作成され、名前、写真、挨拶、ペルソナに関するその他の情報をアップロードできます。

ジェニファー アンの場合、ボットは彼女の名前と卒業アルバムの写真を使用し、彼女を「幅広いトピックに関する情報を提供できる知識豊富でフレンドリーな AI キャラクター」と表現しました。

クレセンテ氏がこのボットを発見した時点で、彼が BI に送ったスクリーンショットによると、ボットのプロフィールのカウンターには、すでに少なくとも 69 のチャットで使用されていたことが示されていました。

ジェニファー アンのプロフィール ページには、彼女はビデオ ゲーム ジャーナリストとして記載されています。彼女の叔父のブライアンは、ゲーム レポーター兼編集者です。ドリュー クレセンテ

この Web サイトには、ジェニファー アンがビデオ ゲーム ニュースの専門知識を持つ「ジャーナリズムの専門家」としても記載されています。彼女の叔父のブライアン クレセンテは、ゲーム ニュース サイト Kotaku を設立し、その競合サイトである Polygon の共同設立者でもあります。

ドリュー・クレセンテ氏は、カスタマーサポートフォームを通じてCharacter.aiに連絡し、ジェニファー・アンを真似たチャットボットを削除し、誰がプロフィールをアップロードしたかに関するすべてのデータを保持するよう求めた。

「今後、娘の名前や娘の肖像を使用したアカウントが作成されないように、対策を講じてほしいと思いました」と同氏は述べた。

同氏は、事件番号が記載された自動返信を受け取ったが、それ以上の情報はなかった。

同氏の兄弟であるブライアン氏は、その朝、チャットボットについて怒りのメッセージをツイートし、約31,000人のフォロワーに「このようなひどい行為をやめさせる」よう助けを求めた。

Character.aiは1時間半後、ブライアンのXへの投稿に返信し、ジェニファー・アンのチャットボットは、なりすましに関する同社のポリシーに違反していたため削除されたと述べた。

しかしクレセンテ氏は、水曜日にCharacter.AIに連絡を取ったにもかかわらず、同社からは何も返答がないと述べている。

「これが非常に腹立たしいことの1つです。これは私や娘だけの問題ではありません」とクレセンテ氏は述べた。「これは、プラットフォームを持たないかもしれない、声を上げられないかもしれない、ジャーナリストとしての経歴を持つ兄弟を持たないかもしれないすべての人々の問題なのです」

「そして、そのために彼らは被害を受けていますが、彼らには救済手段がありません」と彼は付け加えた。

Character.aiの広報担当者キャシー・ローレンス氏はBIに対し、チャットボットが削除されたことを確認し、同社は「さらなる措置が必要かどうか検討します」と述べた。

「Character.ai はプラットフォームの安全性を真剣に受け止めており、積極的に、またユーザーからの報告に応じて Characters を管理しています。当社には、報告を確認し、ポリシーに沿って行動する専任の信頼と安全チームがあります」と彼女は述べた。

彼女は、Character.ai はなりすましを防ぐために「業界標準のブロックリストとカスタム ブロックリスト」を使用していると付け加えた。

それでもクレセンテ氏は、同社が謝罪し、娘の身元をさらに保護する姿勢を示すべきだったと述べた。彼は現在、法的手段を求めている。

「これほどの資金力を持つ企業が、人々に再びトラウマを与えることに無関心であるように見えるのは、言葉では言い表せないほどです」と彼は述べた。

AIを使って死者を蘇らせる

AIはこれまでも死者のペルソナを作成するために使われてきた。愛する人を失った悲しみを和らげるのに役立つと期待する人も多い。しかし、この行為は死者の同意に関する倫理的な疑問を提起しており、特に「蘇った」ペルソナがAIの出現前に亡くなっていた場合はそうだ。

オックスフォード大学AI倫理研究所の技術AIエンゲージメント責任者、ヴィンセント・コニツァー氏はBIに、クレセンテ氏のケースはAIが世界にもたらした新たな法的および倫理的領域のもう1つの例だと語った。

コニツァー氏は、AI企業がユーザーが作成したコンテンツに対してどの程度責任を負うべきかという疑問が残ると述べた。

「AIモデルであることが明白なという意味で、これは完全ななりすましとは言えません」とコニツァー氏はジェニファー・アンを真似るチャットボットについて語った。「しかし、例えばパロディでもありません。私たちは、自分たちのスタイル、癖、世界観に対してどのような権利を持っているのでしょうか？」

世界がこうしたAIのジレンマを議論する中、その結果はすでにクレセンテ氏のような人々に深く影響を及ぼしている。

ボストンのダナ・ファーバーがん研究所の遺族サービスディレクター、スー・モリス氏はBIに対し、亡くなった愛する人の似顔絵を予期せず目にすると、何年も経ってもまだショックを受けると語った。なぜなら、彼らの記憶は脳にしっかりと刻み込まれているからだ。

「娘の似顔絵が使われていることに彼が気付いていなかったとしたら、間違いなく大きなショックを受け、彼が感じていた混乱と怒りの感情がさらに増したでしょう」とモリス氏はクレセンテ氏について語った。

Character.ai: 大人気で Google と結びついている

Character.ai は、2021 年 11 月に元 Google エンジニアの Noam Shazeer 氏と Daniel De Freitas 氏 によって設立されました。Shazeer 氏は、このテクノロジー大手の画期的な論文 Transformer の主執筆者であり、そこで AI 搭載のチャットボットの構築に取り組んでいましたが、当時 Google が製品の公開を拒否したため、De Freitas 氏とともに退社しました。

Character.ai の共同創設者である Noam Shazeer 氏と Daniel De Freitas 氏。Winni Wintermeyer/Getty Images

この新しいスタートアップの背後にあるアイデアは、一般の人々が独自のボットを作成できるようにすることでした。彼らはこれを Characters と呼んでいます。これらには、現在、イーロン・マスク、ラッパーのニッキー・ミナージュ、俳優のライアン・ゴズリングなどの著名人をモデルにした、ユーザーが作成したさまざまなペルソナが含まれています。

Character.ai の 2022 年 10 月のベータ版リリースでは、[ワシントンポスト] によると、最初の 3 週間のテストで数十万人のユーザーがログインしました。 (https://www.washingtonpost.com/technology/2022/10/07/characterai-google-lamda/) 2023 年 3 月、同社はアンドリーセン・ホロウィッツが主導し、評価額 10 億ドルで 1 億 5,000 万ドルを調達しました。

Google Play ストアの統計によると、記事執筆時点で、このアプリは Android デバイスだけで 1,000 万回以上ダウンロードされています。

8月、Googleは同社に27億ドルを支払い、Shazeer氏とDe Freitas氏（スタッフの20%）を再雇用し、これまで開発されてきたCharacter.aiのモデルをすべて取得した。

チーム再編後、同社の新暫定CEOであるDominic Perella氏は水曜日にThe Financial Timesに対し、同社はチャットボットサービスに完全に注力し、大規模な言語モデルを構築するという過去の取り組みを放棄すると語った。

GoogleはBusiness Insiderからのコメント要請には応じなかった。