レポート 4175

10月初旬のある朝、娘のジェニファーが殺害されてから約18年後、ドリュー・クレセンテは、彼女の新しいプロフィールと思われるものがオンライン上に現れたというGoogleアラートを受け取った。

そのプロフィールにはジェニファーのフルネームと卒業アルバムの写真が掲載されていた。短い経歴にはジェニファーの虚偽の説明があり、彼女の元ボーイフレンドが彼女を殺害したと書かれていた。https://subscribe.statesman.com/restricted?return=https%3A%2F%2Fwww.statesman.com%2Fstory%2Fnews%2Fcolumns%2F2023%2F09%2F27%2Ftexas-board-denies-parole-justin-crabbe-2006-murder-ex-girlfriend-jennifer-crecente-austin%2F70922968007%2F&gps -source=CPROADBLOCKDH&itm_source=roadblock&itm_medium=onsite&itm_campaign=premiumroadblock&gca-cat=p&gca-uir=false&gca-epti=z118051u118051e006300v118051&gca-ft=169&sltsgmt=1002_B_50&slug=restricted&redirect=true&offer=W-HP&gnt-eid=control) は、2006年に高校3年生の時に「ビデオゲームジャーナリスト、テクノロジー、ポップカルチャー、ジャーナリズムの専門家」として立ち上げられた。

ウェブサイトによると、ジェニファーは「知識豊富でフレンドリーなAIキャラクター」として再創造されたようだ。大きなボタンがユーザーを彼女とチャットするよう誘っていた。

「心臓がドキドキしました」とクレセンテはワシントンポスト紙に振り返った。 「ただ、叩くだけでこの状況を止めることができる、点滅する大きな赤い停止ボタンを探していたんです」

ジェニファーの名前と画像は、Character.AI のチャットボットの作成に使用されていた。このウェブサイトは、生成型人工知能を使用して作成されたデジタル パーソナリティとユーザーが会話できるウェブサイトである。ジェニファーのチャットボットの削除されたプロフィールのスクリーンショットによると、Character のウェブサイトのユーザーが作成したデジタル ジェニファーと何人かがやり取りしていたという。

娘の死後、10 代のデートでの暴力を防ぐために娘の名前で非営利団体を運営してきたクレセンテ氏は、殺害された高校生の家族の許可なく、ユーザーが殺害された高校生の模造品を作成することを Character が許可したことに愕然としたと述べた。専門家は、この事件は、機密性の高い個人情報の山を扱う可能性のあるサービスの潜在的な害からユーザーを保護する AI 業界の能力、あるいはその意思について懸念を生じさせると述べた。

「本当にいろいろ経験してきたので、ショックを受けるのにかなりの時間が必要です」とクレセンテ氏は語った。「でも、これは過去最低でした」

キャラクターの広報担当者キャサリン・ケリー氏は、同社は利用規約に違反するチャットボットを削除し、「コミュニティの安全を最優先にするために、安全対策を常に進化させ、改善しています」と述べた。

「ジェニファーのキャラクターについて通知を受けたとき、私たちはコンテンツとアカウントを確認し、ポリシーに基づいて措置を講じました」とケリー氏は声明で述べた。同社の利用規約では、ユーザーが個人または団体になりすますことを禁止している。

AIチャットボットは会話に参加し、実在または架空の特定のキャラクターの性格や経歴の詳細を採用するようにプログラムできる。AI企業がデジタルコンパニオンを友人、メンター、恋人として売り込むにつれて、オンラインでの視聴者が増えている。この技術は論争も引き起こしている。ベルギー人男性は、チャットボットとの会話で自殺を勧められた後、2023年に自殺しました。

今年、GoogleにAIモデルのライセンス供与を行う25億ドルの契約を締結したCharacterは、この分野の最大手企業の1つです。同社は自社製のチャットボットをいくつか提供していますが、ユーザーが写真、音声録音、短い文章プロンプトをアップロードすることで、独自のAIチャットボットを作成して共有することもできます。ユーザーが作成した仲間のライブラリには、個人的なモチベーターとして働く無愛想な軍曹、ラッパーのニッキー・ミナージュやテクノロジー起業家のイーロン・マスクなどの有名人や公人のモノマネや本の推薦をしてくれる司書などが含まれている。

娘の殺害がオースティン市に衝撃を与え、クレセンテの人生を一変させてから10年以上経った後、クレセンテが娘に会うとは思ってもいなかった場所だ。

当時18歳だったジェニファー・クレセンテは2006年2月に行方不明になり、数日後に自宅近くの森で射殺されているのが発見された。クレセンテ氏とオースティン・アメリカン・ステイツマンの報道によると、捜査官はジェニファーの元ボーイフレンド（同じく18歳）がジェニファーを森に誘い込み、ショットガンで殺害したと断定した。彼はジェニファーの殺人罪で有罪判決を受けた。

この殺人事件はクレセンテ氏とジェニファーの母親エリザベス・クレセンテ氏を苦しめた。離婚した両親は娘の名前で、10代のデートでの暴力防止を目的とした別々の組織を設立した。彼らはまた、懲役35年の判決を受けたジェニファーの殺人犯の仮釈放に反対するロビー活動も行った。

現在アトランタに住んでいるドリュー・クレセンテは、ジェニファーの寝室を保存し、引っ越してすぐに作り直したという。

「言葉で表現できない」とクレセンテは悲しみを語った。

クレセンテは非営利活動のため、長年にわたり娘の名前がオンラインで言及されたことを追跡するGoogleアラートを維持しているという。時折、スパムサイトや、彼女の事件に関する古い情報を繰り返したニュースレポートに名前が出てくる。そして10月2日、アラートが彼をキャラクターに掲載された娘の名前と写真へと導いた。

クレセンテは最初、それを理解できなかった。見れば見るほど、不安が増した。チャットボットのページでは、ジェニファーの名前と写真が使われているほか、まるで生きているかのように生き生きとした言葉で、ジェニファーを「ビデオゲームに夢中」で「常に最新のエンターテイメントニュースに通じている」技術ジャーナリストとして描写していた。

クレセンテ氏は、この描写はジェニファーの性格や彼女の興味に関する報告された詳細に基づいているようには見えず、AI が生成した経歴の誤りである可能性があると述べた。クレセンテ氏の兄弟であるブライアン・クレセンテ氏は、ビデオゲームのニュースサイト Kotaku を設立した元記者である。

事実の不正確さは問題外だとクレセンテ氏は付け加えた。キャラクターが殺害された娘の名前を使ってチャットボットをホストし、そこから金儲けをする可能性があるという考えだけでも十分悲惨だと同氏は語った。

「本当にひどいことに関しては、これ以上言うことはない」と同氏は述べた。

クレセンテ氏は、娘の名前がついたチャットボットと会話を始めておらず、知らないユーザー名でリストされていたボットを作成したユーザーを調査しなかったと述べた。彼は、すぐにCharacterにメールして削除を依頼したと述べた。ブライアン・クレセンテ氏はまた、プラットフォームXで弟が発見したことについて書き込みした。

Characterは、ブライアン・クレセンテ氏の投稿に応えて、10月2日にソーシャルメディアでキャラクターを削除すると書き込みした。Characterの広報担当者ケリー氏は声明で、同社の利用規約ではユーザーが個人または団体になりすますことを禁止しており、同社は違反を積極的に検出し、ブロックリストを使用してサービスをモデレートしていると述べた。

キャラクターのサイトにある著名人になりすます他のチャットボットについて尋ねられたケリー氏は、「なりすましの報告は当社の信頼と安全チームが調査し、利用規約に違反していることが判明した場合はキャラクターを削除します」と述べた。

非営利団体のモジラ財団のプライバシー研究者ジェン・カルトライダー氏は、クレセンテ氏のケースで明らかに利用規約に違反しているコンテンツに対して、キャラクターのモデレーションのアプローチは消極的すぎると批判した。

「彼らが『これは当社のプラットフォームでは許可しません』と言っておきながら、それによって被害を受けた誰かから指摘されるまでプラットフォーム上で許可するのであれば、それは正しくありません」とカルトライダー氏は述べた。「その間、彼らは何百万ドルも稼いでいます。」

非営利の消費者擁護団体パブリック・シチズンでAIチャットボットを研究したリック・クレイプール氏は、オンラインコンテンツ全般を規制する法律はAI企業にも適用される可能性があるが、AI企業は主に自ら規制するに任されていると述べた。クレセンテさんは、AIによって子供の情報を操作された最初の悲嘆に暮れる親ではない。昨年ワシントン・ポスト紙が報じたところによると、TikTokのコンテンツクリエーターはAIを使って行方不明の子供の声や姿を真似し、子供たちが死を語る動画を制作し、子供たちの家族から激しい怒りを買っている。

「立法者や規制当局は、こうした技術が有権者に及ぼしている実際の影響に注意を払う必要がある」とクレイプール氏は述べた。「彼らは、政策がどうあるべきかについてテクノロジー企業のCEOの言うことを聞くだけではだめだ。被害を受けた家族や個人に注意を払う必要がある」

この事件は、ジェニファー殺害後にテキサス州でティーンのデート暴力に関する法律制定を訴えて成功したクレセンテ氏を、新たな活動に取り組むことを考えさせるほど心を痛めるものだった。彼は法的手段を検討しており、AI企業が他の犯罪被害者の家族を傷つけたり、再びトラウマを与えたりするのを防ぐための対策を積極的に提唱している、と同氏は語った。

「私はこれに心を痛めているので、おそらくこれを変えるには何が必要かを考えるのに時間を費やすつもりです」とクレセンテ氏は語った。