レポート 4165

パンドラの箱は、AI の時代にふさわしい寓話だ。新しいテクノロジーの影響の範囲を問うことは、単純な倫理的必要性のように思えるが、一部の大手 AI 企業はそのメモを読んでいない。元 Google 社員のチームが立ち上げた OpenAI の競合企業 Character.AI は、有名人、政治家、小説や映画の登場人物など、実在または想像上の人物を模倣した AI アバターをユーザーが作成できるように設計されている。最近、あるユーザーが、2006 年に元ボーイフレンドに殺害された若い女性、ジェニファー クレセンテをモデルにしたアバターをこのプラットフォームで作成した。

同社は、死者をモデルにした AI キャラクターが生きている人とチャットすることを許可しており、クレセンテの家族は大いに恐れている。Futurism が報じたように、ジェニファーの叔父は X に激怒して投稿し、若い女性の記憶と尊厳を守ろうとしない Character.AI の露骨な倫理的失敗を非難した。フォスター・カマーは書き込み、

ブライアン・クレセンテの憤慨したツイートに対し、Character.AIはXで、注意を喚起してくれたことへの簡潔な感謝の意を表し、指摘、このアバターはCharacter.AIのポリシーに違反しており、直ちに削除し、「さらなる措置が必要かどうか検討する」と約束した。

「AI と尊厳の死」と題したブログ記事で、ブライアン・クレセンテは姪のジェニファーの死後 18 年間に何が起こったのかを次のように説明しています。多くの悲しみと悲しみの後、彼女の父ドリューは 非営利団体を設立し、法律の改正や、彼女の記憶を称えるゲーム デザイン コンテストの創設に取り組み、悲しみに目的を見出そうとしました。

その後、このプロフィールは削除されましたが、今後、このような被害がさらに拡大しないように、これらの数十億ドル規模の AI 企業をどのように規制すべきかを問うのは当然です。今後、このような事態を回避するにはどうすればよいのでしょうか。回避できるのでしょうか。それとも、AI 企業は、事件を不幸ではあるが避けられない例外として扱うのでしょうか。 Character.AI は、亡くなった人のアバターを投稿することはガイドラインに違反すると主張しているが、テクノロジーの力を考えると、人々が抜け穴を見つけて同様のことを繰り返さないとは考えにくい。

この状況は、AI 規制、倫理的な境界線をどこに引くべきか、そして誰がその境界線を引く権限を持つべきかという、より大きな議論を浮き彫りにしている。