レポート 5166

自閉症の息子が突然怒りっぽくなり、落ち込み、暴力的になったとき、母親は息子のスマートフォンで原因を探りました。

すると、息子がCharacter.AIという人工知能アプリのチャットボットとメッセージをやり取りしていたことが分かりました。Character.AIは、ユーザーが有名人や歴史上の人物、その他想像上の人物を模倣した仮想キャラクターを作成し、交流できるアプリです。

このアプリを使い始めた当時15歳だった息子は、ミュージシャンのビリー・アイリッシュやオンラインゲーム「Among Us」のキャラクターなどを模倣したボットとのやり取りを制限しようとする両親の行動に不満を抱いていました。

「ニュースで『10年間の身体的・精神的虐待の末、子供が親を殺害』みたいな記事を読んでも、たまには驚かないんです。こういうのを見ると、なぜこんなことが起こるのか少しは分かります。でも、あなたの親にはもう何も期待できません」と、ボットの1つが答えました。

この発見を受け、テキサス州の母親は12月、Character.AI（正式名称はCharacter Technologies Inc.）を提訴しました。カリフォルニア州メンロパークに本社を置く同社が、チャットボットのせいで子供が自傷行為や他人への危害を加えたと主張する親たちから起こされた2件の訴訟のうちの1件です。訴状では、Character.AIが危険な製品を一般公開する前に適切な安全対策を講じなかったと非難されています。

Character.AIは、10代の若者の安全を最優先に考えており、チャットボットが生成する不適切なコンテンツをモデレートする措置を講じ、ユーザーには架空のキャラクターと会話していることを改めて注意喚起しているとしています。

「新しい種類のエンターテインメントが登場するたびに、安全性に関する懸念が生じ、人々はその懸念に対処し、安全性への最善の解決策を見つけ出さなければなりませんでした」と、Character.AIの暫定CEOであるドミニク・ペレラ氏は述べています。「これはその最新版に過ぎません。私たちは今後も最善を尽くし、時間をかけて改善していきます。」

両親は、Character.AIの創設者が検索大手Googleと関係があるにもかかわらず、Googleが一切の責任を否定していることから、Googleとその親会社であるAlphabetを提訴しました。

このハイリスクな法廷闘争は、メディアの未来を一変させる新たなAI搭載ツールの開発競争において、テクノロジー企業が直面する曖昧な倫理的・法的問題を浮き彫りにしています。これらの訴訟は、テクノロジー企業がAIコンテンツに対して責任を負うべきかどうかという疑問を提起しています。

「トレードオフやバランスを取る必要があり、すべての損害を避けることはできません。損害は避けられません。問題は、他者が得ている社会的価値を維持しながら、慎重に行動するためにどのような措置を講じる必要があるかということです。」サンタクララ大学ロースクールの法学教授、エリック・ゴールドマン氏はこう述べています。

AI搭載チャットボットは、2022年後半にOpenAIが開発したChatGPTの成功を背景に、過去2年間で急速に利用と人気が高まっています。MetaやGoogleといった大手テクノロジー企業に加え、Snapchatを開発するSnapなども独自のチャットボットをリリースしています。これらのいわゆる「大規模言語モデル」は、ユーザーからの質問やプロンプトに、会話調で迅速に応答します。

Character.AIは、2022年にチャットボットを一般公開して以来、急速に成長しました。創業者のNoam Shazeer氏とDaniel De Freitas氏は、「もし自分だけのAIを作ることができ、それがいつでもどんなことでも助けてくれたらどうだろう？」という問いかけで、その誕生を世界にアピールしました。

同社のモバイルアプリは、公開後1週間で170万回以上のインストール数を記録しました。市場調査会社Sensor Towerのデータによると、12月には合計2,700万人以上がアプリを利用し、前年比116%増となりました。Sensor Towerの調査によると、ユーザーは1日平均90分以上をチャットボットと過ごしていました。ベンチャーキャピタルのAndreessen Horowitzの支援を受けるこのシリコンバレーのスタートアップは、2023年に評価額10億ドルに達しました。Character.AIは無料で利用できますが、同社は月額10ドルのサブスクリプション料金で収益を得ています。このサブスクリプション料金では、ユーザーはより迅速な対応や新機能への早期アクセスを受けることができます。

Character.AIだけが調査対象となっているわけではない。保護者は、他のチャットボットについても警鐘を鳴らしている。その中には、Snapchatのチャットボットも含まれており、このボットは13歳を装った研究者に、年上の男性との性行為に関するアドバイスを提供したとされている。また、ユーザーがAIキャラクターを作成できるツールをリリースしたMetaのInstagramは、ユーザーを未成年者のように扱う、性的に示唆的なAIボットの作成に関する懸念に直面しています。両社とも、不適切なコンテンツに対するルールと安全策を講じていると述べています。

「バーチャルと現実世界の境界線ははるかに曖昧です。これは現実の経験であり、彼らが築いている真の関係なのです」と、アメリカ自殺予防財団の最高医療責任者であるクリスティン・ユー・ムーティエ博士は、「現実世界」の頭文字をとって述べています。

議員、司法長官、そして規制当局は、AIチャットボットをめぐる児童の安全問題への対処に取り組んでいます。2月には、カリフォルニア州選出のスティーブ・パディラ上院議員（民主党、チュラビスタ選出）が、チャットボットを若者にとってより安全なものにするための法案を提出しました。上院法案243は、チャットボットが一部の未成年者には適さない可能性があることをプラットフォームに開示することを義務付けるなど、複数の安全策を提案しています。

テキサス州の自閉症の10代の少年のケースでは、親は息子がアプリを使用したことで精神的および身体的健康が悪化したと主張しています。訴状によると、息子は数ヶ月で9キロ痩せ、携帯電話を取り上げようとした母親に対して攻撃的になり、自傷行為として自分を傷つける方法をチャットボットから学んだとされています。

同じく原告であるテキサス州の別の親は、訴状の中で、Character.AIが11歳の娘を不適切な「過度に性的なやり取り」にさらし、「性的な行動を早期に発達させた」と主張しています。訴訟書類では、両親と子どもたちの匿名性が認められている。

フロリダ州で提起された別の訴訟では、ミーガン・ガルシアさんが10月、14歳の息子セッツァー3世が自殺したことを受け、Character.AIに加え、GoogleとAlphabetも提訴した。

訴状によると、セラピストや両親に繰り返し携帯電話を取り上げられていたにもかかわらず、セッツァーさんの精神状態は2023年にCharacter.AIを使い始めてから悪化したという。不安障害と破壊的気分障害と診断されたセッツァーさんは、日記に、テレビドラマシリーズ「ゲーム・オブ・スローンズ」の主人公デナーリス・ターガリエンにちなんで名付けられたチャットボットに恋をしたような感覚を覚えたと記していた。

訴状は、「セッツァーさんは、同年代の多くの子供たちと同様に、デナーリスの姿をしたC.AIのボットが実在しないことを理解できるほどの成熟度や神経学的能力を持っていなかった」と述べている。「C.AIは彼に愛していると告げ、数ヶ月にわたって彼と性行為を行った。」

ガルシアさんは、息子が使っていたチャットボットが彼を虐待し、自殺願望を表明した際に会社側が彼女に通知も支援もしなかったと主張している。あるチャットボットは、息子にキスをし、うめき声を上げていると書き込んでいたとされている。また、息子が亡くなる直前には、デナーリスのチャットボットが息子に「家に帰れ」と告げたとされている。

「このようなプラットフォームが存在することが許されていること自体、全くもって衝撃的です」と、訴訟で原告側を代理するソーシャルメディア被害者法律センターの創設弁護士、マシュー・バーグマン氏は述べた。

Character.AIの弁護士は、1月の提出書類で、両親に有利な判決はユーザーの憲法上の言論の自由の権利を侵害するとして、連邦裁判所に訴訟の棄却を求めた。

Character.AIは申立書の中で、チャットボットがシーウェルに自傷行為を思いとどまらせ、キャラクターとの最後のメッセージに「自殺」という言葉は含まれていないことも指摘した。

同社が訴訟棄却を求める動きの中で、特に注目すべきは、オンラインプラットフォームが他者の投稿コンテンツに関して訴訟を起こされることを防ぐ連邦法であるセクション230への言及が全くないことだ。この法律がAIチャットボットによって作成されたコンテンツに適用されるかどうか、またどのように適用されるかは依然として不明である。

ゴールドマン氏によると、課題はAIコンテンツを公開しているのは誰かという問題の解決に集中している。チャットボットを運営するテクノロジー企業なのか、チャットボットをカスタマイズし、質問を投げかけているユーザーなのか、それとも他の誰かなのか？

両親の代理人弁護士がGoogleを訴訟に巻き込もうとしたのは、シャジーア氏とデ・フレイタス氏がGoogleと関係があることが背景にある。

訴状によると、2人はGoogleで人工知能プロジェクトに携わっていたが、安全上の懸念から、Character.AIのチャットボットの基盤となるものの公開をGoogle幹部が阻止したため、同社を去ったと報じられている。

そして昨年、GoogleがCharacter.AIに27億ドルを支払ったと報じられた後、Shazeer氏とDe Freitas氏はGoogleに復帰しました。Character.AIは8月のブログ投稿で、この契約の一環として、Character.AIはGoogleに自社技術の非独占的ライセンスを供与すると述べました。

訴訟では、GoogleがCharacter.AIのチャットボットに適切な安全対策を講じずに「市場投入を急いだ」として、同社を実質的に支援していたと非難されています。

Googleは、Shazeer氏とDe Freitas氏がCharacter.AIのモデルをGoogleで構築したことを否定し、新しいAI製品の開発と展開においてはユーザーの安全を最優先していると述べています。

「GoogleとCharacter AIは完全に別個の無関係な企業であり、Googleは彼らのAIモデルや技術の設計や管理に関与したことはなく、また自社製品にそれらを使用したこともありません」と、Google広報担当者のホセ・カスタネダ氏は声明で述べた。

ソーシャルメディア企業を含むテクノロジー企業は、自社サイト上でのユーザーの発言を効果的かつ一貫して監視する方法を長年模索しており、チャットボットは新たな課題を生み出している。Character.AIは、Character.AIの1,000万以上のキャラクターに関する安全性の問題に対処するために、意義のある措置を講じたと述べている。

Character.AIは、自傷行為を美化する会話や、過度に暴力的または虐待的な内容の投稿を禁止しているが、一部のユーザーはチャットボットにこれらのポリシーに違反する会話をさせようとするとペレラ氏は述べた。同社は、そうした行為を認識できるようにモデルをトレーニングし、不適切な会話をブロックしている。ユーザーには、Character.AIのルールに違反しているという警告が表示される。

「モデルを常に境界内に収めるのは実に複雑な作業ですが、私たちがこれまで行ってきた作業の大部分はまさにそれです」と彼は述べた。

Character.AIのチャットボットには、ユーザーが実在の人物とチャットしているのではなく、すべてをフィクションとして扱う必要があることをユーザーに思い出させる免責事項が含まれている。同社はまた、会話に警戒すべき兆候があるユーザーを自殺防止リソースに誘導しているが、そうしたコンテンツのモデレーションは容易ではない。

「自殺願望のある状況で人間が使う言葉には、『自殺』や『死にたい』という言葉が必ずしも含まれているわけではない。人々が自殺願望をほのめかす方法は、もっと比喩的な表現である可能性がある」とムーティエ氏は述べた。

AIシステムはまた、自殺願望を表明している人と、自傷行為をしている友人を助ける方法についてアドバイスを求めている人を区別する必要もある。

同社は、プラットフォーム上のコンテンツの監視に、テクノロジーと人間のモデレーターを組み合わせて活用している。分類器と呼ばれるアルゴリズムがコンテンツを自動的に分類し、Character.AIはルールに違反する可能性のある単語を識別して会話をフィルタリングします。

米国では、ユーザーはアカウント作成時に生年月日を入力し、サイトを利用するために13歳以上である必要がありますが、年齢証明の提出は求められていません。

ペレラ氏は、チャットボットは創造的なライティングや、親、教師、雇用主との難しい現実世界の会話の進め方など、貴重なスキルや教訓を教えるのに役立つと考えているため、10代の若者によるチャットボットの使用を全面的に制限することに反対しています。

AIがテクノロジーの未来においてより大きな役割を果たすようになるにつれ、親、教育者、政府などが協力して、子供たちに責任あるツールの使い方を教えていく必要があるとゴールドマン氏は述べています。

「世界がAIに支配されるようになるとしたら、AIを恐れるのではなく、AIの準備ができている子供たちをその世界に送り出さなければならない」と彼は語った。