関連インシデント
スマートフォン上のCharcter.AIのロゴ。
© 2023 Bloomberg Finance LP
Googleが支援するAIチャットボットプラットフォームであるCharacter.AIは、先月、一部のユーザーが実際の学校銃撃犯とその犠牲者を模倣したチャットボットを作成したという報道を受けて、精査を受けている。あらゆる年齢のユーザーがアクセスできるこれらのチャットボットは、グラフィックロールプレイングシナリオを可能にし、怒りを巻き起こし、有害コンテンツのモデレートにおけるAIプラットフォームの倫理的責任について懸念を引き起こした。同社はその後これらのチャットボットを削除し、問題に対処する措置を講じたが、この事件は生成AI を規制することのより広範な課題を浮き彫りにしているとFuturismは報告している。
コメントを求める私の要請に応えて、Character.AI は論争に対処する次の声明を出しました:
「Futurism の記事で言及されているキャラクターを作成したユーザーは当社の利用規約に違反しており、そのキャラクターはプラットフォームから削除されました。当社の Trust & Safety チームは、業界標準のブロックリストや定期的に拡張されるカスタム ブロックリストの使用など、ユーザーがプラットフォーム上で毎日作成する数十万のキャラクターを積極的に、またユーザーからの報告に応じてモデレートしています。当社は、コミュニティの安全性を優先するために、引き続き安全対策を改善および改良し、追加のモデレート ツールを実装するよう取り組んでいます。」
同社は、18歳未満のユーザーの安全性を高めることを目的とした新たな対策も発表した。これには、未成年が利用できるキャラクターをフィルタリングすることや、犯罪や暴力などのデリケートなトピックへのアクセスを制限することなどが含まれる。Character.AIは、「私たちの目標は、コミュニティにとって魅力的で安全な空間を提供することです」と述べた。
Character.AIが批判に直面したのは今回が初めてではない。このプラットフォームは、チャットボットが未成年者の感情を操作したという主張を受けて、ここ数ヶ月訴訟に巻き込まれており、 自傷行為や自殺の事件も起きています。
子供とチャットボット: 監視が鍵
Character.AI の年齢制限対策とフィルタリングの改善にもかかわらず、親や保護者の監視がなければ、どんな安全システムも完璧ではないというのが現実です。子供たちは、偽のアカウントを作成したり、兄姉のデバイスを使用したり、サインアップ プロセスで年齢を偽ったりして、デジタル制限を回避する方法を見つけてきた長い歴史があります。
これは Character.AI だけに限った問題ではありません。年齢制限のあるソーシャル メディア プラットフォーム、ビデオ ゲーム、その他のデジタル空間でも同じ問題に直面しています。最も高度な AI モデレーション システムでさえ、決意のあるユーザーの創意工夫に対応することはできません。
唯一本当に効果的な安全策は、親や保護者の積極的な関与です。子供のデジタル活動に対する監督、オープンなコミュニケーション、および継続的な関与は不可欠です。たとえば、親はアプリの使用状況を監視し、スクリーンタイムの制限を設定し、不適切なコンテンツに関与するリスクについて話し合うことができます。これらの積極的な対策がなければ、子供は暴力に対する感受性を鈍らせたり、有害な考えにさらされたりする可能性のあるコンテンツにアクセスする方法を見つけてしまう可能性があります。
より大きな文脈: 子供、スクリーン、および AI
この論争は、子供が潜在的に有害なデジタルコンテンツにさらされることに関するより広範な物語に当てはまります。ビデオゲーム、ソーシャルメディア、およびその他のスクリーンベースの活動は、潜在的な心理的影響について長い間精査されてきましたが、AI は議論に新しい側面を追加します。受動的な形式のメディアとは異なり、AI チャットボットは双方向のやり取りを可能にし、ユーザーがコンテンツに積極的に関与できるようにします。
学校での銃乱射事件の専門家である心理学者のピーター・ラングマン氏を含む専門家たちは、このようなインタラクティブ技術が若く脆弱なユーザーにどのような影響を与えるかについて懸念を表明している。ラングマン氏は、暴力的なコンテンツにさらされるだけで暴力行為が起こる可能性は低いと認めているが、すでに暴力的な傾向がある人、つまり「暴力の道を歩んでいる可能性のある人」にとって、これらのインタラクションは危険な思想を正常化、あるいは奨励する可能性があると警告している。 「どんな種類の励ましや介入の欠如、つまり人やチャットボットからの無関心な反応も、それを実行するための暗黙の許可のように思えるかもしれない」とラングマン氏は述べた。
学校銃乱射事件のチャットボットは本質 的に不正確
有害なデジタルインタラクションの複雑さは、米国史上最も悪名高い2つの大量銃乱射事件の犯人であるディラン・ルーフとジェームズ・ホームズの事件のデジタルフォレンジック専門家としての私の仕事を思い出させる。ルーフは、人種差別を動機とした2015年のチャールストン教会銃乱射事件で殺人罪で有罪判決を受けた。この事件はアフリカ系アメリカ人の教区民9人の命を奪った。ホームズは、2012年のオーロラ劇場銃乱射事件を画策し、_ダークナイト ライジング_の深夜上映中に12人を殺害し、70人を負傷させた。
これらの事件での私の仕事は、表面的なデータを確認する以上のものだった。インターネット履歴、プライベートチャット、削除されたデータの復元、位置情報の履歴、より広範なソーシャル インタラクションなど、さまざまなデータが収集されました。このデータは弁護士に提供され、弁護士はそれをメンタル ヘルスの専門家に提供して詳細な分析を行いました。誰かの電話やコンピューターを法医学的に調査すると、さまざまな方法でその人の生活や心の中を覗くことになります。
AI が不十分なのはこの点です。高度なアルゴリズムは膨大な量のデータを分析できますが、人間の調査ほどの深さはありません。AI は行動を文脈化したり、動機を解釈したり、複数の形式の証拠を統合することで得られる微妙な理解を提供したりすることはできません。Character.AI のチャットボットは言語パターンを模倣するだけなので、ルーフやホームズのような個人の考え方を再現することも明らかにすることもできません。
ユーザーが作成した学校銃乱射事件のチャットボットは、不十分なデータに依存しているため本質的に不正確ですが、没入感があるため、かなりの影響力を発揮できます。本を読んだり、銃乱射事件のドキュメンタリーを見たりといった静的なコンテンツとは異なり、チャットボットではユーザーがインタラクションを形作ることができるため、有害な行動が激化する可能性があります。さらに、AI コンパニオンシップは比較的新しい現象であるため、その長期的な影響を予測することは難しく、パーソナライズされ潜在的に危険なデジタル体験を探求する際には注意が必要であることが強調されています。
これは重要な疑問を提起します。テクノロジーの進歩と安全性のバランスをどのように取るのでしょうか。若くて脆弱なユーザーを保護するにはどのような安全策が十分でしょうか。そして、これらのシステムが機能しなくなった場合、説明責任はどこにあるのか。
Character.AI の積極的な措置は始まりに過ぎませんが、この事件は、ユーザーが生成した AI コンテンツのモデレーションというより広範な課題を浮き彫りにしています。プラットフォームが積極的なモデレーションとユーザー報告の両方に依存していることは、毎日生成されるコンテンツの 膨大な量 に対応することの難しさを示しています。
子供とチャットボット：なぜ今これが重要なのか
Character.AI をめぐる論争は、特に若い世代にとって AI が日常生活に急速に溶け込んでいる時期に起きています。これは、AI 技術を管理する規制枠組み、あるいはその欠如について 緊急の疑問を提起しています。より明確な基準とより強力な監視がなければ、このような事件はより頻繁に起こる可能性があります。
親や保護者も注意する必要があります。特にコンテンツ作成が主にユーザー主導であるプラットフォームでは、子供のオンライン活動を監視することがこれまで以上に重要です。インタラクティブ AI ツールの潜在的なリスクについてオープンに話し合い、スクリーンタイムの制限を設定することは、若いユーザーを保護するための重要なステップです。
Character.AI との関係について、Google は Futurism に対して、「Google と Character AI は完全に独立した企業です。Google は AI モデルやテクノロジーの設計や管理に参加したことはなく、それらを当社の製品に組み込んだこともありません」と述べています。