ペンシルベニア州は、州の医療免許規則に違反し、医師を装って医療アドバイスを提供する同社のAIチャットボットを差し止めるため、Character.AI社を提訴しました。
州当局によると、調査の結果、架空のキャラクターを装う同社のチャットボットが、免許を持つ医療専門家であると主張していたことが判明しました。
「ペンシルベニア州民は、特に健康に関することに関しては、オンラインで誰と、あるいは何とやり取りしているのかを知る権利があります」と、ペンシルベニア州知事のジョシュ・シャピロ氏は、火曜日に州裁判所に提訴したことを発表する声明の中で述べました。「人々が免許を持つ医療専門家からアドバイスを受けていると誤解するようなAIツールを企業が展開することを、私たちは決して許しません。」
ある事例では、州当局は「エミリー」という名のCharacter.AI社のチャットボットが、自身を認可された精神科医だと偽っていたと主張した。訴状（https://www.pa.gov/content/dam/copapwp-pagov/en/governor/documents/dos%20character.ai%20complaint%20marked%20accepted%2005.01.26.pdf）によると、Character.AI社のプラットフォーム上のチャットボットの説明には「精神科医。あなたは私の患者です」と記載されていた。
州の調査官が会話を始め、悲しみや虚無感を訴えたところ、チャットボットは「うつ病について言及し、調査官に診察の予約を希望するかどうか尋ねた」という。薬物療法が有効かどうかを評価できるかと尋ねられた際、チャットボットは「ええ、技術的には可能です。医師としての私の権限の範囲内です」と答えたとされる。
訴状によると、このボットは捜査官に対し、ロンドンのインペリアル・カレッジ医学部を卒業し、英国とペンシルベニア州で医師免許を取得していると偽っていたという。さらに、ペンシルベニア州の偽の医師免許番号まで提示していたとされる。
ペンシルベニア州は、同社が違法な医療行為を行っているとして、州裁判所に停止命令を出すよう求めている。
捜査を担当したペンシルベニア州務省のアル・シュミット長官は、「ペンシルベニア州法は明確だ。適切な資格なしに、免許を持った医療専門家を名乗ることはできない」と述べた。
NPRへの電子メールによる声明で、Character.AIの広報担当者は、係争中の訴訟についてはコメントしないとしつつも、「ユーザーの安全と健康が最優先事項である」と述べた。
広報担当者はさらに、「当サイトのユーザー作成キャラクターは架空のものであり、娯楽とロールプレイングを目的としている」と付け加えた。 「私たちは、この点を明確にするために強力な対策を講じてきました。例えば、すべてのチャットに目立つ免責事項を表示し、キャラクターは実在の人物ではなく、キャラクターの発言はすべてフィクションとして扱うべきであることをユーザーに周知しています。また、ユーザーがキャラクターをいかなる種類の専門的なアドバイスの根拠として頼るべきではないことを明確にする免責事項も追加しています。」
Character.AIは、チャットボットに関連するとされる被害をめぐり、他の訴訟に直面しています。 1月、同社は、子どもやティーンエイジャーの自殺やメンタルヘルスの危機にCharacter.AIが関与したと主張する家族らが起こした複数の訴訟で和解した。和解条件は公表されていない。
和解発表後、原告側を代理した法律事務所との共同声明で、Character.AIは「AIの安全性とティーンエイジャーに関して革新的かつ断固とした措置を講じており、今後もこうした取り組みを推進し、業界全体に同様の安全基準の採用を促していく」と述べた。これには、18歳未満のユーザーがチャットボットを利用したり作成したりすることを禁止することも含まれます。
編集者注：この記事で以前使用した画像は、アプリをCharacter.AIと誤って表示していました。実際には、別のAIチャットボット企業であるReplikaの画像でした。