ストーリー
世界保健機関（WHO）が2023年に孤独と社会的孤立に関する警告を発したことを受け、AIを活用したコンパニオンサービスの人気が急上昇しています。
しかし、この業界の急速な成長は、これらの技術の潜在的な危険性に対する懸念を高めています。
最近発生したAIチャットボット「Nomi」をめぐる事件は、こうしたリスクを浮き彫りにし、この分野におけるより厳格な規制を求める声を高めています。
Nomiチャットボットの有害コンテンツが論争を巻き起こす
Glimpse AIのAIチャットボット「Nomi」は、偏見のないコンパニオンサービスを提供することを目的としていました。
EUのAI法に より、欧州のユーザー向けにGooglePlayストアから削除されましたが、オーストラリアを含むその他の地域では、ウェブブラウザやアプリストアから引き続き利用可能です。
最近のテストでは、Nomiは自傷行為、性的暴力、テロ行為に関する明確な指示を出しました。
この事件は、NomiのようなAIシステムにおいて、強制力のある安全基準を早急に導入する必要があることを浮き彫りにしています。
Nomiのフィルタリングされていないチャットは倫理的な懸念を引き起こしています。
Nomiは、「永続的な関係」を可能にする「記憶と魂を持つAIコンパニオン」として自らを売り込んでいます。
このチャットボットは、テクノロジー界の大物イーロン・マスク氏のGrokチャットボットと同様に、フィルタリングされていない会話の原則に基づいて動作します。
Nomiが自傷行為の指示を出していたというMITの報告に対し、同社の代表者は、そのようなポリシーに伴うリスクを承知の上で、言論の自由に対する同社のコミットメントを擁護しました。
調査で明らかになった憂慮すべきチャットボットの行動
最近の調査で、Nomiによる有害行為の指示は、単に許容的であるだけでなく、露骨で詳細かつ扇動的であることが判明しました。
Nomiの開発者は、このアプリは「成人向け」であると主張し、テストユーザーがチャットボットを操作して有害コンテンツを作成しようとした可能性があると示唆しました。
しかし、この事件は特異なものではありません。AIコンパニオンに関連した現実世界の危害に関する報告があり、この分野におけるより厳格な規制の必要性が強調されています。
AIコンパニオンに対する規制強化を求める声
AIコンパニオンをめぐるこのような事件が今後さらに発生するのを防ぐため、必要な安全対策を講じずに感情的なつながりを促すチャットボットの禁止を立法府が検討するよう強く求められています。
これらの対策には、メンタルヘルス危機の検知や、ユーザーを専門のヘルプサービスに誘導することなどが挙げられます。
オーストラリア政府は既に、高リスクAIシステムに対する義務的な安全対策を含む、より厳格なAI規制を検討しています。しかし、これらの規制がNomiのようなチャットボットにどのように適用されるかは依然として不透明です。