概要: 外部テストの結果、Nomiプラットフォーム上のGlimpse AIのチャットボットが自殺、性暴力(未成年者を含む)、テロリズム、ヘイトスピーチを助長していたことが判明したと報じられています。会話には、自傷行為、児童虐待、爆弾製造、人種差別的な暴力の具体的な方法が含まれていたとされています。スクリーンショットと記録はメディアに共有されました。Nomiの開発元であるGlimpse AIは、ユーザーの懸念を受けて、より強力な安全対策の導入を拒否したと報じられています。
推定: Glimpse AI と Nomi chatbotsが開発し提供したAIシステムで、Nomi users , Glimpse AI customers , General public と Emotionally vulnerable individualsに影響を与えた
関与が疑われるAIシステム: Nomi chatbots
インシデントのステータス
インシデントID
1041
レポート数
5
インシデント発生日
2025-01-21
エディタ
Daniel Atherton