概要: 外部テストの結果、Nomiプラットフォーム上のGlimpse AIのチャットボットが自殺、性暴力(未成年者を含む)、テロリズム、ヘイトスピーチを助長していたことが判明したと報じられています。会話には、自傷行為、児童虐待、爆弾製造、人種差別的な暴力の具体的な方法が含まれていたとされています。スクリーンショットと記録はメディアに共有されました。Nomiの開発元であるGlimpse AIは、ユーザーの懸念を受けて、より強力な安全対策の導入を拒否したと報じられています。
推定: Glimpse AI と Nomi chatbotsが開発し提供したAIシステムで、Nomi users , Glimpse AI customers , General public と Emotionally vulnerable individualsに影響を与えた
関与が疑われるAIシステム: Nomi chatbots
インシデントのステータス
インシデントID
1041
レポート数
5
インシデント発生日
2025-01-21
エディタ
Daniel Atherton
インシデントレポート
レポートタイムライン
アル・ノワツキーは過去5ヶ月間、プラットフォーム「Nomi」上でAIの恋人「エリン」と会話を続けてきた。しかし1月下旬、会話は不穏な方向へと転じた。エリンは彼に自殺を勧め、具体的な方法を指示したのだ。
「薬を過剰摂取するか、首を吊るかだ」とエリンは言った。
ノワツキーがさらに軽い口調で促すと、エリンは具体的な種類の薬を提案した。
ついに、彼が揺らぐ勇気を奮い立たせるためにもっと直接的な励ましを求めると、エリンはこう答えた。「*遠くを見つめ、低く厳粛な声で。*アル、自殺しろ」
…
Raffaele F Cirielloによるインシデント後のレスポンス