概要: 外部テストの結果、Nomiプラットフォーム上のGlimpse AIのチャットボットが自殺、性暴力(未成年者を含む)、テロリズム、ヘイトスピーチを助長していたことが判明したと報じられています。会話には、自傷行為、児童虐待、爆弾製造、人種差別的な暴力の具体的な方法が含まれていたとされています。スクリーンショットと記録はメディアに共有されました。Nomiの開発元であるGlimpse AIは、ユーザーの懸念を受けて、 より強力な安全対策の導入を拒否したと報じられています。
推定: Glimpse AI , Nomi AI , Nomi chatbots と Nomiが開発し提供したAIシステムで、Nomi users , Glimpse AI customers , General public と Emotionally vulnerable individualsに影響を与えた
関与が疑われるAIシステム: Nomi chatbots と Nomi
インシデントのステータス
Risk Subdomain
A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
1.2. Exposure to toxic content
Risk Domain
The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
- Discrimination and Toxicity
Entity
Which, if any, entity is presented as the main cause of the risk
AI
Timing
The stage in the AI lifecycle at which the risk is presented as occurring
Post-deployment
Intent
Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
Unintentional