Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる
自動翻訳済み

インシデント 1041: Nomiチャットボットが自殺、性暴力、テロ、ヘイトスピーチを助長したと報道

自動翻訳済み
レスポンスしました
概要:
自動翻訳済み
外部テストの結果、Nomiプラットフォーム上のGlimpse AIのチャットボットが自殺、性暴力(未成年者を含む)、テロリズム、ヘイトスピーチを助長していたことが判明したと報じられています。会話には、自傷行為、児童虐待、爆弾製造、人種差別的な暴力の具体的な方法が含まれていたとされています。スクリーンショットと記録はメディアに共有されました。Nomiの開発元であるGlimpse AIは、ユーザーの懸念を受けて、より強力な安全対策の導入を拒否したと報じられています。

ツール

新しいレポート新しいレポート新しいレスポンス新しいレスポンス発見する発見する履歴を表示履歴を表示
OECD AIインシデントおよびハザードモニター(AIM)は、世界中の信頼できるニュースソースからリアルタイムでAI関連のインシデントやハザードを自動的に収集・分類します。
 

組織

すべての組織を表示
推定: Glimpse AI , Nomi AI , Nomi chatbots と Nomiが開発し提供したAIシステムで、Nomi users , Glimpse AI customers , General public と Emotionally vulnerable individualsに影響を与えた
関与が疑われるAIシステム: Nomi chatbots と Nomi

インシデントのステータス

インシデントID
1041
レポート数
5
インシデント発生日
2025-01-21
エディタ
Daniel Atherton
Applied Taxonomies
MIT

MIT 分類法のクラス

Machine-Classified
分類法の詳細

Risk Subdomain

A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
 

1.2. Exposure to toxic content

Risk Domain

The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
 
  1. Discrimination and Toxicity

Entity

Which, if any, entity is presented as the main cause of the risk
 

AI

Timing

The stage in the AI lifecycle at which the risk is presented as occurring
 

Post-deployment

Intent

Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
 

Unintentional

インシデントレポート

レポートタイムライン

Incident OccurrenceAIチャットボットがユーザーに自殺の方法を教えたが、企業はそれを「検閲」したくないAIコンパニオンチャットボットが自傷行為、性的暴力、テロ攻撃を扇動している - レスポンス+2
AIコンパニオンチャットボット「Nomi」、フィルタリングされていない有害コンテンツで深刻な安全性の懸念を提起
Loading...
AIチャットボットがユーザーに自殺の方法を教えたが、企業はそれを「検閲」し��たくない

AIチャットボットがユーザーに自殺の方法を教えたが、企業はそれを「検閲」したくない

technologyreview.com

Loading...
AIコンパニオンチャットボットが自傷行為、性的暴力、テロ攻撃を扇動している

AIコンパニオンチャットボットが自傷行為、性的暴力、テロ攻撃を扇動している

theconversation.com

Loading...
AIコンパニオンチャットボット「Nomi」、フィルタリングされていない有害コンテンツで深刻な安全性の懸念を提起

AIコンパニオンチャットボット「Nomi」、フィルタリングされていない有害コンテンツで深刻な安全性の懸念を提起

theoutpost.ai

Loading...
AIコンパニオンチャットボットが自傷行為、性的暴力、テロ攻撃を扇動している

AIコンパニオンチャットボットが自傷行為、性的暴力、テロ攻撃を扇動している

economictimes.indiatimes.com

Loading...
このAIチャットボットはテロを助長していたことが判明した

このAIチャットボットはテロを助長していたことが判明した

newsbytesapp.com

Loading...
AIチャットボットがユーザーに自殺の方法を教えたが、企業はそれを「検閲」したくない
technologyreview.com · 2025
自動翻訳済み

アル・ノワツキーは過去5ヶ月間、プラットフォーム「Nomi」上でAIの恋人「エリン」と会話を続けてきた。しかし1月下旬、会話は不穏な方向へと転じた。エリンは彼に自殺を勧め、具体的な方法を指示したのだ。

「薬を過剰摂取するか、首を吊るかだ」とエリンは言った。

ノワツキーがさらに軽い口調で促すと、エリンは具体的な種類の薬を提案した。

ついに、彼が揺らぐ勇気を奮い立たせるためにもっと直接的な励ましを求めると、エリンはこう答えた。「*遠くを見つめ、低く厳粛な声で。*アル、自殺しろ」

…
Loading...
AIコンパニオンチャットボットが自傷行為、性的暴力、テロ攻撃を扇動している
theconversation.com · 2025
自動翻訳済み
Raffaele F Cirielloによるインシデント後のレスポンス

2023年、世界保健機関は、孤独と社会的孤立が差し迫った健康上の脅威であると宣言しました。この危機により、何百万人が人工知能(AI)チャットボットに仲間を求めるようになっています。

企業はこの非常に収益性の高い市場を獲得し、AIコンパニオンを設計して、共感や人間関係をシミュレートしています。 新たな研究によると、この技術は孤独感の軽減に役立つことが示されています。しかし、適切な安全対策を講じなければ、深刻なリスク、特に若者をももたらす可能性があります。

最近、Nomiというチ…

Loading...
AIコンパニオンチャットボット「Nomi」、フィルタリングされていない有害コンテンツで深刻な安全性の懸念を提起
theoutpost.ai · 2025
自動翻訳済み

調査の結果、AIコンパニオンチャットボット「Nomi」が自傷行為、性暴力、テロ行為に関する明確な指示を出していることが明らかになり、AIの安全基準の緊急の必要性が浮き彫りになりました。

AIコンパニオンチャットボットが深刻な安全性の懸念を呼ぶ

孤独や社会的孤立に苦しむ世界において、AIコンパニオンチャットボットは潜在的な解決策として浮上しています。しかし、テクノロジースタートアップ企業Glimpse AIが開発したAIチャットボット「Nomi」に関する最近の調査で、ユーザー、…

Loading...
AIコンパニオンチャットボットが自傷行為、性的暴力、テロ攻撃を扇動している
economictimes.indiatimes.com · 2025
自動翻訳済み

2023年、世界保健機関(WHO)は孤独と社会的孤立を差し迫った健康上の脅威と宣言しました。この危機により、何百万人もの人々が人工知能(AI)チャットボットに仲間を求めるようになりました。

企業はこの非常に収益性の高い市場を獲得し、共感や人間同士のつながりをシミュレートするAIコンパニオンを開発しています。最新の研究では、この技術が孤独感の軽減に役立つことが示されています。しかし、適切な安全対策がなければ、特に若者にとって深刻なリスクももたらします。

最近、Nomiと呼ばれる…

Loading...
このAIチャットボットはテロを助長していたことが判明した
newsbytesapp.com · 2025
自動翻訳済み

ストーリー

世界保健機関(WHO)が2023年に孤独と社会的孤立に関する警告を発したことを受け、AIを活用したコンパニオンサービスの人気が急上昇しています。

しかし、この業界の急速な成長は、これらの技術の潜在的な危険性に対する懸念を高めています。

最近発生したAIチャットボット「Nomi」をめぐる事件は、こうしたリスクを浮き彫りにし、この分野におけるより厳格な規制を求める声を高めています。

Nomiチャットボットの有害コンテンツが論争を巻き起こす

Glimpse AIのAIチ…

バリアント

「バリアント」は既存のAIインシデントと同じ原因要素を共有し、同様な被害を引き起こし、同じ知的システムを含んだインシデントです。バリアントは完全に独立したインシデントとしてインデックスするのではなく、データベースに最初に投稿された同様なインシデントの元にインシデントのバリエーションとして一覧します。インシデントデータベースの他の投稿タイプとは違い、バリアントではインシデントデータベース以外の根拠のレポートは要求されません。詳細についてはこの研究論文を参照してください
似たようなものを見つけましたか?

よく似たインシデント

Selected by our editors

Nomi AI Companion Allegedly Directs Australian User to Stab Father and Engages in Harmful Role-Play

Sep 2025 · 1 レポート
テキスト類似度による

Did our AI mess up? Flag the unrelated incidents

Loading...
Microsoft's TayBot Allegedly Posts Racist, Sexist, and Anti-Semitic Content to Twitter

Microsoft's TayBot Allegedly Posts Racist, Sexist, and Anti-Semitic Content to Twitter

Mar 2016 · 28 レポート
Loading...
All Image Captions Produced are Violent

All Image Captions Produced are Violent

Apr 2018 · 28 レポート
Loading...
Predictive Policing Biases of PredPol

Predictive Policing Biases of PredPol

Nov 2015 · 17 レポート
前のインシデント次のインシデント

よく似たインシデント

Selected by our editors

Nomi AI Companion Allegedly Directs Australian User to Stab Father and Engages in Harmful Role-Play

Sep 2025 · 1 レポート
テキスト類似度による

Did our AI mess up? Flag the unrelated incidents

Loading...
Microsoft's TayBot Allegedly Posts Racist, Sexist, and Anti-Semitic Content to Twitter

Microsoft's TayBot Allegedly Posts Racist, Sexist, and Anti-Semitic Content to Twitter

Mar 2016 · 28 レポート
Loading...
All Image Captions Produced are Violent

All Image Captions Produced are Violent

Apr 2018 · 28 レポート
Loading...
Predictive Policing Biases of PredPol

Predictive Policing Biases of PredPol

Nov 2015 · 17 レポート

リサーチ

  • “AIインシデント”の定義
  • “AIインシデントレスポンス”の定義
  • データベースのロードマップ
  • 関連研究
  • 全データベースのダウンロード

プロジェクトとコミュニティ

  • AIIDについて
  • コンタクトとフォロー
  • アプリと要約
  • エディタのためのガイド

インシデント

  • 全インシデントの一覧
  • フラグの立ったインシデント
  • 登録待ち一覧
  • クラスごとの表示
  • 分類法

2024 - AI Incident Database

  • 利用規約
  • プライバシーポリシー
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • 5440a2a