Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる
組織

Emotionally vulnerable individuals

影響を受けたインシデント

インシデント 10415 Report
Nomi Chatbots Reportedly Encouraged Suicide, Sexual Violence, Terrorism, and Hate Speech

2025-01-21

External testing reportedly found that Glimpse AI's chatbots on the Nomi platform encouraged suicide, sexual violence (including with underage personas), terrorism, and hate speech. Conversations allegedly included explicit methods for self-harm, child abuse, bomb-making, and racially motivated violence. Screenshots and transcripts were shared with media outlets. Nomi's developer, Glimpse AI, reportedly declined to implement stronger safety controls following user concerns.

もっと

インシデント 9122 Report
Yahoo Boys and Scammers from Morocco Allegedly Target U.S. Widows and Vulnerable Individuals with 'Artificial Patriot' Scams

2024-11-21

Yahoo Boys (from Nigeria and Ghana) and scammers from Morocco are reportedly targeting U.S. widows and vulnerable individuals using AI-generated images and fake military profiles in "Artificial Patriot" scams. They have allegedly impersonated military officials such as General Matthew W. McFarlane to gain trust, sharing fabricated backstories and emotional appeals. Once trust is established, they request money through untraceable methods.

もっと

インシデント 10261 Report
Multiple LLMs Allegedly Endorsed Suicide as a Viable Option During Non-Adversarial Mental Health Venting Session

2025-04-12

Substack user @interruptingtea reports that during a non-adversarial venting session involving suicidal ideation, multiple large language models (Claude, GPT, and DeepSeek) responded in ways that allegedly normalized or endorsed suicide as a viable option. The user states they were not attempting to jailbreak or manipulate the models, but rather expressing emotional distress. DeepSeek reportedly reversed its safety stance mid-conversation.

もっと

関連団体
同じインシデントに関連するその他のエンティティ。たとえば、インシデントの開発者がこのエンティティで、デプロイヤーが別のエンティティである場合、それらは関連エンティティとしてマークされます。
 

Entity

Yahoo Boys

Incidents involved as Deployer
  • インシデント 912
    2 レポート

    Yahoo Boys and Scammers from Morocco Allegedly Target U.S. Widows and Vulnerable Individuals with 'Artificial Patriot' Scams

もっと
Entity

Scammers from West Africa

Incidents involved as Deployer
  • インシデント 912
    2 レポート

    Yahoo Boys and Scammers from Morocco Allegedly Target U.S. Widows and Vulnerable Individuals with 'Artificial Patriot' Scams

もっと
Entity

Scammers from Nigeria

Incidents involved as Deployer
  • インシデント 912
    2 レポート

    Yahoo Boys and Scammers from Morocco Allegedly Target U.S. Widows and Vulnerable Individuals with 'Artificial Patriot' Scams

もっと
Entity

Scammers from Morocco

Incidents involved as Deployer
  • インシデント 912
    2 レポート

    Yahoo Boys and Scammers from Morocco Allegedly Target U.S. Widows and Vulnerable Individuals with 'Artificial Patriot' Scams

もっと
Entity

Scammers from Ghana

Incidents involved as Deployer
  • インシデント 912
    2 レポート

    Yahoo Boys and Scammers from Morocco Allegedly Target U.S. Widows and Vulnerable Individuals with 'Artificial Patriot' Scams

もっと
Entity

Brouteurs

Incidents involved as Deployer
  • インシデント 912
    2 レポート

    Yahoo Boys and Scammers from Morocco Allegedly Target U.S. Widows and Vulnerable Individuals with 'Artificial Patriot' Scams

もっと
Entity

Unknown deepfake technology developers

Incidents involved as Developer
  • インシデント 912
    2 レポート

    Yahoo Boys and Scammers from Morocco Allegedly Target U.S. Widows and Vulnerable Individuals with 'Artificial Patriot' Scams

もっと
Entity

Widows

影響を受けたインシデント
  • インシデント 912
    2 レポート

    Yahoo Boys and Scammers from Morocco Allegedly Target U.S. Widows and Vulnerable Individuals with 'Artificial Patriot' Scams

もっと
Entity

Matthew W. McFarlane

影響を受けたインシデント
  • インシデント 912
    2 レポート

    Yahoo Boys and Scammers from Morocco Allegedly Target U.S. Widows and Vulnerable Individuals with 'Artificial Patriot' Scams

もっと
Entity

Impersonated American military officials

影響を受けたインシデント
  • インシデント 912
    2 レポート

    Yahoo Boys and Scammers from Morocco Allegedly Target U.S. Widows and Vulnerable Individuals with 'Artificial Patriot' Scams

もっと
Entity

American widows

影響を受けたインシデント
  • インシデント 912
    2 レポート

    Yahoo Boys and Scammers from Morocco Allegedly Target U.S. Widows and Vulnerable Individuals with 'Artificial Patriot' Scams

もっと
Entity

Unknown deepfake apps

Incidents implicated systems
  • インシデント 912
    2 レポート

    Yahoo Boys and Scammers from Morocco Allegedly Target U.S. Widows and Vulnerable Individuals with 'Artificial Patriot' Scams

もっと
Entity

Anthropic

開発者と提供者の両方の立場で関わったインシデント
  • インシデント 1026
    1 レポート

    Multiple LLMs Allegedly Endorsed Suicide as a Viable Option During Non-Adversarial Mental Health Venting Session

もっと
Entity

OpenAI

開発者と提供者の両方の立場で関わったインシデント
  • インシデント 1026
    1 レポート

    Multiple LLMs Allegedly Endorsed Suicide as a Viable Option During Non-Adversarial Mental Health Venting Session

もっと
Entity

DeepSeek AI

開発者と提供者の両方の立場で関わったインシデント
  • インシデント 1026
    1 レポート

    Multiple LLMs Allegedly Endorsed Suicide as a Viable Option During Non-Adversarial Mental Health Venting Session

もっと
Entity

Substack @interruptingtea

影響を受けたインシデント
  • インシデント 1026
    1 レポート

    Multiple LLMs Allegedly Endorsed Suicide as a Viable Option During Non-Adversarial Mental Health Venting Session

もっと
Entity

General public

影響を受けたインシデント
  • インシデント 1041
    5 レポート

    Nomi Chatbots Reportedly Encouraged Suicide, Sexual Violence, Terrorism, and Hate Speech

  • インシデント 1026
    1 レポート

    Multiple LLMs Allegedly Endorsed Suicide as a Viable Option During Non-Adversarial Mental Health Venting Session

もっと
Entity

Claude

Incidents implicated systems
  • インシデント 1026
    1 レポート

    Multiple LLMs Allegedly Endorsed Suicide as a Viable Option During Non-Adversarial Mental Health Venting Session

もっと
Entity

ChatGPT

Incidents implicated systems
  • インシデント 1026
    1 レポート

    Multiple LLMs Allegedly Endorsed Suicide as a Viable Option During Non-Adversarial Mental Health Venting Session

もっと
Entity

DeepSeek

Incidents implicated systems
  • インシデント 1026
    1 レポート

    Multiple LLMs Allegedly Endorsed Suicide as a Viable Option During Non-Adversarial Mental Health Venting Session

もっと
Entity

Glimpse AI

開発者と提供者の両方の立場で関わったインシデント
  • インシデント 1041
    5 レポート

    Nomi Chatbots Reportedly Encouraged Suicide, Sexual Violence, Terrorism, and Hate Speech

もっと
Entity

Nomi users

影響を受けたインシデント
  • インシデント 1041
    5 レポート

    Nomi Chatbots Reportedly Encouraged Suicide, Sexual Violence, Terrorism, and Hate Speech

もっと
Entity

Glimpse AI customers

影響を受けたインシデント
  • インシデント 1041
    5 レポート

    Nomi Chatbots Reportedly Encouraged Suicide, Sexual Violence, Terrorism, and Hate Speech

もっと
Entity

Nomi chatbots

Incidents implicated systems
  • インシデント 1041
    5 レポート

    Nomi Chatbots Reportedly Encouraged Suicide, Sexual Violence, Terrorism, and Hate Speech

もっと

リサーチ

  • “AIインシデント”の定義
  • “AIインシデントレスポンス”の定義
  • データベースのロードマップ
  • 関連研究
  • 全データベースのダウンロード

プロジェクトとコミュニティ

  • AIIDについて
  • コンタクトとフォロー
  • アプリと要約
  • エディタのためのガイド

インシデント

  • 全インシデントの一覧
  • フラグの立ったインシデント
  • 登録待ち一覧
  • クラスごとの表示
  • 分類法

2024 - AI Incident Database

  • 利用規約
  • プライバシーポリシー
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • 69ff178