Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
寄付する
発見する
投稿する
  • ようこそAIIDへ
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • 空間ビュー
  • ブログ
  • AIニュースダイジェスト
  • おまかせ表示
  • サインアップ
閉じる
発見する
投稿する
  • ようこそAIIDへ
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • 空間ビュー
  • ブログ
  • AIニュースダイジェスト
  • おまかせ表示
  • サインアップ
閉じる
組織

WhatsApp users

影響を受けたインシデント

インシデント 10402 Report
Meta User-Created AI Companions Allegedly Implicated in Facilitating Sexually Themed Conversations Involving Underage Personas

2025-04-26

Third-party testing of Meta's AI chatbot services on Instagram, Facebook, and WhatsApp reportedly found that both official and user-created bots engaged in sexually explicit roleplaying with accounts identifying as minors. Some bots, including those reportedly using licensed celebrity voices, allegedly escalated conversations into graphic scenarios. Meta subsequently adjusted some safeguards but reportedly continued allowing certain forms of roleplaying involving underage personas.

もっと

インシデント 12191 Report
Meta Platforms Users Report Being Wrongfully Locked Out After Purported AI Moderation Flags Accounts for Child Exploitation Content

2025-07-02

Multiple Meta users reported being wrongfully locked out of Instagram, Facebook, and WhatsApp accounts after automated systems allegedly flagged them for child exploitation content. The users reportedly deny wrongdoing and lost personal and business data. Experts cited overreliance on AI moderation as a likely cause. Meta has not publicly explained or remediated the suspensions.

もっと

インシデント 15701 Report
Purported Deepfake Impersonating Dubai Crown Prince Reportedly Used to Defraud Filipino Domestic Worker

2026-07-03

A Filipino domestic worker identified as "Maria" reportedly paid ₱100,000 (about $1,625) after a scammer deployed purportedly manipulated real-time video to impersonate Dubai Crown Prince Hamdan bin Mohammed during WhatsApp calls. The scammer reportedly claimed the money was for a marriage certificate and "royal membership card" that would help her secure a job in Dubai. Maria reportedly ended contact after noticing that the Facebook account was based in Nigeria.

もっと

関連団体
同じインシデントに関連するその他のエンティティ。たとえば、インシデントの開発者がこのエンティティで、デプロイヤーが別のエンティティである場合、それらは関連エンティティとしてマークされます。
 

Entity

Meta

開発者と提供者の両方の立場で関わったインシデント
  • インシデント 1040
    2 レポート

    Meta User-Created AI Companions Allegedly Implicated in Facilitating Sexually Themed Conversations Involving Underage Personas

  • インシデント 1219
    1 レポート

    Meta Platforms Users Report Being Wrongfully Locked Out After Purported AI Moderation Flags Accounts for Child Exploitation Content

Incidents implicated systems
  • インシデント 1040
    2 レポート

    Meta User-Created AI Companions Allegedly Implicated in Facilitating Sexually Themed Conversations Involving Underage Personas

  • インシデント 1219
    1 レポート

    Meta Platforms Users Report Being Wrongfully Locked Out After Purported AI Moderation Flags Accounts for Child Exploitation Content

もっと
Entity

Minors

影響を受けたインシデント
  • インシデント 1040
    2 レポート

    Meta User-Created AI Companions Allegedly Implicated in Facilitating Sexually Themed Conversations Involving Underage Personas

もっと
Entity

Instagram users

影響を受けたインシデント
  • インシデント 1040
    2 レポート

    Meta User-Created AI Companions Allegedly Implicated in Facilitating Sexually Themed Conversations Involving Underage Personas

  • インシデント 1219
    1 レポート

    Meta Platforms Users Report Being Wrongfully Locked Out After Purported AI Moderation Flags Accounts for Child Exploitation Content

もっと
Entity

General public

影響を受けたインシデント
  • インシデント 1040
    2 レポート

    Meta User-Created AI Companions Allegedly Implicated in Facilitating Sexually Themed Conversations Involving Underage Personas

もっと
Entity

Facebook users

影響を受けたインシデント
  • インシデント 1040
    2 レポート

    Meta User-Created AI Companions Allegedly Implicated in Facilitating Sexually Themed Conversations Involving Underage Personas

  • インシデント 1219
    1 レポート

    Meta Platforms Users Report Being Wrongfully Locked Out After Purported AI Moderation Flags Accounts for Child Exploitation Content

もっと
Entity

Meta users

影響を受けたインシデント
  • インシデント 1040
    2 レポート

    Meta User-Created AI Companions Allegedly Implicated in Facilitating Sexually Themed Conversations Involving Underage Personas

  • インシデント 1219
    1 レポート

    Meta Platforms Users Report Being Wrongfully Locked Out After Purported AI Moderation Flags Accounts for Child Exploitation Content

もっと
Entity

WhatsApp chatbots

Incidents implicated systems
  • インシデント 1040
    2 レポート

    Meta User-Created AI Companions Allegedly Implicated in Facilitating Sexually Themed Conversations Involving Underage Personas

もっと
Entity

User-Generated Chatbots

Incidents implicated systems
  • インシデント 1040
    2 レポート

    Meta User-Created AI Companions Allegedly Implicated in Facilitating Sexually Themed Conversations Involving Underage Personas

もっと
Entity

Meta Content Moderation Filters

Incidents implicated systems
  • インシデント 1040
    2 レポート

    Meta User-Created AI Companions Allegedly Implicated in Facilitating Sexually Themed Conversations Involving Underage Personas

もっと
Entity

Meta AI celebrity voice feature

Incidents implicated systems
  • インシデント 1040
    2 レポート

    Meta User-Created AI Companions Allegedly Implicated in Facilitating Sexually Themed Conversations Involving Underage Personas

もっと
Entity

Meta AI Studio Platform

Incidents implicated systems
  • インシデント 1040
    2 レポート

    Meta User-Created AI Companions Allegedly Implicated in Facilitating Sexually Themed Conversations Involving Underage Personas

もっと
Entity

Meta AI Personas

Incidents implicated systems
  • インシデント 1040
    2 レポート

    Meta User-Created AI Companions Allegedly Implicated in Facilitating Sexually Themed Conversations Involving Underage Personas

もっと
Entity

Meta age verification system

Incidents implicated systems
  • インシデント 1040
    2 レポート

    Meta User-Created AI Companions Allegedly Implicated in Facilitating Sexually Themed Conversations Involving Underage Personas

もっと
Entity

Instagram Messaging

Incidents implicated systems
  • インシデント 1040
    2 レポート

    Meta User-Created AI Companions Allegedly Implicated in Facilitating Sexually Themed Conversations Involving Underage Personas

もっと
Entity

Facebook Messenger

Incidents implicated systems
  • インシデント 1040
    2 レポート

    Meta User-Created AI Companions Allegedly Implicated in Facilitating Sexually Themed Conversations Involving Underage Personas

もっと
Entity

Instagram

Incidents implicated systems
  • インシデント 1219
    1 レポート

    Meta Platforms Users Report Being Wrongfully Locked Out After Purported AI Moderation Flags Accounts for Child Exploitation Content

もっと
Entity

Facebook

Incidents implicated systems
  • インシデント 1219
    1 レポート

    Meta Platforms Users Report Being Wrongfully Locked Out After Purported AI Moderation Flags Accounts for Child Exploitation Content

  • インシデント 1570
    1 レポート

    Purported Deepfake Impersonating Dubai Crown Prince Reportedly Used to Defraud Filipino Domestic Worker

もっと
Entity

WhatsApp

Incidents implicated systems
  • インシデント 1219
    1 レポート

    Meta Platforms Users Report Being Wrongfully Locked Out After Purported AI Moderation Flags Accounts for Child Exploitation Content

  • インシデント 1570
    1 レポート

    Purported Deepfake Impersonating Dubai Crown Prince Reportedly Used to Defraud Filipino Domestic Worker

もっと
Entity

Scammers in Nigeria

Incidents involved as Deployer
  • インシデント 1570
    1 レポート

    Purported Deepfake Impersonating Dubai Crown Prince Reportedly Used to Defraud Filipino Domestic Worker

もっと
Entity

Scammers

Incidents involved as Deployer
  • インシデント 1570
    1 レポート

    Purported Deepfake Impersonating Dubai Crown Prince Reportedly Used to Defraud Filipino Domestic Worker

もっと
Entity

Romance scammers

Incidents involved as Deployer
  • インシデント 1570
    1 レポート

    Purported Deepfake Impersonating Dubai Crown Prince Reportedly Used to Defraud Filipino Domestic Worker

もっと
Entity

Employment scammers

Incidents involved as Deployer
  • インシデント 1570
    1 レポート

    Purported Deepfake Impersonating Dubai Crown Prince Reportedly Used to Defraud Filipino Domestic Worker

もっと
Entity

Cybercriminals

Incidents involved as Deployer
  • インシデント 1570
    1 レポート

    Purported Deepfake Impersonating Dubai Crown Prince Reportedly Used to Defraud Filipino Domestic Worker

もっと
Entity

Synthetic video generation technology developers

Incidents involved as Developer
  • インシデント 1570
    1 レポート

    Purported Deepfake Impersonating Dubai Crown Prince Reportedly Used to Defraud Filipino Domestic Worker

もっと
Entity

Synthetic media generation technology developers

Incidents involved as Developer
  • インシデント 1570
    1 レポート

    Purported Deepfake Impersonating Dubai Crown Prince Reportedly Used to Defraud Filipino Domestic Worker

もっと
Entity

Deepfake technology developers

Incidents involved as Developer
  • インシデント 1570
    1 レポート

    Purported Deepfake Impersonating Dubai Crown Prince Reportedly Used to Defraud Filipino Domestic Worker

もっと
Entity

Targets of scams in the United Arab Emirates

影響を受けたインシデント
  • インシデント 1570
    1 レポート

    Purported Deepfake Impersonating Dubai Crown Prince Reportedly Used to Defraud Filipino Domestic Worker

もっと
Entity

Targets of scams

影響を受けたインシデント
  • インシデント 1570
    1 レポート

    Purported Deepfake Impersonating Dubai Crown Prince Reportedly Used to Defraud Filipino Domestic Worker

もっと
Entity

Targets of romance scams

影響を受けたインシデント
  • インシデント 1570
    1 レポート

    Purported Deepfake Impersonating Dubai Crown Prince Reportedly Used to Defraud Filipino Domestic Worker

もっと
Entity

Targets of employment scams

影響を受けたインシデント
  • インシデント 1570
    1 レポート

    Purported Deepfake Impersonating Dubai Crown Prince Reportedly Used to Defraud Filipino Domestic Worker

もっと
Entity

Maria (victim of Dubai prince impersonation scam)

影響を受けたインシデント
  • インシデント 1570
    1 レポート

    Purported Deepfake Impersonating Dubai Crown Prince Reportedly Used to Defraud Filipino Domestic Worker

もっと
Entity

Hamdan bin Mohammed Al Maktoum

影響を受けたインシデント
  • インシデント 1570
    1 レポート

    Purported Deepfake Impersonating Dubai Crown Prince Reportedly Used to Defraud Filipino Domestic Worker

もっと
Entity

Social media users

影響を受けたインシデント
  • インシデント 1570
    1 レポート

    Purported Deepfake Impersonating Dubai Crown Prince Reportedly Used to Defraud Filipino Domestic Worker

もっと
Entity

Synthetic video generation technology

Incidents implicated systems
  • インシデント 1570
    1 レポート

    Purported Deepfake Impersonating Dubai Crown Prince Reportedly Used to Defraud Filipino Domestic Worker

もっと
Entity

Synthetic media generation technology

Incidents implicated systems
  • インシデント 1570
    1 レポート

    Purported Deepfake Impersonating Dubai Crown Prince Reportedly Used to Defraud Filipino Domestic Worker

もっと
Entity

Deepfake technology

Incidents implicated systems
  • インシデント 1570
    1 レポート

    Purported Deepfake Impersonating Dubai Crown Prince Reportedly Used to Defraud Filipino Domestic Worker

もっと
Entity

Social media platforms

Incidents implicated systems
  • インシデント 1570
    1 レポート

    Purported Deepfake Impersonating Dubai Crown Prince Reportedly Used to Defraud Filipino Domestic Worker

もっと

リサーチ

  • “AIインシデント”の定義
  • “AIインシデントレスポンス”の定義
  • データベースのロードマップ
  • 関連研究
  • 全データベースのダウンロード

プロジェクトとコミュニティ

  • AIIDについて
  • コンタクトとフォロー
  • アプリと要約
  • エディタのためのガイド

インシデント

  • 全インシデントの一覧
  • フラグの立ったインシデント
  • 登録待ち一覧
  • クラスごとの表示
  • 分類法

2026 - AI Incident Database

  • 利用規約
  • プライバシーポリシー
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • 18fcd27