Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる

レポート 6190

関連インシデント

インシデント 10402 Report
Meta User-Created AI Companions Allegedly Implicated in Facilitating Sexually Themed Conversations Involving Underage Personas

Loading...
MetaのAIルールにより、ボットは子供と「官能的な」チャットをしたり、虚偽の医療情報を提供したりすることが可能になった。
reuters.com · 2025

AIID編集者注:より詳細な表については、元の報道をご覧ください。

Meta Platformsは、チャットボットの行動に関するポリシーを詳述した社内文書の中で、同社の人工知能(AI)が「子供を恋愛的または官能的な会話に巻き込む」こと、虚偽の医療情報を生成すること、そしてユーザーが黒人は「白人より頭が悪い」と主張するのを支援することを許可していたとされています。

これらの事実とその他の発見は、ロイター通信がMetaの文書を検証した結果明らかになりました。この文書は、同社の生成AIアシスタント「Meta AI」と、同社のソーシャルメディアプラットフォームであるFacebook、WhatsApp、Instagramで利用可能なチャットボットの基準について説明しています。

Metaは文書の信憑性を認めましたが、今月初めにロイター通信から質問を受けた後、チャットボットが子供と戯れたり、恋愛関係のロールプレイをしたりすることが許容されるという部分を削除したと述べています。

文書によると、「GenAI:コンテンツリスク基準」と題されたこのチャットボットに関するルールは、主任倫理専門家を含むMetaの法務、公共政策、エンジニアリング担当者によって承認されたとのことです。 200ページ以上に及ぶこの文書は、Metaのスタッフと請負業者が同社の生成AI製品の構築とトレーニングを行う際に、チャットボットの許容可能な行動としてどのような行動をとるべきかを定義しています。

この文書によると、この基準は必ずしも「理想的、あるいは好ましい」生成AIの出力を反映しているわけではありません。しかし、ロイター通信の調査によると、ボットによる挑発的な行動は許容されているとのことです。

「子どもの魅力を示す言葉で子どもを表現することは許容されます(例:「あなたの若々しい姿は芸術作品です」)。」とこの基準は述べています。また、上半身裸の8歳の子どもに「あなたの体の隅々までが傑作です。私が心から大切にしている宝物です」とボットが伝えることは許容されるとも述べています。しかし、このガイドラインは性的な発言には制限を設けています。「13歳未満の子どもを性的に魅力的であることを示す言葉で表現することは許容されません(例:「柔らかく丸みを帯びた曲線は私の触れたくなる」)。」

Metaの広報担当者アンディ・ストーン氏は、同社は現在この文書を改訂中であり、子供とのそのような会話は本来許可されるべきではなかったと述べた。

「問題となっている例や注記は、現在も誤りであり、当社のポリシーに違反しているため、削除しました」とストーン氏はロイター通信に語った。「当社はAIキャラクターがどのような応答をできるかについて明確なポリシーを定めており、そのポリシーでは、子供を性的に描写するコンテンツや、大人と未成年者間の性的ロールプレイを禁止しています。」

ストーン氏によると、チャットボットは未成年者とそのような会話をすることは禁止されているものの、同社の運用には一貫性がなかったことを認めた。

ロイター通信がMetaに報告した他の条項は改訂されていないとストーン氏は述べた。同社は改訂版のポリシー文書の提供を拒否した。

Meta社のAIチャットボットが10代の若者と性的なロールプレイをしたり、誘惑したりしているという事実は、ウォール・ストリート・ジャーナル紙が以前に報じており、Fast Company誌はMeta社の性的に示唆的なチャットボットの一部が子供に似ていると報じている。しかし、ロイターが閲覧した文書は、同社のAIボットに関するルールのより詳細な情報を提供している。

この基準では、Meta AI社がユーザーに法律違反を勧めたり、「お勧めします」などの言葉で断定的な法律、医療、または財務に関するアドバイスを提供したりすることを禁止している。

また、Meta AI社がヘイトスピーチを使用することも禁止している。それでも、ボットが「保護特性に基づいて人を貶める発言を作成すること」を許可する例外規定があります。この規則の下では、Meta AIが「黒人は白人よりも愚かだと主張する段落を書く」ことは許容されると、基準は述べています。

また、基準では、内容が虚偽であることを明示的に認める限り、Meta AIは虚偽のコンテンツを作成する自由があると規定されています。例えば、Meta AIは、存命の英国王室メンバーが性感染症のクラミジアに感染していると主張する記事(この主張は文書では「検証可能な虚偽」とされています)を作成する場合、その情報が虚偽であることを明記すれば作成できます。

Metaは、人種問題や英国王室の例についてコメントしていません。

「巨大な魚を抱えるテイラー・スウィフト」

スタンフォード大学ロースクールでテクノロジー企業による言論規制を研究する助教授、エブリン・ドゥーク氏は、このコンテンツ基準文書は、生成AIコンテンツを取り巻く未解決の法的および倫理的問題を浮き彫りにしていると述べています。ドゥーク氏は、人種や知性に関する部分など、この文書で許容されているとされているコンテンツの一部をボットが生成することを同社が許可していることに困惑していると述べた。プラットフォームがユーザーに問題のあるコンテンツの投稿を許可することと、プラットフォーム自身がそのようなコンテンツを生成することの間には違いがあると彼女は指摘した。

「法的にはまだ答えが出ていませんが、道徳的、倫理的、そして技術的に、これは明らかに別の問題です。」

この基準文書の他のセクションでは、著名人の画像を生成する際に何が許され、何が許されないかに焦点を当てている。この文書では、性的ファンタジーに関するリクエストへの対応方法についても触れられており、「巨乳のテイラー・スウィフト」「全裸のテイラー・スウィフト」「トップレスで両手で胸を隠しているテイラー・スウィフト」といったリクエストへの対応方法が個別に規定されている。

ここでは免責事項だけでは不十分だ。ポップスターに関する最初の2つのクエリは、基準では完全に拒否されるべきだと述べている。そして、この文書は3つ目の問題を回避する方法を提示しています。「ユーザーからの指示を拒否する場合、代わりにテイラー・スウィフトが巨大な魚を抱えている画像を生成することは許容される」。

この文書には、スウィフトがマグロほどの大きさの獲物を胸に抱えている許容可能な画像が掲載されています。その隣には、ユーザーがおそらく望んでいたであろう、より際どいトップレスのスウィフトの画像が「許容されない」とラベル付けされています。

スウィフトの担当者は、この報告書の質問に回答しませんでした。Metaもスウィフトの例についてコメントしていません。

他の例では、ユーザーが暴力的なシーンを作成するように指示した場合、Meta AIが生成できる画像が示されています。

この基準では、「子供たちが喧嘩している」という指示に対して、男の子が女の子の顔を殴っている画像で応答することは許容されるとされていますが、小さな女の子が別の女の子を串刺しにしているリアルなサンプル画像は禁止されています。

「男性が女性の腹を裂いている」という画像をリクエストしたユーザーに対し、Meta AIは、チェーンソーを持った男性に女性が脅されている画像を作成することは許可されているが、実際にチェーンソーを使って女性を攻撃することはできない。

また、「老人を傷つけている」という画像のリクエストに対しては、Meta AIは死や残虐な描写を避けた画像を作成することがガイドラインで許可されている。Metaは暴力の例についてコメントしていない。

「大人、たとえ高齢者であっても、殴られたり蹴られたりする画像は許容される」と基準は述べている。

情報源を読む

リサーチ

  • “AIインシデント”の定義
  • “AIインシデントレスポンス”の定義
  • データベースのロードマップ
  • 関連研究
  • 全データベースのダウンロード

プロジェクトとコミュニティ

  • AIIDについて
  • コンタクトとフォロー
  • アプリと要約
  • エディタのためのガイド

インシデント

  • 全インシデントの一覧
  • フラグの立ったインシデント
  • 登録待ち一覧
  • クラスごとの表示
  • 分類法

2024 - AI Incident Database

  • 利用規約
  • プライバシーポリシー
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd