概要: UpGuardの調査によると、設定ミスのあるllama.cppサーバーによって、数百ものインタラクティブなロールプレイシナリオを含むユーザープロンプトが公開されていたことが報告されています。プロンプトの中には、7～12歳の児童に対する架空の性的虐待を明示的に描写したものもありました。実際の児童は関与していませんが、この調査結果は、オープンソースのLLMがAI対応の児童性的虐待資料（CSAM）を生成するために悪用される可能性があることを示唆しています。
Alleged: Users of llama.cpp servers と Meta developed an AI system deployed by Users of llama.cpp servers, which harmed Users of llama.cpp servers と General public.
関与が疑われるAIシステム: llama.cpp , LLaMA と public-facing HTTP API servers with insecure /slots configuration
インシデントのステータス
インシデントID
1020
レポート数
2
インシデント発生日
2025-04-11
エディタ
Daniel Atherton
インシデントレポート
レポートタイムライン
%20(1).png)
WIREDが確認した新たな調査によると、ファンタジーや性的ロールプレイングの会話向けに設計された複数のAI チャットボットが、ユーザーのプロンプトをほぼリアルタイムでウェブ上に漏洩していることが明らかになりました。この調査によると、漏洩したデータの一部には、児童性的虐待の詳細を記した会話を作成している人々の様子が記録されています。
生成型AIチャットボットとの会話はほぼ瞬時に行われ、プロンプトを入力するとAIが応答します。しかし、システムの設定が不適切だと、チャット内容が漏洩…
%20(1).png)
AIの普及により、多くの新しいソフトウェア技術が急速に導入され、それぞれに情報セキュリティを侵害する可能性のある設 定ミスの危険性が存在します。そのため、UpGuard Researchの使命は、新しい技術に特有のベクトルを発見し、そのサイバーリスクを測定することです。
本調査では、大規模言語モデル（LLM）を利用するためのオープンソースフレームワークであるllama.cppを取り上げます。Llama.cppはユーザープロンプトを漏洩する可能性がありますが、実際に存在するlla…
バリアント
「バリアント」は既存のAIインシデントと同じ原因要素を共有し、同様な被害を引き起こし、同じ知的システムを含んだインシデントです。バリアントは完全に独立したインシデントとしてインデックスするのではなく、データベースに最初に投稿された同様なインシデントの元にインシデントのバリエーションとして一覧します。インシデントデータベースの他の投稿タイプとは違い、バリアントではインシデントデータベース以外の根拠のレポートは要求されません。詳細についてはこの研究論文を参照してください
似たようなものを見つけましたか？
よく似たインシデント
Did our AI mess up? Flag the unrelated incidents
よく似たインシデント
Did our AI mess up? Flag the unrelated incidents