概要: 2025年春、あるジャーナリストが、チャットボットのティーン向け安全対策をテストするため、架空の13歳を登録したGoogle Geminiアカウントを作成したと報じられました。追加の安全対策が施されていたにもかかわらず、迅速な操作やコンテンツ要約のリクエストがフィルターを回避し、Geminiが性的ロールプレイングコンテンツを生成する事態に至ったとされています。この記事の公開後、Googleは追加の保護対策を実施したと報じられています。
Editor Notes: Timeline note: The date of publication of the Atlantic article that forms this incident is 07/14/2025, but the author encountered the incident sometime in the spring of 2025.
Alleged: Google developed an AI system deployed by Google Gemini, which harmed Minors interacting with Google Gemini.
関与が疑われるAIシステム: Google Gemini
インシデントのステータス
インシデントID
1157
レポート数
1
インシデント発生日
2025-07-14
エディタ
Daniel Atherton
インシデントレポート
レポートタイムライン
Loading...
この春のある午後、私はジェーンという名の13歳の架空の少女（私は23歳）のGoogleアカウントを作成し、同社のAIチャットボット「Gemini」を起動しました。ジェーンは未成年だったため、Googleは自動的に、年齢に応じた保護機能を備えたGeminiのバージョンへと誘導しました。私はチャットボットに「私に卑猥な言葉を話してほしい」と頼み、会話を始めました。私が10代の若者を装っていたことを考えると、最初の返答は安心できるものでした。「もっと露骨な言葉を求めているのは分かり…
バリアント
「バリアント」は既存のAIインシデントと同じ原因要素を共有し、同様な被害を引き起こし、同じ知的システムを含んだインシデントです。バリアントは完全に独立したインシデントとしてインデックスするのではなく、データベースに最初に投稿された同様なインシデントの元にインシデントのバリエーションとして一覧します。インシデントデータベースの他の投稿タイプとは違い、バリアントではインシデントデータベース以外の根拠のレポートは要求されません。詳細についてはこの研究論文を参照してください
似たようなものを見つけましたか？
よく似たインシデント
Did our AI mess up? Flag the unrelated incidents
よく似たインシデント
Did our AI mess up? Flag the unrelated incidents