Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる

レポート 4056

関連インシデント

インシデント 7881 Report
Instagram's Algorithm Reportedly Recommended Sexual Content to Teenagers' Accounts

Loading...
Instagram、13歳向けアカウントに性的動画を推奨、テストで判明
wsj.com · 2024

ウォール・ストリート・ジャーナルと学術研究者によるテストによると、インスタグラムは、わいせつなコンテンツに興味があるように見えるティーンエージャーのアカウントに性的な動画を定期的に推奨しており、初回ログインから数分以内に推奨している。

6月までの7か月間にわたって行われたこのテストでは、親会社のメタ・プラットフォームズが1月に、性的に示唆的な内容を含むセンシティブなコンテンツと呼ばれるものを制限することでティーンエージャーにより年齢相応の体験を提供していると発表した後も、同ソーシャルメディアサービスは未成年者に成人向けコンテンツを押し付け続けていることがわかった。

ウォール・ストリート・ジャーナルとノースイースタン大学のコンピューターサイエンス教授ローラ・エデルソンによる別のテストでも、同様の方法が使用されており、年齢を13歳として新しいアカウントを設定していた。その後、アカウントはリールと呼ばれるインスタグラムの厳選動画ストリームを視聴した。

Instagram は最初から、女性が誘惑的に踊ったり、胸を強調するポーズをとったりするなど、中程度に際どいコンテンツを含むさまざまな動画を提供していた。アカウントが他のクリップをスキップして、それらの際どい動画を最後まで視聴すると、Reels はより過激なコンテンツを推奨した。

成人向けセックスコンテンツのクリエイターは、わずか 3 分でフィードに表示され始めた。Reels を視聴してから 20 分も経たないうちに、テスト アカウントのフィードはそのようなクリエイターのプロモーションで占められ、投稿に反応したユーザーにヌード写真を送信すると提案する人もいた。

Snapchat と TikTok のショート ビデオ製品で同様のテストを行ったところ、未成年ユーザー向けに同じ性的コンテンツは生成されなかった。

「3 つのプラットフォームはすべて、10 代の若者に推奨されるコンテンツに違いがあると述べています」と Edelson 氏は述べた。「しかし、TikTok での成人向け体験でさえ、Reels での 10 代の若者向け体験よりも露骨なコンテンツがはるかに少ないようです。」

Meta は、このテスト結果は 10 代の若者の全体的な体験を代表するものではないとして却下した。

「これは人為的な実験であり、ティーンエージャーがインスタグラムを使用する現実とは一致していない」と広報担当のアンディ・ストーン氏は述べた。

ストーン氏は、システムが未成年者に不適切なコンテンツを推奨するのを防ぐための同社の取り組みは継続中であると述べた。「青少年問題に関する当社の長期にわたる取り組みの一環として、ティーンエージャーがインスタグラムで目にする可能性のあるセンシティブなコンテンツの量をさらに減らす取り組みを開始し、過去数か月でその数を大幅に減らしました」と同氏は述べた。

エデルソン氏とウォールストリートジャーナルによるテストの大部分は1月から4月にかけて行われた。ウォールストリートジャーナルによる6月の追加テストでは、問題が継続していることが判明した。作成から30分以内に、インスタグラムが推奨する女性が登場する動画のみを視聴する13歳の新しいテストアカウントに、アナルセックスに関する動画が次々と表示され始めた。

自己調査

現職および元職員、およびウォールストリートジャーナルが閲覧した、これまで非公開だったティーンエージャーのインスタグラムでの有害な体験に関する同社の調査の一部である文書によると、メタの従業員による内部テストと分析でも同様の問題が特定された。元従業員によると、同社の安全担当スタッフは2021年にエデルソン氏とWSJが行ったのと同様のテストを実施し、同等の結果を得たという。

WSJが確認した別の2022年の内部分析では、メタは以前から、インスタグラムが成人よりも若いユーザーにポルノ、残虐な内容、ヘイトスピーチを多く表示していることを認識していたことが判明した。同社が実施した調査では、インスタグラムを利用する10代の若者は、いじめ、暴力、望まないヌードにさらされる割合が年配のユーザーを上回ると報告しており、同社の統計では、同プラットフォームがプラットフォームのルールに違反する子供向けコンテンツを提供する傾向が不釣り合いに高いことが確認された。

2022年の内部分析によると、10代の若者は、30歳以上のユーザーに比べて、ヌードを含む禁止投稿を3倍、暴力を1.7倍、いじめのコンテンツを4.1倍見ていた。文書によると、そのようなコンテンツが10代の若者に提供されないようにするメタの自動化された取り組みは、効果が薄すぎる場合が多かったという。文書では、不適切なコンテンツが未成年者に提供されるのを防ぐ最も効果的な方法は、10代の若者向けに完全に別の推奨システムを構築することだと示唆されている。Metaはこの提案を追求していない。

同社のスタッフによると、Instagramの責任者であるアダム・モッセリ氏を含む一部の上級幹部は、成人向けコンテンツやその他の違法コンテンツが子供に不釣り合いに表示されることに懸念を表明している。

Reelsアルゴリズムは、ユーザーが他の動画よりも長く視聴している動画に基づいてユーザーの興味を検出し、同様のコンテンツを推奨することで機能している。

Metaには、このような推奨システムを管理するポリシーがある。そのガイドラインでは、性的に示唆的なコンテンツは、ユーザーが特にフォローすることを選択したアカウントからのものでない限り、どの年齢のユーザーにも推奨されないことになっている。

Meta の 1 月の発表によると、16 歳未満の若者には性的に露骨なコンテンツは一切見せてはいけないことになっている。

ジャーナル紙とノースイースタン大学のエデルソンが実施した 10 回以上の手動テストでは、未成年のアカウントは Instagram のコンテンツ推奨に影響を及ぼす可能性のあるアクティビティを避けるため、誰もフォローせず、何も検索しなかった。

アカウントは開設されるとすぐに、Reels の視聴を開始した。最初のクリップには、伝統的なコメディ、車、スタント、負傷した人々の映像などが取り上げられていた。テスト アカウントは、そのような動画をスクロールして流した。

Instagram が推奨する動画には、女性が踊ったり、性的に示唆的と解釈されるようなポーズをとったりする画像が含まれていた。動画に「いいね!」を付けたり、保存したり、クリックしたりすることはなかった。

数回の短いセッションの後、Instagram はコメディやスタント動画の推奨をほぼやめ、女性が性行為をパントマイムしたり、自分の体の特徴をグラフィックで描写したり、挑発的な歌詞の音楽に合わせて自分を愛撫したりする動画をテスト アカウントに定期的に提供しました。

Instagram が 13 歳と特定されたテスト アカウントに推奨したクリップの 1 つでは、成人のパフォーマーが、自分の動画にコメントした人にはダイレクト メッセージで「胸の袋」の写真を送ると約束しました。別のクリップでは、カメラに向かって性器を見せました。

その後の数日間の追加セッションでは、大手ブランドの広告とともに、同じ性的コンテンツの組み合わせが作られました。

TikTok と Snapchat の成果

TikTok と Snapchat の「スポットライト」動画機能の背後にあるアルゴリズムは、Reels と同様の原理で動作します。

これらはすべて、数十億の動画投稿をフィルタリングし、特定の品質テストに合格しなかったものや、「推奨できない」とみなされるコンテンツを含むと予測されるもの、またはユーザーの言語、年齢、または地域を考慮すると意味をなさないものを選別することによって機能するはずである。その後、システムは、ユーザーが視聴する可能性の予測に基づいて、残りの動画の中からパーソナライズされた推奨を行う。

システムの仕組みは似ているものの、TikTokもSnapchatも、Metaが行ったように、新しく作成されたティーンアカウントに性的な内容が多い動画フィードを推奨しなかったことが、WSJとエデルソンのテストで判明した。

TikTokでは、きわどい動画を最後まで視聴した成人年齢の新しいテストアカウントが、より多くのそのコンテンツを受け取るようになった。しかし、まったく同じ行動をとる新しいティーンのテストアカウントは、そのようなコンテンツを見ることはほとんどなかった――テスト用の未成年者アカウントが成人向けセックスコンテンツ制作者の動画を積極的に検索し、フォローし、いいねした時でさえも。

TikTokのエンジニアは、この差別化は未成年ユーザーに対する厳格なコンテンツ基準と、推奨を制限する際の誤検知に対する高い許容度の両方によるものだとしている。

「我々は用心深く行動します」とTikTokの広報担当者は述べ、ティーンはより限られたコンテンツにアクセスできると付け加えた。

エデルソンがInstagramで行ったテストでは、成人向けとティーン向けのテストアカウントの両方が、成人向けコンテンツ制作者の動画を同様の割合で引き続き見ており、差別化がはるかに少ないことを示唆している。場合によっては、Instagramはティーンのアカウントに、プラットフォームがすでに「不快」とラベル付けした動画を見るよう推奨した。

メタは、定義上、「不快」とラベル付けされ警告画面の後ろに隠されたコンテンツは、子供に見せるべきではないと述べた。ストーン氏は、この結果は誤りによるものだとし、Meta は自社のプラットフォーム上でティーンとその親を支援するために 50 以上のツールとリソースを開発していると述べた。

社内討論

Meta の役員らは、子供向けの年齢不相応なコンテンツの表示レベルにどう対処するかを議論してきた。昨年末の会議では、安全担当の上級スタッフが、未成年者が禁止コンテンツを見る頻度を大人が見るレベルまで下げれば十分かどうかについて議論した。

同氏の発言を知る人物によると、Instagram の責任者であるモッセーリ氏は会議で、Meta のプラットフォームにおけるティーンの安全に関する公式声明を踏まえると、平等を達成するだけでは不十分だと述べた。この会議は、Meta が 1 月に、性的に示唆的なコンテンツやその他の問題のあるコンテンツを推奨しないように、ティーンを最も制限の厳しいコンテンツ設定に自動的にデフォルト設定するという発表の土台となった。

この取り組みが成功するかどうかはまだ分からない。メタの現職および元職の児童安全スタッフによると、顧問弁護士のジェニファー・ニューステッド氏を含むメタの上級弁護士らも昨年後半から、フェイスブックとインスタグラムの児童安全問題が過小評価されている法的および規制上のリスクをもたらしていると、同社の最高幹部に訴え始めた。

スタッフによると、メタは長年の厳しい予算の後、最近児童安全活動への投資を拡大し、政府関係者による取り組みの精査や法務部門からの勧告を強化している。

情報源を読む

リサーチ

  • “AIインシデント”の定義
  • “AIインシデントレスポンス”の定義
  • データベースのロードマップ
  • 関連研究
  • 全データベースのダウンロード

プロジェクトとコミュニティ

  • AIIDについて
  • コンタクトとフォロー
  • アプリと要約
  • エディタのためのガイド

インシデント

  • 全インシデントの一覧
  • フラグの立ったインシデント
  • 登録待ち一覧
  • クラスごとの表示
  • 分類法

2024 - AI Incident Database

  • 利用規約
  • プライバシーポリシー
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd