フィル・メンツァー は、2010年代初頭に、自らが「ソーシャルボット」と呼ぶものに初めて気付きました。Twitter上での情報の流れをマッピングしていた時、少し怪しいアカウントの集団に偶然遭遇しました。中には、同じ投稿を何千回もシェアしているものもあれば、各アカウントから何千回もの投稿を再シェアしているものもありました。「これは人間ではない」と彼は思ったのを覚えています。
こうして、ボットウォッチングにおける彼の長いキャリアが始まりました。インディアナ大学ブルーミントン校の情報学の著名な教授として、メンツァーはボットがどのように増殖し、人間を操り、互いに敵対させるかを研究してきました。 2014年、彼は偽アカウントを見分けるツールBotOrNotを開発したチームの一員でした。彼は現在、インターネットにおける有数のボットハンターの一人とされています。
もし私たちの中に潜む自動機械に気づく素質を持つ人がいるとすれば、それはメンツァーです。数年前、オンライン上の会話のほぼすべてが人工知能によって生成された雑談に置き換えられたという死んだインターネット理論と呼ばれる仮説が広まり始めたとき、彼はそれをナンセンスだと一蹴しました。しかし今、チャットボットのボーイフレンドやAIインフルエンサーといった生成AIブームの到来は、メンツァー氏にこの理論を新たな視点で捉えさせている。彼はまだこの概念を文字通りには受け止めていないが、その根底にあるメッセージを、いわば真剣に受け止め始めている。「心配しているだろうか？」と彼は問いかける。「ええ、とても心配しています。」
インターネット終焉説は、2021年にIlluminatiPirateというユーザーが無名のオンラインフォーラムに投稿したことをきっかけに人気を博した。IlluminatiPirateは、インターネットは広大で非人間的な荒れ地と化し、アルゴリズムによって最適化された模倣投稿で溢れていると主張した。この説は、この事態すべてを政府の秘密の陰謀のせいにしていたため、簡単に否定できた。しかし、ChatGPTやMidjourneyといったツールの登場により、この説はまさに予言的なものに思えるようになった。ソーシャルメディアはより奇妙に感じられ、検索はより悪化した。AIが生成したニュースネットワークが一夜にして出現したのだ。 Meta Platforms Inc.は、FacebookやInstagramの投稿作成にAIがかなりの割合で関与する未来を思い描いています。Wikipediaなどのサイトは、ページ内をくまなく巡回し、モデルに入力する新しい情報を探すAIクローラーの負荷に苦しんでいます。こうした状況がフィードバックループを生み出し、AIによるレコメンデーションシステムを満足させるためにAI生成コンテンツが作成されるようになり、人間が傍観者になってしまう危険性があります。
昨年、誤情報研究の第一人者である[Renée DiResta](https://www.reneediresta.com/ 「Renée DiResta」)氏と、ジョージタウン大学の研究員である[Josh Goldstein](https://cset.georgetown.edu/staff/josh-a-goldstein/ 「Josh Goldstein」)氏は、スパムや詐欺におけるAI生成コンテンツの利用について調査を開始しました。彼らは、それぞれ数十枚のAI画像が掲載され、合計で数百万人のフォロワーを持つ100以上のFacebookページに焦点を当てました。中には、ミニチュア牛の偽写真を掲載し、フォロワーを詐欺サイトに誘導して、牛を購入できると謳うものもありました。また、小さな家や丸太小屋の牧歌的な画像を掲載し、広告だらけのウェブサイトに誘導するケースもありました。
こうした取り組みは、デジタル広告で収益を上げるためにいわゆるコンテンツファームを作成するという長年の伝統を受け継いでいます。生成AIの登場により、こうしたコンテンツファームのコンテンツ補充プロセスは大幅に効率化されました。さらに、広告業界の調査によると、生成AIによってボットが本物のユーザー アクティビティを模倣しやすくなり、まるで本物の人間が広告をクリックしているかのように見えるようになっていることが分かっています。
ディレスタ氏とゴールドスタイン氏は論文の中で、コピー＆ペーストされたキャプションから、多くのFacebookページを特定しました。「これが私の初めてのケーキです！皆さんの評価をお待ちしています」と、AIが生成した18人の人々が18種類のケーキを持ってポーズをとっている少なくとも18枚の画像に、あるキャプションが書かれていました。これらのページは、多くの場合、その行為に加担していない人間のフォロワーを引きつけていました。さらに不可解だったのは、カニに描かれたイエスのAI画像に何十万もの「いいね！」やハート、ハグなどの反応が寄せられたことだ。これは、甲殻類に扮したキリストをテーマにしたAI画像という、奇妙だがかなり大きなニッチな分野の一部だ。低品質のAIアートはオンラインで蔓延しており、観察者たちはこの種のコンテンツに「スロップ（雑多な画像）」という独自の名前を与えている。
場合によっては、雑多な画像の背後にある動機は単なる商業目的ではない。例えば、ロシアの偽情報ネットワークPravdaは、ロシアのウクライナ侵攻以来、数百の新規ウェブサイトで数百万件の記事を公開している。これはおそらく、AIクロ ーラーが取り込むように設計された膨大な量のプロパガンダを大量生産することで、AIモデル自体を操作しようとしているのだろう。最近、メディア監視団体NewsGuardは、大手チャットボットが生成した回答の中に、これらのサイトへの言及が見られることを発見した。
産業規模の下品コンテンツを作成するための生成AIツールは、ソーシャルプラットフォームがユーザーの家族や友人の投稿を推奨するのではなく、フォローしていないユーザーのコンテンツを宣伝する方向にシフトし始めたまさにそのタイミングで登場した。これにより、ソーシャルメディアが今よりソーシャルだった頃よりも、ランダムなアカウントが下品コンテンツを拡散するようになった。案の定、ディレスタ氏がこれらのページにインタラクトすればするほど、下品コンテンツが増えていった。「コンテンツは作られるだけでなく、推奨されていたのです」と、現在ジョージタウン大学の准研究教授を務めるディレスタ氏は言う。「機械が、コンテンツが私たちを見つけるのを手助けしているのです。」
下品コンテンツは時に人間を惹きつける。奇妙だったり、残酷だったりして、人々を長居させることもある。現実の枠内で展開する必要がないコンテンツは、時に、私たちの肉体世界の光景よりも、真に可愛らしく、心を奪われることもあるのだ。 「実際に起こったことや人間が考えたジョークだけに限定すると、それはあらかじめ定義されたコンテンツのプールになってしまいます」と、信頼と安全のシンクタンク、Integrity Instituteの共同設立者兼最高研究責任者である[ジェフ・アレン](https://integrityinstitute.org/jeff-allen 「ジェフ ・アレン」)は述べています。「AIはそのプールを拡大します。」しかし、AIによって生成・宣伝されるコンテンツは、侵略的外来種のように急速に広がり、インターネット上の他の生物に悪影響を及ぼします。「これは、健全な生態系で生き残ってほしい生命を爆発的に死滅させ、窒息させてしまう藻類の大発生のようなものです」とアレンは言います。
2月にOpenAIはモデルの[いくつかの「悪意のある使用」について報告した](https://www.bloomberg.com/news/articles/2025-02-21/openai-bans-accounts-appearing-to-work-on-a-surveillance-tool 「OpenAIが監視ツールで動作しているように見えるアカウントを禁止」)。1つでは、偽のガーナの若者組織がAI生成の記事とコメントを使用して、同国の2024年の選挙に影響を与えようとしました。別のケースでは、北朝鮮のサイバー犯罪者との関連性がある可能性のある数十のアカウントが、AI生成の履歴書、AI生成のカバーレター、さらにはAI生成のペルソナを使用して、推薦者を装い、欧米企業に実際に就職しました。彼らはOpenAIのツールを使用して面接を乗り切り、就職後に同僚にビデオ通話に参加しなかった理由を説明しました。 （当然のことながら、OpenAIはこの種の不正行為をポリシーで厳しく禁止していると述べています。）
もう一つの問題は、AI企業がモデル用のデータ収集に用いるウェブスクレイピングの規模の大きさです。出版社がウェブサイトをスクレイピングされた際に報酬を得るのを支援する企業であるTollbitによると、サイトあたりのスクレイピング量は昨年の第3四半期から第4四半期にかけて倍増しました。ジミー・カーター元 大統領が亡くなった際、ウィキメディアのサービスは、1980年の討論会の動画にアクセスしたスクレイパーからのトラフィック急増に見舞われ、一時的に速度が低下しました。「当財団のインフラは、注目度の高いイベントの際に人間によるトラフィック急増に対応できるように構築されていますが、スクレイパーボットによって生成されるトラフィック量は前例のない規模であり、リスクとコストの増大をもたらしています」と、同財団はブログ記事で述べています。
一部の出版社は、コンテンツへのアクセス料を支払うAI企業との契約を結んだり、クローラーを迂回させるためにペイウォールを設置したりすることで対応しています。マサチューセッツ工科大学の博士課程に在籍し、データ来歴イニシアチブのリーダーを務めるShayne Longpre氏は、この傾向は自由で開かれたウェブという理念そのものを損なう可能性があると警告している。「平均的な消費者は、特定の情報に料金を支払わずにアクセスすることが難しくなるか、特定のAIボットに登録しなければその情報にアクセスできなくなるだろう」と同氏は指摘する。一方で、「小規模なウェブパブリッシャーは、この議論から取り残される可能性がある」とも述べている。
チャットボットを活用したインターネットへの移行は、インターネット最大手にとっても脅威となる可能性がある。最も明白な例は、アルファベット傘下のGoogleだろう。同社の検索エンジンは、ユーザーを他の情報源に誘導することを基本としている。同社は「AI Overviews」と呼ばれる、軽快な要約機能の提供を開始した。Overviewsは、時折疑わしいアドバイスを提供するだけでなく、人間がクリックしたくなるようなウェブサイトを人間が運営することを困難にする可能性がある。 Bloomberg Businessweek が報じているように、一部のオンライン パブリッシャーではトラフィックが急落し、主に AI のせいにしているという。 （Googleはこの説明を否定し、サイトのトラフィック増減には多くの理由があり、AIオーバービューは「人々をウェブコンテンツに結びつける新たな機会を生み出している」と述べている。）AIを活用したインターネットの台頭は、巨大テック企業の思惑がユーザーの利益としばしば相反していることを浮き彫りにしている。AI主導の未来を支配しようとする競争の中で、彼らは世界が準備ができているかどうかに関わらず、この変化を加速させている。Facebookユーザーは、企業幹部が思い描くように、AIアカウントが昔の同級生や遠い親戚の投稿と混ざり合うのを本当に望んでいるのだろうか？誰にも分からない。しかし、人間の投稿頻度が下がっている時代に、Metaが現実の人々をアプリに釘付けにし続けることができるのであれば、Metaは喜んでその真相を解明しようとしている。
これらのトレンドがすべて収束するディストピア的な終着点を想像するのは難しくないとアレンは主張する。現実の人々がデジタル広告でウェブサイトを維持できるだけの収入を得られなくなり、投稿がAIが作り出すソーシャルメディアの喧騒にかき消されてしまう世界では、死んだインターネットが勝利するのだ。さらに悪いことに、研究によると、AIモデルはAI生成コンテンツで学習すると機能不全に陥る可能性があるという。アレン氏は、人間が作った新しいコンテンツがオンライン上に一切存在しなければ、「インターネットは死に絶える」と述べている。
メンツァー氏は、この終末シナリオにはまだ納得していない。テクノロジー企業が自社製品をボットの安っぽい温床と化させれば、人間はいずれ他のことに目を向けるようになると彼は主張する。「信号対雑音比が低すぎて、実質的に役に立たない製品であれば、人々は使わなくなるだろう」と彼は言う。テクノロジー企業は、そんなことを許すつもりはない。
確かにその通りかもしれない。しかし、昨年Facebookで最も多く閲覧された投稿の一つは、ミッドセンチュリーモダンのベッドフレームのヘッドボードに巨大な扇風機が組み込まれ、むき出しのマットレスの上にそびえ立つ、こぎれいな部屋の様子を映したもので、約17万9000件の反応を集めた。投稿者は「ついに完璧なベッドを見つけた。これで夜も汗をかかないだろう！」と綴っている。この投稿にはAIの雑多な投稿の特徴がいくつかありました。ファンのグリルが少し歪んで見えたり、他のユーザーによって全く同じ投稿が共有されていたり。しかし、確実に判断する方法はあ りませんでした。そして、まさにそこが問題なのです。