「読書好きやビンジウォッチャー」の天国と自称する人気の ソーシャルメディア アプリ である Fable は、2024 年にユーザーが読んだ本をまとめた AI 搭載の年末サマリー機能を作成しました。遊び心と楽しさを意図したものでしたが、一部のサマリーは奇妙に闘争的なトーンを帯びていました。たとえば、作家のダニー・グローブスのサマリーでは、彼を「多様性の信奉者」と名付けた後、「ストレートなシスジェンダーの白人男性の視点に興味があるときはあるか」と尋ねました。
一方、書籍インフルエンサーのティアナ・トラメルのサマリーは、次のようなアドバイスで終わりました。「たまには白人の著者にも顔を出し てくださいね」
トラメルはびっくりしましたが、スレッドで Fable のサマリーに関する自分の経験を共有した後、すぐに自分だけではないことに気付きました。 「障害や性的指向」について不適切なコメントを要約に書いた人々から、「複数のメッセージを受け取りました」と彼女は言う。
Spotify Wrapped がデビューして以来、年間要約機能はインターネット上で広く普及し、ユーザーが読んだ本やニュース記事の数、聴いた曲、完了したワークアウトの概要を提供している。一部の企業は現在、AI を使用してこれらの指標の提示方法を完全に作成または拡張している。たとえば、Spotify は現在、AI 生成ポッドキャスト を提供しており、ロボットがユーザーの視聴履歴を分析し、ユーザーの好みに基づいて生活について推測します。 Fable は、OpenAI の API を使用してユーザーの過去 12 か月の読書習慣の要約を生成することでこのトレンドに飛びついたが、AI モデルが反覚醒派の評論家のような態度を取ったコメントを吐き出すとは予想していなかった。
Fable はその後、Threads や Instagram などの複数のソーシャル メディア チャネルで謝罪し、幹部が謝罪する動画を投稿した。「今週の当社の読者要約の一部によって生じた損害について深くお詫び申し上げます」と同社はキャプションに記した。「今後は改善します」
Fable のコミュニティ責任者である Kimberly Marsh Allee 氏は、本記事の公開前に WIRED に、AI 要約を希望しない人向けのオプトアウト オプションや、要約が AI によって生成されたものであ ることを示すより明確な開示など、AI 要約を改善する一連の変更に取り組んでいると語った。 「当面、読者をからかう部分を削除し、代わりにモデルはユーザーの本の好みを要約するだけです」と彼女は述べた。
出版後、マーシュ・アリーは、Fable は AI が生成した 2024 年の読書要約と、AI を使用した他の 2 つの機能を直ちに削除することを決定したと述べた。
一部のユーザーにとって、AI を調整することは十分な対応とは思えない。ファンタジーおよびロマンス作家の A.R. カウファーは、ソーシャルメディアで要約の一部のスクリーンショットを見て愕然とした。「彼らは AI を完全に廃止すると言わなければなりません。そして、AI についてだけでなく、影響を受けた人々への謝罪も含めた声明を発表する必要があります」とカウファーは言う。「Threads でのこの「謝罪」は不誠実に感じられます。アプリが「遊び心がある」と述べることで、人種差別的/性差別的/障害者差別的な発言を何らかの形で正当化しているかのように感じられます。」この事件を受けて、カウファーは Fable アカウントを削除することを決めた。
トラメル氏もそうだった。「適切な対応は、その機能を無効にして、新たに実装された安全策を組み込んだ厳格な内部テストを実施し、プラットフォームのユーザーがこれ以上被害に遭わないように最大限の努力をすることです」と彼女は言う。
グローブス氏も同意する。「チームが小さいために個別の読者要約が維持できないのであれば、辛辣な言葉や中傷で不快感を与える可能性のあるチェックされていない AI 出力に直面するよりは、要約がないほうがいいと思います」と彼は言う。「これは私の意見です… Fable がゲイでシスジェンダーの黒人男性の視点を求めていると仮定して」
生成 AI ツールは、人種関連の失敗の長い実績をすでに持っている。 2022年、研究者らは、OpenAIの画像生成ツールDall-Eには、「囚人」を描くよう求められたときに非白人を表示し、「CEO」を描くよう求められたときにすべて白人を表示するという悪い癖があることを発見した。昨年秋、WIREDは、白人が他の人種よりも遺伝的に優れているという人種差別的な理論を論破したさまざまなAI検索エンジンが浮上したと報じた。
過剰な修正も問題になることがある。昨年、Google の Gemini は、第 2 次世界大戦時代のナチスを有色人種として繰り返し描写し、誤った包括性を追求したことで 徹底的に批判 を受けた。「これらの要約を作成していたのが生成 AI だったという確証を得たとき、私は驚きませんでした」とグローブス氏は言う。「これらのアルゴリズムは、偏見のある社会に生きるプログラマーによって構築されているため、当然、機械学習にも、意識的か無意識的かにかかわらず、偏見が伴います。」
1/3/25 5:44pm ET 更新: この記事は、Fable がいくつかの AI 搭載機能を直ちに無効にすることを決定したことを記載して更新されました。