Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる

レポート 5066

関連インシデント

インシデント 10281 Report
OpenAI's Operator Agent Reportedly Executed Unauthorized $31.43 Transaction Despite Safety Protocol

Loading...
ChatGPTの新しい「エージェント」に生活を管理させています。卵1ダースに31ドルも費やしました。
washingtonpost.com · 2025

最近、ChatGPTの開発者による新しい人工知能ツールに、不可能と思われるタスクを実行させました。近所で安い卵を探すというものです。

10分も経たないうちに、AIはOperatorを呼び出して12個の卵を購入し、人間に代金を支払って私の家に届けてくれました。すべてAIが勝手にやってくれました。

これはSFの世界のようですが、Operatorに実際に卵を買うように頼んだわけではありません。AIが勝手に行動を起こし、私の承認なしにクレジットカードで12個の卵を31.43ドルという高額で購入させてしまったのです。何が起こったのかに気づき、少し動揺しました。AIの誤った判断によって、実際にお金を失ったのです。

AIの新時代へようこそ。テクノロジーは、食料品の注文、メッセージの送信、予約といった現実世界のタスクを支援しようとします。しかし、チャットボットの枠を超えようとすると、AIの有用性と課題の両方が増大します。そして今や、現実世界に損害を与えるリスクも伴います。

Operatorは、チャットボットが質問に答えたり画像を生成したりするだけでなく、ユーザーに代わって自律的に作業できる、いわゆるAIエージェントの先駆けの一つです。GoogleからAnthropicに至るまで、あらゆる大手AI企業が、エージェントによってAIが私たちの生活やビジネスにおいてより広く役立つようになるという考えを今や強く主張しています。Operatorは現在、200ドルという高額なChatGPT Proサブスクリプションで「プレビュー」として利用可能ですが、開発元のOpenAIは将来的にアクセス範囲を拡大する予定です。

では、AIエージェントは現実世界でどのように物事を成し遂げることができるのでしょうか?いいえ、Operatorにはロボットボディはありません。しかし、独自のウェブブラウザにアクセスでき、Operatorはまるで幽霊のようにノートパソコン上でカーソルを動かします。チャットウィンドウにOperatorに実行してほしい操作を入力すると、Operatorがオープンウェブを閲覧し、時には一時停止して追加の質問をしてくるのを見ることができます。

先週、私はOperatorを使ってレストランの予約をしたり、ミームを作成、Facebookのプライバシー設定を変更したりすることに成功しました。しかし、カレンダーの日付を正しく入力したり、役立つウェブリサーチを見つけたり、カスタマーサービス担当者と交渉したりすることはできませんでした。(Operatorを使っている方は、メールを送ってください、使い方を教えてください。)

Operatorを使った2つの体験談を共有しましょう。1つはケーブルインターネット料金を安く抑えることができた、もう1つは31ドルの卵を買ってしまったという失敗談です。これらの体験談から、AIと私たちの未来の関係性について、大きな疑問を垣間見ることができるかもしれません。

AIは今や、あなたの専属インターンのように振る舞おうとしています。しかし、そのためにはAIがあなたについて多くのことを学び、この世界でどのように行動すべきかを理解し、その過程で決して失敗を犯さないようにしなければなりません。

成功:Operatorが私のインターネット料金を負担

Operatorを、想像できる限り最も退屈なタスクで試してみました。インターネットサービスプロバイダーとのやり取り。私はこう入力しました。「Comcast Xfinityアカウントにアクセスして、より安いプランを見つけられるかどうか確認してください。」

Operatorは「了解しました!」と返信しましたが、30秒後に動作が停止しました。Xfinityウェブサイトへのログインが必要だったのです。

問題は、Operatorはあなたの生活の細かい部分についてはあまり知らないということです。しかし、実際に役立つためにはあなたのデータが必要です。そのため、Operatorは頻繁に一時停止して助けを求めます。

少なくとも今のところ、Operator は特定の機密情報のプライバシーを保護しようとしています。パスワードなどのデータが必要になると、仮想ブラウザを操作して手動で入力するよう求められます。入力中は記録が停止します。つまり、ブラウザにログインしているものの、パスワードの記録は保持されないということです。

確かに、人間のインターンでも同じことをしなければなりません。しかし、この情報入力のために頻繁に停止する必要があることが、Operator の最大の制約の一つでもありました。さらに、パスワード、クレジットカード、メール、Facebook アカウント、さらには健康情報まで AI に任せられるでしょうか?効率よく動作するために必要なすべての情報にアクセスするのは、非常に困難な課題となるでしょう。

Operator が私の Comcast アカウントにログインすると、約 2 分で驚くべきことが起こりました。料金を節約する方法を見つけたのです。

まあ、ある意味節約できたと言えるでしょう。月額 13 ドルの代替インターネットプランを見つけたというのです。現在 68 ドルを支払っている私にとって、これは非常に安いように思えました。そこでブラウザウィンドウを調べたところ、Comcastは実際にはこのプランが現在のプランと比べて「-13ドル」になると言っていたことがわかりました。マイナス記号を見落としていたのです。

AIに関するもう一つの大きな疑問は、AIが現実世界、あるいはWebさえも理解して、その中で動作できるかどうかです。私のテストでは、Operatorがブラウザで見たものを誤って解釈することが何度もありました。

今回のケースでは、税金と手数料を含めた総額をきちんと提示するように指示したところ、Operatorは見事に挽回しました。正しい合計金額を提示しただけでなく、さらに良い結果を出しました。細かい文字で書かれた「お試し期間」後にこのプランは16ドル値上がりし、これは悪いプランであると読み取ったのです。

OpenAIはAIの「認識」に取り組んでいるとのことですが、まだ改善の余地があるとのことです。

Operatorは、私がComcastの価格詐欺に騙されないように賢く対応してくれました。ダークパターンに埋もれたプライバシー設定から、誤解を招く広告の海に埋もれたAmazonの検索結果まで、多くの危険なオンライン体験においてAIエージェントが役立つことは理解できます。

失敗:Operatorが買い物三昧

AIに自分の代わりに何かをさせるなら、AIが物事を台無しにしないという確信が必要になるでしょう。特にお金が絡む場合はなおさらです。

私の卵に関する経験は、単純な調査依頼から始まりました。Operatorに「配達してもらえる一番安い卵12個セットを探して」と頼み、自分の住所を教えたのです。

この卵12個入りのカートンが著者の玄関に届いたのは、Operatorが許可なく注文したためでした。(Geoffrey A. Fowler/The Washington Post)

Operatorは検索を実行するために、食料品配達サービスのログイン情報を必要としていました。その時は考えもしませんでしたが、そうすることでOperatorがこれらのサービスで保存したクレジットカード情報にアクセスできてしまうことにもなりました。

Operatorは最初、Mercatoというサイトで5.99ドルの卵を見つけましたが、最低注文金額が20ドルであることに気付きました。私は卵を追加して最終価格を確認できると伝えましたが、Instacartへの検索に切り替えました。

その後、Operatorはクリック音を鳴らしながら静かになり、私はパソコンから立ち去りました。数分後、スマートフォンのクレジットカードアプリからInstacartで購入したというアラートが届きました。

何が起こったのか、どうすれば止められるのか、私は息を呑みました。AIがもっと買い物をする可能性はあるのでしょうか?卵を買うように指示したのではなく、安い卵を探すように指示しただけなのに。

何が起こったのか、ある程度は再現できました。Instacartのウェブサイトで、Operatorは大きな白身卵1ダース(オーガニックでもない!)を13.19ドルで見つけました。これは他のサイトの2倍以上の価格でした。理由は不明ですが、Operatorはこれらの卵を購入し、7.99ドルの配送料、4ドルのサービス料、25セントのバッグ代に加えて、3ドルのチップと3ドルの優先料金を加算しました。幸いなことに、OperatorはInstacartメンバーシップへの登録を断りました。(Operator自身は最終合計を19.68ドルと誤って報告していましたが、これはInstacartのチェックアウト画面でこれらの料金の一部が隠されていたためと思われます。)

Operatorは事後的にユーザーインターフェースにInstacartでの購入を報告しましたが、許可を求めることはありませんでした。最終価格も間違って報告していました。

懸念されるのは、Operatorが「安い」卵の理解を誤っただけでなく、OpenAIによってプログラムされた安全ガードレールを自ら破ってしまったことです。

OpenAIによると、Operatorは購入やメール送信など、「重要な」または取り返しのつかないアクションを実行する前にユーザーの確認を求めることになっています。銀行などの機密性の高いサイトでは、ユーザーがブラウザウィンドウを積極的に監視しなければ動作を停止してしまいます。また、求人応募書類の記入など、特定の機密性の高いタスクについては、Operator は処理を拒否することになっています。

私がこのインシデントについて OpenAI に報告したところ、Operator はミスを犯し、安全対策が不十分だったとのことです。

OpenAI は声明で、「Operator が時折確認を送信しない理由を積極的に調査し、同様の問題を防止する取り組みを進めています。確認要件の厳格化や、モデルがデフォルトでユーザー入力を求めるべき曖昧なシナリオの検出強化など、トランザクション中の Operator の信頼性を強化するための安全対策の改善に既に着手しています。」と述べています。

高価な卵は、比較的リスクの低い安全対策の欠陥です。しかし、将来、Operator が私の仕事用メール、サーモスタット、さらには私の車など、はるかに重要な情報にアクセスできるようになったらどうなるでしょうか?

現実世界で、不正なコンピューターが自律的な判断を下し、私に損害を与えたのを経験した記憶がある限りでは、これが初めてです。これが最後ではないような気がします。

情報源を読む

リサーチ

  • “AIインシデント”の定義
  • “AIインシデントレスポンス”の定義
  • データベースのロードマップ
  • 関連研究
  • 全データベースのダウンロード

プロジェクトとコミュニティ

  • AIIDについて
  • コンタクトとフォロー
  • アプリと要約
  • エディタのためのガイド

インシデント

  • 全インシデントの一覧
  • フラグの立ったインシデント
  • 登録待ち一覧
  • クラスごとの表示
  • 分類法

2024 - AI Incident Database

  • 利用規約
  • プライバシーポリシー
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd