関連インシデント
おそらく、新しい形態の人工知能は石のように愚かである可能性があると感じているでしょう。
Google の新しい AI からの笑えるほど間違った情報は、それがいかに愚かであるかを示しています。
Google の AI は最近、検索結果で ピザの材料に接着剤を混ぜる と提案しました。そうすればチーズが滑り落ちません (これはしないでください)。以前は 尿をたくさん飲む と腎臓結石を排出するのに役立つと述べていました。 (これはやらないでください。Google はこれを修正したと言っています。)
Google の AI は、ジョン F. ケネディがウィスコンシン大学マディソン校を卒業したと答えました (1993 年を含む 6 つの異なる年) (https://x.com/mmitchell_ai/status/1793311536095879225?s=46&t=28B92FeKtWGGSUw-WBcDTg)。また、アフリカの国で「K」で始まる国はありません (https://x.com/edzitron/status/1793751541394145771?s=46&t=28B92FeKtWGGSUw-WBcDTg) (いいえ、ケニアです)。
これらはほとんどがばかげた例で、Google の AI に間違ったことを言わせようとする人々から生まれた例もあります。
しかし、重大な教訓があります。AI に対する期待は比較的低くすべきです。Google の生成 AI、OpenAI の ChatGPT、Microsoft の Copilot では、反証されるまでは、それらが間違っていると想定する必要があります。
これらのチャットボットは、依然として非常に便利です。しかし、それらが間違っていると想定することは、日常的に使用するほとんどのテクノロジーとは異なるメンタル モデルです。Waze に道順を入力したり、メールを送信したり、Google でリンクをクリックしたりする場合、テクノロジーが適切かつ正確に機能するという合理的な期待があります。
「AI 概要の大半は、Web でさらに深く掘り下げるためのリンクとともに、高品質の情報を提供します」と Google は声明で述べています。同社は、AI 検索結果を開始する前に徹底的なテストを行い、間違いの例を使用して「システムのより広範な改善を開発しており、その一部はすでに展開し始めています」と述べています。
Google の AI (および他のチャットボット) が接着剤を食べるように指示する理由と、そのような間違いから学ぶべき教訓について説明します。
AI がこれほど間違うことがある理由
ChatGPT と Google 検索の「AI 概要」の背後にあるテクノロジーは、先週、すべてのアメリカ人に展開されました、大規模言語モデルと呼ばれています。
このテクノロジーには、インターネットからの大量の情報 が入力されています。ニュース記事、Wikipedia、オンライン レシピ、ロー スクールの入学試験模擬試験、Reddit フォーラムなどです。インターネット データのパターンに基づいて、コンピューターはユーザーのリクエストに対して数学的に可能性のある単語を生成します。
コンピュータプログラマーのサイモン・ウィリソンは、GoogleのAIは検索ボックスに入力した語句を解析し、その検索と結果を大規模な言語モデルに貼り付けることで機能すると述べた。その後、Googleの検索結果で関連するウェブサイトから有用な情報を引き出す。
GoogleのAIは、正確で有用な情報を抽出することもある。特に、検索に関連するオンライン情報があまりない場合は、間違った情報を出力することもある。
ウィリソンによると、ピザの接着剤の例は、おそらくあまり一般的ではないGoogle検索「ピザにチーズをくっつける方法」に関連する比較的まばらなオンライン情報から生じたようだ。Googleの検索AIは、Redditの11年前の冗談めいた投稿から回答を引き出しているようだ。
AIは冗談と事実を区別できない。または、正確な回答を出すのに十分な情報がない場合、犬がプロのバスケットボールやホッケーをプレーしたなど、自信たっぷりに聞こえる作り話をでっち上げるかもしれない。
「あらゆる種類の奇 妙なバグのないバージョンを作るのは難しい」とウィリソン氏は語った。
ソーシャルメディアで飛び交った例のほとんどは、Google AIの笑える間違いだった。しかし、GoogleのAIが常習的な誤情報を吐き出していた、つまりバラク・オバマ前大統領はイスラム教徒だという誤情報を吐き出していたことは確認できた。これは嘘だ。
Googleは、AIが生成した偽情報を削除したと述べた。
企業は、AIモデルがどのような情報から「学習」しているのか、チャットボットがどのくらいの頻度で間違っているのかについて、あまり明らかにしていない。
OpenAIは[正確性が向上したと述べた。Microsoftは、同社のCopilotチャットボットはGoogleと同様に返信にリンクを組み込んでおり、ユーザーがさらに探索できるようにしていると述べた。Microsoftはまた、ユーザーからのフィードバックを取り入れ、Copilotを改善していると述べた。
「不信と検証」
ウィリスン氏は、レーガン時代の「信頼しつつも検証」という決まり文句をチャットボットにひねり加えることを提案した。バンパーステッカーにそれを貼ろう。
ほとんどの人は、Google が提案したからといって接着剤を食べたりはしないだろう。しかし、チャットボットはすでに 効果的に使用するのが困難 だ。リスクは、間違いの多い AI が時間を無駄にし、新興技術に対する信頼を損なうことだ。
テクノロジー ライター モリー ホワイト氏は、企業はユーザーの期待を下げるためにもっと努力すべきだと述べた。
同氏は、Google、OpenAI、Microsoft は、健康や法律に関するような重要な質問に対して AI が生成した情報を見せないよう、より注意する必要があると述べた。
Google と OpenAI の代表者は、両社は健康や法律に関する質問など、より重要なトピックについては AI 生成情報の使用に制限を設けていると述べた。Microsoft は、健康や法律に関する情報を含む多くの Copilot の応答が、Bing のウェブ検索結果にユーザーを誘導する可能性があると述べた。
ホワイト氏はまた、企業は、無限の知識を持つ人間とやり取りしているように思わせるような、機知に富んだチャットボットの非現実的なデモンストレーションを見せるべきではないと述べた。
「これは、相手が推論しているわけではない」とホワイト氏は述べた。「正しいと思われることを推測しているだけだ」
Google 検索での AI 応答に対する期待を設定するのは特に難しい。Google は現在、馴染みのある検索結果と、信頼性が低い可能性のある新しい AI 生成情報を混ぜ合わせている。ChatGPT はそうしていない。
期待は適度に低く抑えているが、私は Google の AI についてまだ慎重に興味を持っている。今週、私は Wired のトップ編集者について Google 検索を行った。 Google の AI が生成した情報には、彼女の経歴の詳細と、彼女が採用されたときの上司の発言が織り交ぜられていた。
Google の AI 応答がなければ、情報を見つけるためにいくつかのリンクを調べる必要があっただろう。それが Google の約束であり、Google の AI があなたに代わって Google 検索を行う。
その時、約束は果たされた。そして、Google の AI は私に接着剤を食べるようには言わなかった。