州のトップ教育当局者は、生成型人工知能を利用してアラスカの学校での携帯電話の使用に関する提案された政策を起草し、存在しない学術研究を引用した州の文書を作成しました。
この文書では、その構想にAIが使用されたことは明らかにされていませんでした。少なくとも、AIが生成した偽の情報の一部は、州の教育委員会と早期開発メンバーの前に出ました。
教育やその他の政府機関の政策立案者は、十分に裏 付けられた研究に依存しています。コミッショナーがAIで生成された偽のコンテンツを使用したことは、AIツールの使用に関する州の政策の欠如を示しています。国民の信頼は、政府の決定を通知するために使用される情報源が正しいだけでなく、本物であることを知ることにかかっています。
省のスポークスマンは、最初に偽の情報源を「プレースホルダー」と呼びました。これらは、今月マタヌスカ・スシトナ自治区で開催された州教育委員会の会議に先立ち、同省のウェブサイトに掲載された決議書の本文全体に引用されていた。
その後、州教育委員長のディーナ・ビショップ氏は、これらは最初の草案の一部であり、引用文の作成には生成AIを使用したと述べた。同氏は会議前に間違いに気づき、正しい引用文を委員会メンバーに送ったと述べた。委員会は決議を採択した。
しかし、後に同省から配布され、ビショップ氏によると委員会で投票された修正文書には、誤った言及や「AI幻覚」と呼ばれるものの痕跡が残っている。
決議は、DEEDに携帯電話制限のモデルポリシーを作成するよう指示している。 引用された州のウェブサイトに掲載された決議 は、記載されたウェブアドレスでは見つからず、広範なオンライン検索でもタイトルが表示されない学術論文であるとされていた。
文書の 6 つの引用のうち 4 つは科学雑誌に掲載された研究のようだが、虚偽だった。州が引用した雑誌は存在するが、同省が参照したタイトルは記載された号には掲載されていない。代わりに、記載されたリンクには異なる主題 の研究が掲載されている。
ブラウン大学のコンピューターサイエンスおよび言語学の助教授であり、Google Deepmind の研究科学者でもある Ellie Pavlick 氏は、引用をレビューし、AI が生成した他の偽の引用と似ていると述べた。
「それはまさに AI が作り出した引用で見られるタイプのパターンです」と彼女は述べた。
幻覚とは、AI システムが誤解を招くような情報や誤った情報を生成するときに使われる用語で、通常はモデルに十分なデータがない、または誤った仮定が立てられていることが原因です。
「偽の引用が、実際のジャーナル、時には実在の人物、もっともらしい名前であっても、実際のものに対応していないのを見るのはごく普通のことです」と彼女は言いました。「それは言語モデルに期待される引用パターンとまったく同じです。少なくとも、私たちは言語モデルがそのようなことをするのを見てきました。」
文書の参照セクションには URL が含まれており、さまざまな主題の学術論文にリンクされています。州の URL は、ジャーナル Computers in Human Behavior の「携帯電話の禁止は学生の成績を向上させる: 準実験からの証拠」ではなく、この出版物の別の記事である「Facebook での性的行動」にリンクしています。正しいタイトルを検索しても結果は得られませんでした。州が Journal of Educational Psychology に掲載されていると述べた 2 つの研究でも同じでした。アラスカ・ビーコンが同省に虚偽の研究結果の提出を求めたあと、当局はオンライン文書を更新した。同省がAIを使ったかどうか尋ねられた広報担当のブライアン・ザダリス氏は、引用は正しい情報が挿入されるまでの単な る埋め草だと述べた。
「リストされた情報源の多くは、最終的な情報源が批評され、比較され、検討されている間に使用された草案作成プロセス中のプレースホルダーでした。これは、私たちの多くが慣れ親しんだプロセスです」と同氏は金曜日の電子メールで述べた。
ザダリス氏が決議案を書き、ビショップ氏が「その後、追加の情報源を見つけるのに役立つかどうかを調べるために、生成AIプラットフォームにそれを入れました」とザダリス氏は月曜日の電子メールで述べた。彼らは最終的に、それが役に立たないことを発見した。
ビショップ氏は後に、それは誤って投稿された最初の草案であり、後に修正されたと述べた。
しかし、ビショップ氏が委員会が検討し投票したと述べた文書には、AI生成文書の痕跡がまだ残っている。
たとえば、同省の更新された文書では、依然として、決議の「携帯電話の使用を制限している学校の生徒はストレスレベルが低く、学業成績が高かった」という主張を裏付けるために、2019年にアメリカ心理学会で行われた架空の研究を読者に紹介しています。新しい引用は、学業成績ではなくメンタルヘルスに注目した研究につながります。逸話的に言えば、その研究では、携帯電話の使用とうつ病や孤独感の間に直接的な相関関係は見つかりませんでした。
この主張は文書では正確な出典が示されていないが、スマートフォンが授業理解と幸福感に影響を与えることを示す 研究 がある。ただし、対象は青少年ではなく大学生である。この研究を発表したニューヨーク工科大学の研究者で教授のメリッサ・ディマルティーノ氏は、携帯電話が青少年に与える影響について研究したことはないが、その集団では自分の研究結果がさらに増幅されるだろうと考えていると述べた。
「彼らの脳はまだ発達途上です。非常に柔軟性があります。スマートフォンに関する研究を見ると、その多くが薬物中毒やその他の中毒行動の研究を反映しています」と彼女は述べた。
州による偽の研究のタイトルが示唆するように、青少年を実際に研究する上で難しいのは、研究者が学生を研究するために学校から許可を得なければならないことだと彼女は述べた。
同省は、アラスカ・ビーコンから情報源の出所について何度も問い合わせを受けた後、金曜日にオンラインで文書を更新した。更新された参考文献リストでは、100年以上の歴史を持つ「教育心理学ジャーナル」に掲載された存在しない記事の引用が、マレーシアのオンライン教育技術ジャーナルに掲載された実際の記事に置き換えられた。
ビショップ氏は、これらのミスには「悪意のある行為」はなく、この事件で目立った被害はなかったと述べた。
ただし、誤った引用は、AIによる誤情報が州の政策に影響を及ぼす可能性があることを示している。特に、州政府高官がテクノロジーを起草の速記に使用し、公文書や公式決議に間違いが残る場合はそうだ。
教育省の広報担当者の声明によると、このような「プレースホルダー」の使用は同省では珍しいことではない。これらのプレースホルダーが通常AIによって生成さ れたコンテンツである場合、この種の間違いは簡単に繰り返される可能性がある。
AI の専門家であるパヴリック氏は、この状況は人々が情報を得る場所と誤情報の流通について、より広範な認識を示唆していると述べた。
「特に権威のある人がこれを使用する場合、すでに存在している信頼を損なうため、本当に懸念されると思います」と彼女は述べた。「意図的かどうかにかかわらず、情報が偽物であることが数回明らかになると、何でも偽物として却下することが容易になります。」
この例では、研究、データ、事実で議論を検証する長い間受け入れられてきた形式である科学論文が問題になっており、それが信頼できるリソースであり続ける程度を損なう可能性がある。
「多くの人々は、AI を同じように検索の代替物と考えていると思います。なぜなら、ある意味で似ていると感じるからです。たとえば、コンピューターの前にいて、テキストボックスに入力すると、これらの答えが得られます」と彼女は述べた。彼女は昨年の訴訟を例に挙げた。弁護士が AI チャットボットを使用して書類を作成した。チャットボットは偽の訴訟を引用し、弁護士はそれを法廷で使用したため、裁判官は弁護士を処罰することを検討した。パヴリック氏は、これらの誤りは DEED 文書で起こったことを思い出させると述べた。
彼女は、この技術が広く使用されるようになったにもかかわらず、その仕組みに対する一般の理解がそれに応じて高まっていないことは懸念すべきことだと述べ た。
「これは誰の責任なのかわかりません。おそらく、よりよく教育するのは私たち AI コミュニティの責任でしょう。なぜなら、人々が理解していないこと、これを他の検索ツールや他の技術とは異なる扱いをする必要があることに気付いていないことを責めるのは難しいからです」と彼女は述べた。
AIリテラシーを高めることはテクノロジーの悪用を避ける方法の一つだが、それをどう行うべきかについて広く認められたベストプラクティスはない、と彼女は述べた。
「このような事例がいくつか増えれば、国全体、世界がその結果にもう少し関心を持つようになると思います」と彼女は述べた。
編集者注: この記事は、ザダリス氏が決議を書いたことを記すために更新されました。