カリフォルニア州の判事は、AIをケースリサーチに利用し、誤りだらけの弁論要旨を作成した法律事務所に対し、制裁を科しました。
Lacey v. State Farm 事件において、マイケル・ウィルナー判事（同事件の特別マスター判事）は、原告を代理する2つの法律事務所に対し、AIによる偽造リサーチを理由に厳しく追及しました。（ウィルナー判事はこれを「虚偽のAI生成リサーチ」と表現しました）
＞ 4月15日と20日に私が発した命令（本命令の付録に添付）に詳細が記載されているように、原告の補足弁論要旨には、虚偽、不正確、誤解を招くような法的引用や引用が多数含まれていました。私の事後調査（原告側弁護士の率直な陳述も裏付け）によると、10ページに及ぶ弁論要 旨に記載された27件の法廷引用のうち、約9件に何らかの誤りがありました。引用された判例のうち少なくとも2件は実在しません。さらに、引用された判例に帰属するいくつかの引用は偽物であり、それらの資料を正確に反映していませんでした。弁論要旨は最終的に、この問題の原因はAIツールの不適切な使用と依存にあることを明らかにしました。
経緯
ウィルナー判事はその後、一連の出来事について説明し、原告側を代理する2つの法律事務所（エリス・ジョージ）のうち1つの法律事務所の弁護士（コープランド氏）が「様々なAIツールを使用して補足弁論要旨の『概要』を作成した。その文書には問題のある法的調査が含まれていた」と述べています。
弁護士が2番目の事務所（K&L Gates）に概要を送付した際、概要は弁論要旨に含まれており、弁護士やスタッフによる引用チェックや正確性の確認は行われていませんでした。ウィルナー判事は、2番目の事務所であるK&L Gatesの弁護士は、その文書にAI生成の調査が含まれていることを知らなかったと述べました。
＞ さらなる問題がありました。原告の弁論要旨を最初に確認した際、弁護士が引用した文献のうち2つの正確性を確認できませんでした。弁論要旨を受け取った直後に、私は弁護士にメールを送り、この不備について修正を求めました。その日のうちに、K&L Gatesは2つの誤った引用を削除した弁論要旨を再提出しましたが、本文にはAI生成の問題が残っていました。あるアソシエイト弁護士は、弁論要旨に「誤って含まれていた」2つの誤りに気付いてくれて感謝し、修正弁論要旨の引用は「修正・更新」されたことを確認 する、当たり障りのないメールを送ってくれました。
原告側の弁護士がAIを使用し、最初の2つの誤りに加えて、かなり多くの捏造された引用文を盛り込んだ弁論要旨を再提出したことに気づいたのは、後日、より詳細な説明を求めるOSC（訴訟記録保管命令）を発行したときでした。弁護士による宣誓供述書と、その後提出されたAIが作成した実際の「概要」は、虚偽の提出に至った一連の経緯を明確に示しています。宣誓供述書には、度重なる謝罪と誠実な過失の自白も含まれていました。
「合理的に有能な弁護士はAIに頼るべきではない」
ウィルナー判事はその後、弁護士が可能な限り正確な文書と弁論要旨を提供する責任に関するいくつかの法的規則を引用しています。また、裁判所が、提出書類においてAIを不適切に使用する弁護士に対処せざるを得なくなっていることを嘆いています。彼は最終的に、弁護士らは悪意を持って行動したと結論付け、有能な弁護士はこのような方法でAIを使用すべきではないと主張しています。
原告弁論要旨および修正弁論要旨の提出に関わった弁護士らは、集団的に悪意に等しい行動をとったと私は結論付けます。Fink, 239 F.3d, 994頁。弁論要旨の初稿を作成するために、当初、開示されずにAI製品が使用されたことは、明らかに間違っていました。近年の技術進歩があったとしても、ある程度有能な弁護士であれば、調査と執筆をこの技術に外注すべきではありません。特に、その資料の正確性を検証する試みを一切行わないままにすべきではありません。そして、その資料の不確かなAI由来を開示せずに他の弁護士に送付す ることは、現実的に、その弁護士らを危険にさらすことになります。コープランド氏は、自身の行為がまさにその通りであったことを率直に認め、そのことについて心から反省しています。
ウィルナー判事は、コープランド氏が状況を作り出した主な責任者であると認定したにもかかわらず、K&Lゲイツのデューデリジェンスの欠如とその役割について多くのことを述べました。
しかし、K&Lゲイツの弁護士の行動もまた非常に問題です。彼らは送付された調査の妥当性を確認しませんでした。その結果、私が読んだ当初の弁論要旨に偽情報が紛れ込んでしまいました。これは残念なことです。しかし、私が彼らに連絡を取り、彼らの調査の一部に関する懸念を伝えたところ、弁護士の解決策は偽の情報を削除し、修正弁論要旨を提出することでした。しかし、それでもなお6つのAIエラーが含まれていました。さらに、弁護士は（弁論要旨の受信者である特別マスターによって指摘されたように）法的調査に重大な問題があることを認識していたにもかかわらず、AIの使用について私には一切開示されませんでした。むしろ、新しい弁論要旨を送信した電子メールは、テクノロジーへの不適切な依存ではなく、不注意な作成ミスを示唆しているだけでした。翻訳：彼らには情報があり、この問題を修正する機会もあったにもかかわらず、それを利用しなかった。
したがって、私は、(a) 当初AIの使用について開示されていなかったこと、(b) 原告弁論要旨の引用確認を怠ったこと、そして（おそらく最も悪質な点として）(c) AIの使用について適切な開示を行わずに欠陥のある修正弁論要旨を再提出したこと、これらを総合すると、争点となっている秘匿特権問題に関する私の分析に影響を与えようとする不適切な目的を持った無謀な行為が明らかであると結論付ける。Ellis George社とK&L Gates社には、誤りが指摘される前も後も、このような事態を阻止する十分な機会があった。彼らがそうしなかったことは、このような状況下では、慎重な制裁を科すことを正当化するものである。
結論と制裁
Wilner判事は、制裁を科す決定を含む最終結論を下した。
最後に。端的に言えば、原告によるAIの使用は、私を明らかに誤解させた。私は原告の弁論要旨を読み、引用された判例に説得され（少なくとも興味をそそられ）、さらに詳しく知るために判決を調べたところ、それらの判例は存在しないことが判明しました。これは恐ろしいことです。（私の観点からすると）偽造資料を司法命令に含めるという、より恐ろしい結果につながるところでした。弁護士が安易な近道に陥らないよう、強力な抑止力が必要です。
これらの理由により、原告の補足弁論要旨は却下され、争点となっている秘匿特権問題に関する更なる証拠開示は認められません。さらに、原告の法律事務所は（連帯して）被告に合計31,000ドルの賠償金を支払うよう命じられます。
AIの信頼性に対する痛烈な告発
ウィルナー判事のAIに関する経験は、残念ながら、あまりにもありふれたものです。幻覚はAIモデルにとって依然として大きな問題であり、最新のモデルでさえ苦戦を強いられています。実際、OpenAIの最も高度なモデルの中には、以前のモデルよ りも幻覚を起こすものも存在します(https://www.webpronews.com/openais-latest-models-hallucinate-more-than-previous-ones/)。
AI企業は自社のAIモデルの広範な採用を推進しており、さらに懸念されるのは、一部の議員が州や政府機関によるAIの規制を阻止しようとしていることです(https://www.webpronews.com/lawmakers-add-language-to-block-ai-regulation-to-budget-bill/)。その結果、一部のユーザーは、AIは与えられたあらゆるタスクに対応でき、正確かつ確実に実行できると誤って信じています。
しかし、次々と発生するインシデントは、AIが最も基本的なタスク、例えば訴訟事例を捏造することなく調査するといったタスクでさえ、完全に信頼できるものになるにはまだまだ長い道のりがあることを示しています。