地元の裁判官は、生成型人工知能（GenAI）を用いて法廷で存在しない引用文を提示した弁護士の行為について調査を命じた。
これは、ヨハネスブルグ高等裁判所の訴訟において、ノースバウンド・プロセッシング社が、南アフリカダイヤモンド・貴金属規制当局に対し、既に発行されていたものの一定の条件を満たすまで保留されていた精錬ライセンスの返還を求める暫定的な救済措置を求める緊急申立てを行ったことを受けたものである。
このライセンスは、ノースバウンド社が2024年にラッパ・リソーシズ社から精錬事業を買収したことに関連していた。規制当局は、ノースバウンド社のライセンスを返還する前に、ラッパ社のライセンスが返還されたことを確認するよう求めていた。
ITWebが月曜日に閲覧した裁判所文書の中で、DJ・スミット代理判事は、この訴訟の問題点として、ノースバウンド社の法的主張に偽の引用文が含まれていたことを指摘し、裁判所はこれをAIツールによって生成された「幻覚的な」出力によるものだとしている。
彼はこの慣行を批判し、適切な検証なしにGenAIに頼ることの危険性を強調した。
存在しない参考文献は、ノースバウンドの主張の信憑性を損ない、法的手続きにおけるAIの不都合な誤用として指摘された。
判決の準備段階で、スミットは、ノースバウンド・プロセッシングの弁論要旨（マンダムス救済に関する重要な論点を裏付けるために提出された）で引用されていた2つの判例が架空のものであることを発見した。
代理判事は両当事者に説明を求めたが、ノースバウンドのジュニア・カウンセルであるジャイルズ・バークレー＝ビューティンは当初、誤った弁論要旨が提出されたと説明し、この問題は起草中に速記引用が用いられたことによる混乱に起因すると述べた。また、問題のある段落を修正した修正版も提出した。
しかし、相手方の弁護士は、修正版にはさらに2つの誤った引用が含まれていると指摘した。さらに、バークレー＝ビューティン判事は、既存の法廷資料が、本来裏付けるべき主張を正確に裏付けているかどうかについても疑問を呈した。ノースバウンドの弁護士には、再度反論する機会が与えられた。
天才的とは言えない
裁判所からの直接の質問に対し、バークレー＝ビューティン判事は、存在しない引用はAIツールによって生成された可能性が高いことを認めた。
彼は、事件の緊急性、弁論要旨の最終決定に要する時間の制約、そして別の若手弁護士の早期辞任など、期限が迫っていたため、「Legal Genius」というツールを使用したと述べた。このツールは、南アフリカの法文献のみに基づいて学習されているとされている。
代理判事は、この状況が、クワズール・ナタール州（マヴンドラ）で最近発生した事件と一致するかどうかを尋ねた。この事件では、候補弁護士が行った調査に基づいて、存在しない判例が引用されていた。
マヴンドラ対MEC（クワズール・ナタール州協同政府・伝統問題省）事件において、ピーターマリッツバーグ高等裁判所は、弁護士が裁判所への提出書類において、おそらくAIによって生成された虚偽の判例引用を提出した場合の影響を審理しました。
法律事務所ミカルソンズによると、マヴンドラ判決は、法律調査や起草におけるAIツールの無批判な使用について、法律専門家への警告となっています。「情報源に関わらず、徹底した事実確認が専門的基準を維持し、正義を守るために不可欠である理由を示しています。」
バークレー＝ビューティン氏は、上級顧問弁護士であるアーノルド・スベルSCが法廷で捏造された判例を参照しておらず、その誤りによって誰も不利益を被っていないことから、マヴンドラ事件とは区別できると主張した。
スベル氏は、この見落としについて全責任を負い、謝罪し、情報が記載通りに作成されたとは信じられないと述べた。スベル氏は、2人のジュニア弁護士を含む経験豊富な弁護団に依頼し、提出前に要旨の一般的なレビュー（センスチェック）のみを行ったと述べた。関連する法的命題は十分に確立されており、引用は不要だと考えていた。口頭陳述は独自に準備されたもので、書面による要旨には依拠していない。
裁判所は、たとえ過失によっても裁判所を誤解させてはならないという法律実務家の職業的義務を改めて強調した。
代理判事は、マヴンドラ事件および最近のイングランド高等裁判所の判決の論拠を支持した。これらの判決は、検証なしにGenAIに法的調査を委託すること の危険性を警告した。
英国の裁判所は、AIは捏造された情報源や引用を含む、説得力はあるものの虚偽の出力を生成する可能性があり、法律専門家は実務で使用する前にそのようなコンテンツを検証する義務があると強調した。
スミット判事は、法的手続きにおけるAIの誤用は司法制度と公共の信頼に深刻な損害を与える可能性があると強調した。
英国高等裁判所は、状況に応じて、公開の訓戒、費用命令、規制当局への付託などの懲戒処分が適切となる可能性があると述べた。
謝罪を受け入れ
スミット判事は、弁護団の謝罪を受け入れ、裁判所を欺く意図はなかったと判断したが、この状況では意図的でない誤りであっても深刻な影響を及ぼす可能性があると結論付けた。
マヴンドラ事件に倣い、ノースバウンドの弁護士の行為を法律実務評議会に調査のために付託するよう命じた。
「法的調査の文脈において、人工知能の使用に伴うリスクは今や周知の事実です。こうしたツールは、一見首尾一貫していてもっともらしい回答を生成できますが、その首尾一貫していてもっともらしい回答が、実際には全くの誤りである可能性があります」とスミット氏は述べています。
「回答は、全く真実ではない自信に満ちた主張をしている可能性があります。存在しない情報源を引用している可能性もあります。また、信頼できる情報源から引用したと見せかけて、実際にはそこに記載されていない文章を引用している可能性もあります。こうしたリスクにもかかわらず、法的調査を行うために人工知能を使用する者は、専門的な業務（例えば、依頼人への助言や裁判所での審 理など）において人工知能を使用する前に、信頼できる情報源を参照して調査の正確性を確認する職務上の義務を負っています。」
ノースバウンド・プロセッシングの申立ては緊急案件として審理されると、代理判事は判決を下しました。