ヨハネスブルグのハウテン州高等裁判所で係属中の事件において、存在しない法廷引用文が提示されたことを受け、代理判事は担当弁護士に対し、引用文が人工知能(AI)による「幻覚」に該当するかどうかを尋ねた。弁護士は顔を赤らめ、「そう思われる」と答えた。
DJ・スミット代理判事は、南アフリカダイヤモンド貴金属規制当局に対し精錬ライセンスの付与を命じていたノースバウンド・プロセッシング社を相手取った事件で、判決文を執筆しようとしていた際にこの事実に気づいた。
スミット判事は、判決文を執筆中に、ノースバウンド社の主張する2つの判例が存在しないことに気づいたと述べた。そして、ノースバウン ド社の弁護士に対し、状況を明確にするよう求めた。
事件は緊急の申請として裁判所に持ち込まれたため、時間的な制約が理由とされた。弁護士は、「Legal Genius」というオンラインサブスクリプションツールを使用していると説明した。このツールは「南アフリカの法判例と法令に特化した」と謳っていた。
しかしながら、裁判所は、実際には存在しない引用文献(過去の適用可能な判例)が論点表に記載されていたものの、当該案件を担当した上級弁護士は口頭弁論において、存在しない判例に依拠していなかったと説明を受けました。
裁判所に状況を説明した弁護士は、これらの誤りについて全責任を負うものの、裁判所を誤解させる意図はなかったことを強調しました。
上級弁護士(存在しない引用文献については責任を負っていません)は、ノースバウンドの弁護団を代表して深く謝罪しました。また、経験豊富な弁護団(有能なジュニア弁護士2名を含む)に頼ることができ、実際に信頼できると信じていたと説明しました。
上級弁護士は、ノースバウンドの弁護団の論点表については、提出前に「センスチェック」を行ったのみであり、引用文献の正確性を確認する十分な機会がなかったと述べています。
スミット判事は、この問題に関する判決の中で、最近の英国国王法廷における判決に言及し、特に法的調査におけるAIの使用にはリスクがあると警告しました。AIは全くの誤りや、存在しない情報源を引用する可能性があるからです。
判事は、人工知能が悪用された場合、司法の運営と司法制度に対する国民の信頼に深刻な影響が生じる可能性があると述べまし た。
スミット判事は、この件における弁護士の謝罪を認めつつも、この状況では過失であっても重大な影響を及ぼす可能性があると述べました。そして、弁護士の行為について、リーガル・プラクティス・カウンシル(LPC)に調査を依頼しました。