Incidents associés
Les modèles d'intelligence artificielle (IA) générative produisent fréquemment de fausses informations juridiques, les soi-disant « hallucinations » se produisant entre 69 % et 88 % du temps, selon une [étude récente](https://hai.stanford.edu/news /hallucinations-droit-erreurs-juridiques-grands-modèles-de-langage-sont-omniprésents).
Les grands modèles linguistiques (LLM) --- les modèles d'IA génératifs, comme ChatGPT, qui sont formés pour comprendre et produire du contenu en langage humain --- sont déjà connus pour « halluciner » et générer de fausses informations.
Cependant, la nature « omniprésente » des hallucinations juridiques soulève des « inquiétudes importantes » quant à la fiabilité de l’utilisation des LLM sur le terrain, ont noté les auteurs de l’Institut pour l’IA centrée sur l’humain et le laboratoire de régulation, d’évaluation et de gouvernance de l’Université de Stanford dans un article de blog.
Lorsqu'on lui a posé des questions directes et vérifiables sur des affaires judiciaires fédérales, l'étude a révélé que le modèle derrière ChatGPT, GPT-3.5, hallucinait 69 % du temps, tandis que PaLM 2 de Google donnait des réponses incorrectes 72 % du temps et que Llama 2 de Meta offrait de fausses informations 88. pour cent du temps.
Les modèles ont obtenu de moins bons résultats lorsqu'on leur a posé des questions juridiques plus complexes, telles que la question juridique fondamentale ou la tenue centrale d'une affaire, ou lorsqu'on leur a posé des questions sur la jurisprudence des tribunaux inférieurs, comme les tribunaux de district.
En outre, ils ne parviennent souvent pas à contredire les fausses prémisses dans les questions juridiques et ont tendance à surestimer leur confiance dans leurs réponses, selon l'étude.
"Aujourd'hui, il y a beaucoup d'enthousiasme à l'idée que les LLM démocratiseront l'accès à la justice en offrant au public un moyen simple et peu coûteux d'obtenir des conseils juridiques", ont écrit les auteurs dans le blog publié jeudi. "Mais nos résultats suggèrent que les limites actuelles des LLM risquent d'aggraver davantage les inégalités juridiques existantes, plutôt que de les atténuer."
"Idéalement, les LLM excelleraient dans la fourniture d'informations juridiques localisées, corrigeraient efficacement les utilisateurs en cas de requêtes erronées et qualifieraient leurs réponses avec des niveaux de confiance appropriés", ont-ils ajouté. "Cependant, nous constatons que ces capacités font manifestement défaut dans les modèles actuels."
Les conséquences de telles hallucinations ont déjà été constatées dans le domaine juridique. Un juge fédéral a sanctionné deux avocats en juin après que l'un d'entre eux ait utilisé de fausses citations de cas générées par ChatGPT.
Michael Cohen, ex-réparateur et avocat personnel de l'ancien président Trump, a également admis le mois dernier avoir donné à son avocat [fausses citations de cas](https://thehill .com/regulation/court-battles/4381736-michael-cohen-gave-lawyer-fraudulent-case-citations-generated-by-ai/) après avoir utilisé Google Bard, qui fonctionnait sur PaLM 2 jusqu'à récemment.
Dans son rapport annuel de fin d'année, le juge en chef John Roberts a mis en garde contre les [inconvénients potentiels](https://thehill.com/regulation/court- battles/4383324-chief-justice-centers-supreme-court-annual-report-on-ais-dangers/) de l'utilisation de l'IA dans le domaine juridique, même s'il a suggéré que la technologie pourrait affecter de manière significative le travail judiciaire à l'avenir.
"Toute utilisation de l'IA requiert prudence et humilité", a-t-il souligné. "L'une des applications les plus importantes d'AI a fait la une des journaux cette année en raison d'un défaut connu sous le nom d'"hallucination", qui a amené les avocats utilisant l'application à soumettre des mémoires avec des citations sur des cas inexistants. (Toujours une mauvaise idée.)."