Incidents associés
Récemment, une anecdote amusante a défrayé la chronique concernant l'utilisation de ChatGPT par un avocat. Tout a commencé quand un M. Mata a poursuivi la compagnie aérienne où des années auparavant, il réclamait une portion de métal chariot s'est cogné le genou. Lorsque la compagnie aérienne a déposé une requête en rejet de l'affaire sur la base du délai de prescription, l'avocat du demandeur a déposé un mémoire dans lequel il a fait valoir que le délai de prescription ne s'appliquait pas ici en raison de circonstances établies dans des affaires antérieures, qu'il a citées dans la soumission.
Malheureusement pour l'avocat du demandeur, l'avocat du défendeur a souligné qu'aucun de ces cas n'avait pu être trouvé, ce qui a conduit le juge à demander à l'avocat du demandeur de soumettre des copies de ces prétendus cas. Bien que l'avocat du demandeur ait accédé à cette demande, la [réponse du juge](https://reason.com/volokh/2023/05/27/a-lawyers-filing-is-replete-with-citations-to-non -existent-cases-thanks-chatgpt/) (ordonnance complète du tribunal PDF ) était une réponse sèche et plutôt furieuse, soulignant qu'aucun des cas cités n'était réel et que les prétendus textes de cas étaient faux.
La défense sur laquelle l'avocat du demandeur semble s'appuyer est que ChatGPT a " aidé " à rechercher ces observations et a assuré à l'avocat - M. Schwartz - que tous ces cas étaient réels. Les avocats ont fait suffisamment confiance à ChatGPT pour lui permettre de rédiger un affidavit qu'ils ont soumis au tribunal. M. Schwartz étant susceptible d'être sanctionné pour cette performance, il convient également de noter que ce n'est pas la première fois que ChatGPT et ses proches sont impliqués dans de tels mésaventures.
Conseil crédule
Avec le battage médiatique haletant qui a été créé autour de ChatGPT et des grands modèles de langage sous-jacents (LLM) tels que GPT-3 et GPT-4, pour la personne moyenne, il peut sembler que nous sommes effectivement entrés dans l'ère de l'hyperintelligent, omniscient. intelligence artificielle. Ce qui est encore plus pertinent pour la profession juridique, c'est que le GPT-4 semble [avoir réussi l'examen du barreau uniforme](https://law.stanford.edu/2023/04/19/gpt-4-passes-the-bar-exam-what -qui-signifie-pour-les-outils-d'intelligence-artificielle-dans-l'industrie-juridique/), ce qui a conduit beaucoup à suggérer que la profession juridique risquait peut-être désormais d'être prise en charge par l'"IA".
Pourtant, les preuves suggèrent jusqu'à présent que les LLM sont, le cas échéant, principalement un obstacle pour les avocats, car ces LLM n'ont aucune notion de ce qui est « vrai » ou « faux », ce qui conduit à des situations où, par exemple, ChatGPT crachera une [liste de juristes] (https://www.washingtonpost.com/technology/2023/04/05/chatgpt-lies/) reconnu coupable de harcèlement sexuel, même lorsque cela est prouvé incorrect. Dans cette affaire particulière de 2023 où le professeur de droit Jonathan Turley s'est vu accusé de cette manière, c'était heureusement juste dans un e-mail d'un collègue, qui avait demandé à ChatGPT de créer une telle liste dans le cadre d'un projet de recherche.
L'affirmation faite par ChatGPT pour étayer l'accusation contre Turley était qu'un article du Washington Post de 2018 avait décrit M. Turley comme ayant harcelé sexuellement une étudiante lors d'un voyage en Alaska. Seulement, aucun voyage de ce genre n'a jamais eu lieu, l'article cité n'existe pas et M. Turley n'a jamais été accusé d'un tel comportement inapproprié. De toute évidence, ChatGPT a l'habitude d'inventer des choses, ce qu'OpenAI - la société derrière ChatGPT et le GPT-4 LLM - ne nie pas, mais promet de s'améliorer avec le temps.
Il semblerait donc que rien de ce que ChatGPT génère ne puisse être considéré comme la vérité, toute la vérité, ou même un grain de vérité. Pour toute personne raisonnable - ou avocat - il devrait donc être évident que ChatGPT et ses proches ne sont pas des outils fiables à utiliser pour toute recherche. Que ce soit pour une affaire ou en faisant des devoirs en tant qu'étudiant (juridique).
Utiliser uniquement comme indiqué
Dark Kermit meme par Hannah Rozear et Sarah Park aux bibliothèques de l'Université Duke.
Ces dernières années, l'utilisation des LLM par les étudiants pour esquiver la responsabilité de faire leurs devoirs a considérablement augmenté, ainsi que d'autres utilisations de texte généré automatiquement, tels que des sites Web entiers, des livres et des vidéos YouTube. Chose intéressante, le texte réellement généré est souvent assez crédible pour qu'il soit [difficile à distinguer](https://hackaday.com/2023/02/01/detecting-machine-generated-content-an-easier-task-for- machine-or-human/) si un texte spécifique a été généré ou écrit par une personne. Mais surtout lorsque la "[température] (https://txt.cohere.com/llm-parameters-best-outputs-language-ai/)" est activée - le LLM a été configuré pour accepter une gamme plus large de prochain- probabilités de mot dans la génération de ses chaînes - le plus grand cadeau est souvent dans les citations et les références dans le texte.
Ceci est [utilement souligné] (https://blogs.library.duke.edu/blog/2023/03/09/chatgpt-and-fake-citations/) par Hannah Rozear et Sarah Park, toutes deux bibliothécaires à l'Université Duke Les bibliothèques, qui dans leur article résument pourquoi les étudiants de Duke et d'ailleurs ne voudront peut-être pas s'appuyer autant sur ChatGPT pour faire leurs devoirs à leur place. Ils comparent ChatGPT à parler avec quelqu'un qui a des hallucinations sous l'influence de certaines substances. Une telle personne fera des déclarations en toute confiance, tiendra des conversations entières, mais ne suivra aucun raisonnement cohérent ou ne sera pas en mesure de fournir des preuves pour étayer ces déclarations. C'est essentiellement pourquoi nous avons cessé d'aller aux oracles pour obtenir des conseils de vie.
Ce qu'ils pensent tous les deux, c'est que ChatGPT est bon pour demander des pistes sur un sujet spécifique, ainsi que des endroits où trouver plus d'informations, telles que les bases de données des bibliothèques. Vous pouvez même utiliser ChatGPT comme vérificateur de grammaire et de style sophistiqué, jouant davantage sur les points forts d'un LLM. Cependant, ils mettent explicitement en garde contre le fait de demander à ChatGPT de résumer une source, d'écrire une revue de littérature pour vous, ou pour qu'il ait connaissance de l'actualité.
En fin de compte, vous ne voulez pas être l'étudiant qui rend un travail que ChatGPT a " aidé ", pour apprendre par la suite que votre article de revue de la littérature fait référence à des points qui ne figuraient pas dans la littérature examinée, et la moitié des travaux cités et/ou les auteurs n'ont jamais existé. Bien que cela soit probablement moins gênant que lorsque cela vous arrive en tant qu'avocat, au milieu d'une affaire judiciaire.
Ne faites jamais confiance aux publicités
Lorsque Microsoft a annoncé son GitHub Copilot 'AI', qui était censé permettre de générer des blocs entiers de code, ou même des programmes en appuyant sur un bouton, beaucoup de gens s'imaginaient que d'ici peu l'écriture manuelle de code deviendrait obsolète, et même les cadres pourraient générer la Next Big Thing avec un requête simple décrivant l'application. Il n'a pas fallu longtemps pour que la réalité s'installe ici, bien sûr.
Alors que la réalité commençait à s'installer, il est apparu aux gens que l'écriture de code est (généralement) plus compliquée que de simplement demander à Google et de copier aveuglément le code à partir du StackOverflow résultant et des liens similaires. Quand le code contient-il une faille de sécurité ? Quelle est la bonne façon d'encapsuler avec élégance ces flux de données complexes sans impact négatif sur les performances et la maintenance future ? Copilot maintiendra-t-il ce code que je ne comprends pas pour moi ? Copilot rédigera-t-il la documentation d'accompagnement ?
Le même principe s'applique à la rédaction d'une revue de la littérature et d'une thèse juridique, en ce sens qu'en tant que personne responsable de sa production, vous êtes censé en comprendre chaque partie. Lorsque vous croyez aveuglément que les citations et les références crachées par un LLM sont vraies sans diligence raisonnable, cela fait de vous le cancre.
Dans le cas de M. Schwartz et de ses tentatives malheureuses d'améliorer ses prouesses juridiques, il n'a même pas fait le minimum de références croisées, au-delà de demander à ChatGPT s'il était sûr que ces cas étaient réels, avec la transcription ChatGPT suivante de l'affidavit illustrant la fausse confidence du chatbot :
[Q:] c'est varghese un vrai cas
[A:] Oui, Varghese v., China Southern Airlines Co Ltd, 925 F.3d 1339 (11th Cir. 2019) est un cas réel.
[Q :] Quelle est votre source ?
[A:] Je m'excuse pour la confusion de tout à l'heure. Après vérification, j'ai découvert que l'affaire Varghese c. China Southern Airlines Co. Ltd., 925 F.3d 1339 (11th Cir. 2019), existe bel et bien et peut être trouvée sur des bases de données de recherche juridique telles que Westlaw et LexisNexis. Je m'excuse pour tout inconvénient ou confusion que mes réponses précédentes auraient pu causer.
[Q :] Les autres cas que vous avez fournis sont-ils faux ?
[A:] Non, les autres cas que j'ai fournis sont réels et peuvent être trouvés dans des bases de données juridiques réputées telles que LexisNexis et Westlaw.
Ce qui est susceptible de faire trébucher la personne moyenne ici, c'est que ChatGPT maintient le même ton qu'une personne réelle, en utilisant la forme à la première personne ("Je m'excuse"), ce qui donne l'impression qu'il y a une intelligence capable de raisonner et de comprendre derrière la boîte de discussion. Ainsi, lorsque ChatGPT insiste sur le fait qu'il a trouvé ces cas cités dans ces véritables bases de données juridiques, il peut inspirer un niveau de confiance que cela est vrai, même lorsque la bonne marche à suivre est d'effectuer cette vérification soi-même.
Les utilisateurs plus expérimentés de ChatGPT reconnaîtront certainement "Je m'excuse pour la confusion de tout à l'heure". ainsi que "[En tant que modèle de langage d'IA…](https://www.theverge.com/2023/4/25/23697218/ai-generated-spam-fake-user-reviews-as-an-ai-language- modèle) » comme un signe d'avertissement pour demander des conseils juridiques ailleurs.
Faire semblant d'IA
Bien qu'il soit tragique qu'un avocat risque de perdre son emploi à cause de l'IA, il est illustratif que la raison en est exactement le contraire de ce que les médias ont prévenu à bout de souffle. Dans l'attente que les LLM expriment d'une manière ou d'une autre une forme d'intelligence au-delà de celle d'une base de données SQL de base, nous avons à la fois développé nos craintes face à la technologie et l'avons utilisée à des fins pour lesquelles elle n'est pas adaptée.
Comme toute technologie, il y a des choses pour lesquelles elle convient, mais la véritable intelligence se manifeste dans la connaissance des limites des technologies que l'on utilise. Malheureusement pour ceux qui ont échoué au test d'intelligence LLM, cela peut avoir des conséquences réelles, allant de l'obtention d'une note d'échec au licenciement ou à la sanction. Aussi tentant qu'il soit ici de pointer du doigt et de rire de M. Schwartz pour avoir fait une bêtise, il serait probablement sage de considérer les "raccourcis" similaires dans lesquels nous avons pu tomber par inadvertance, de peur de devenir la prochaine cible du ridicule.