Incidents associés
Alors que ChatGPT, le modèle de langage AI bien connu, est indéniablement une technologie extrêmement fascinante, il y a des inquiétudes importantes quant à sa pertinence en tant qu'outil et source d'informations et de références fiables et précises.
Les appels à ne pas en tenir compte en tant que ressource fiable pour produire des références et des citations précises pour la rédaction d'essais, des scénarios de la vie réelle et des perspectives humaines sur des sujets cruciaux et extrêmement importants ont été soutenus par un événement encore plus récent.
Un tribunal américain a été plongé dans une situation bizarre lorsqu'un avocat a présenté de faux cas comme précédents pour étayer son argumentation dans une affaire à New York. Il s'avère qu'il avait demandé à ChatGPT des exemples de cas qui soutenaient l'argument et ChatGPT, dans sa forme habituelle, a halluciné sauvagement - il a inventé plusieurs cas à l'appui à partir de rien.
Lorsque l'avocat a été invité à fournir des copies des cas en question, il s'est à nouveau tourné vers ChatGPT pour obtenir de l'aide et il a inventé tous les détails de ces cas, qu'ils ont dûment capturés et copiés dans leurs documents juridiques.
Comme si cela ne suffisait pas, à un moment donné, ChatGPT a de nouveau été invité à confirmer que les cas étaient réels et ChatGPT a répondu qu'ils l'étaient. Ils ont inclus des captures d'écran de cela dans un autre dossier. Le juge furieux à ce stade est resté perplexe.
Mata c. Avianca, Inc. (1:22-cv-01461) en détails
L'affaire a été initialement déposée le 22 février 2022 et implique une plainte pour "blessures corporelles subies à bord d'un vol Avianca qui voyageait d'El Salvador à New York le 27 août 2019". Il y a une complexité ici dans la mesure où Avianca a déposé le bilan du chapitre 11 le 10 mai 2020, ce qui est pertinent pour l'affaire (ils sont sortis de la faillite plus tard).
Mais divers allers-retours ont eu lieu au cours des 12 mois suivants, dont beaucoup concernaient la question de savoir si la faillite « acquitte toutes les créances ». C'est cependant le 1er mars 2023 que les choses sont devenues intéressantes, selon Simonwillison.
La compagnie aérienne, Avianca, a demandé au juge de rejeter l'affaire. L'équipe juridique de Mata, dans un effort pour persuader le juge de laisser l'affaire de son client se poursuivre, a rédigé un mémoire citant une demi-douzaine d'affaires similaires qui avaient été tranchées précédemment, [the New York Times](https://www.nytimes. com/2023/05/27/nyregion/avianca-airline-lawsuit-chatgpt.html) signalé.
Le problème était que les avocats de la compagnie aérienne et le juge n'ont trouvé aucune preuve des cas mentionnés dans le mémoire. Pourquoi? Parce que ChatGPT les avait tous inventés.
L'auteur du plaidoyer, un avocat hautement qualifié, Steven A. Schwartz du cabinet Levidow, Levidow & Oberman, a reconnu dans un affidavit qu'il avait utilisé le célèbre chatbot ChatGPT d'OpenAI pour rechercher des cas connexes, mais a affirmé qu'il s'était "révélé". être peu fiable.
Schwartz a déclaré au juge qu'il n'avait jamais utilisé ChatGPT auparavant et "n'était donc pas au courant de la possibilité que son contenu puisse être faux".
Lors de la création du dossier, Schwartz a même demandé à ChatGPT de confirmer que les cas se sont réellement produits. Le chatbot, toujours utile, a répondu par l'affirmative, affirmant que des informations à leur sujet pouvaient être trouvées dans des "bases de données juridiques réputées".
L'avocat au centre de la tempête a déclaré qu'il "regrette beaucoup" d'avoir utilisé ChatGPT pour créer le dossier et a insisté sur le fait qu'il ne le ferait "jamais à l'avenir sans une vérification absolue de son authenticité".
Considérant ce qu'il a décrit comme une soumission légale pleine de "fausses décisions judiciaires, avec de fausses citations et de fausses citations internes", et décrivant la situation comme sans précédent, le juge Castel a ordonné une audience au début du mois prochain pour envisager d'éventuelles sanctions.
ChatGPT est-il un outil de tromperie et de mensonge ?
Chat-Generative Pre-Trained Transformer (ChatGPT) est un chatbot conversationnel basé sur Generative-Pre-Trained Transformer-3.5 (GPT-3.5), un LLM avec plus de 175 milliards de paramètres.
Ses données de formation sont tirées de diverses publications en ligne, notamment des livres, des revues et des sites Web. ChatGPT peut intégrer la complexité des intentions des utilisateurs en affinant les tâches conversationnelles en utilisant l'apprentissage par renforcement à partir de l'entrée humaine. En conséquence, il peut répondre avec compétence à une variété de tâches de l'utilisateur final, y compris éventuellement des demandes connexes.
Cela signifie que, sur la base des contributions ou des demandes de l'utilisateur, ChatGPT peut se connecter aux informations stockées dont il dispose déjà et les affiner pour s'assurer qu'elles restent sur la conversation initiée par ledit utilisateur même si elle ne peut pas être tout à fait exact dans ce sens.
Ce que vous ne savez peut-être pas sur ChatGPT, c'est qu'il présente des limites importantes en tant qu'assistant de recherche fiable.
L'une de ces limitations est qu'il est connu pour fabriquer ou "halluciner" (en termes d'apprentissage automatique) des citations. Ces citations peuvent sembler légitimes et savantes, mais elles ne sont pas réelles. Il est important de noter que l'IA peut générer des réponses en toute confiance sans étayer les données, tout comme une personne sous l'influence d'hallucinations peut parler en toute confiance sans raisonnement approprié. Si vous essayez de trouver ces sources via Google ou la bibliothèque, vous n'aurez RIEN.
Une fois, j'ai demandé à ChatGPT de me donner le lien à titre de référence, et cela a généré un lien qui était associé à la plate-forme médiatique populaire Reuters. Mais en cherchant ce même lien sur Google et sur Reuters lui-même, j'ai découvert qu'il n'était pas existentiel.
Par conséquent, alors que ChatGPT et d'autres chatbots similaires sont remarquables dans la façon dont ils produisent un langage fluide de haute qualité, ils sont également connus pour inventer des informations et les présenter comme vraies, comme Schwartz l'a découvert à son détriment. C'est de la tromperie et du mensonge.
Le phénomène est connu comme "hallucinant" et est l'un des plus grands défis auxquels sont confrontés les développeurs humains derrière les chatbots alors qu'ils cherchent à aplanir ce pli très problématique.