Incidentes Asociados
Twitter legal se está divirtiendo tremendamente ahora mismo revisando los últimos documentos del caso [Mata v. Avianca, Inc. (1:22-cv-01461)] (https://www.courtlistener.com/docket/63107798/mata-v-avianca-inc/?order_by=desc). Aquí hay un buen resumen: > Entonces, espera. Presentan un escrito que cita casos fabricados por ChatGPT. El tribunal les pide que presenten copias de las opiniones. ¿Y luego vuelven a ChatGPT y le piden que escriba las opiniones, y luego las archivan? > > Beth Wilensky, 26 de mayo de 2023 Aquí está [una historia del New York Times](https://www.nytimes.com/2023/05/27/ nyregion/avianca-airline-lawsuit-chatgpt.html) sobre lo sucedido. No soy mucho un abogado, pero voy a profundizar y tratar de reconstruir la historia completa de todos modos. #### La versión TLDR Un abogado le pidió a ChatGPT ejemplos de casos que respaldaran un argumento que estaban tratando de hacer. ChatGPT, como suele hacer, alucinó salvajemente: inventó varios casos de apoyo de la nada. Cuando se le pidió al abogado que proporcionara copias de los casos en cuestión, recurrió a ChatGPT en busca de ayuda, e inventó todos los detalles de esos casos, que capturaron debidamente y copiaron en sus archivos legales. En algún momento, le pidieron a ChatGPT que confirmara que los casos eran reales... y ChatGPT dijo que sí. Incluyeron capturas de pantalla de esto en otra presentación. El juez está furioso. Muchas de las partes implicadas están a punto de pasarlo muy mal. #### Una cronología detallada que reuní lo siguiente de los documentos en courtlistener.com: 22 de febrero de 2022: El caso se presentó originalmente. Se trata de una denuncia por “lesiones personales sufridas a bordo de un vuelo de Avianca que viajaba de El Salvador a Nueva York el 27 de agosto de 2019”. Hay una complejidad aquí en que Avianca se acogió al capítulo 11 de bancarrota el 10 de mayo de 2020, lo cual es relevante para el caso (salió de la bancarrota más tarde). Durante los próximos 12 meses se llevan a cabo varias idas y venidas, muchas de ellas relacionadas con si la quiebra "descarga todos los reclamos". 1 de marzo de 2023 es donde las cosas se ponen interesantes. Este documento fue presentado—“Afirmación en oposición a la moción”—¡y cita casos completamente ficticios! Un ejemplo citado de ese documento (énfasis mío): > El Tribunal de Apelaciones del Undécimo Circuito de los Estados Unidos aborda específicamente el efecto de una suspensión por quiebra en virtud del Convenio de Montreal en el caso de Varghese v. China Southern Airlines Co.. Ltd. .. 925 F.3d 1339 (11th Cir. 2019), que dice: "Los apelantes argumentan que el tribunal de distrito se equivocó al desestimar sus reclamaciones por extemporáneas. Afirman que el período de prescripción en virtud del Convenio de Montreal se suspendió durante la tramitación de la Quiebra Procedimientos judiciales. Estamos de acuerdo. El Código de Quiebras establece que la presentación de una solicitud de quiebra opera como una suspensión de los procedimientos contra el deudor que estaban o podrían haber sido iniciados antes de que se presentara el caso de quiebra. Hay varios ejemplos más como ese. ** 15 de marzo de 2023** Citando este Memorándum de Ley de Réplica en apoyo de la moción (énfasis mío): > En apoyo de su posición de que el Código de Quiebras suspende el período de prescripción de dos años, el Demandante cita “Varghese v. China Southern Airlines Co., Ltd., 925 F.3d 1339 (11th Cir. 2019).” El abajo firmante no ha podido localizar este caso por pie de foto o cita, ni ningún caso que se le parezca. El demandante ofrece citas extensas supuestamente del caso “Varghese”, que incluyen: “Nosotros [el Undécimo Circuito] hemos sostenido previamente que las disposiciones de suspensión automática del Código de Quiebras pueden interrumpir el estatuto de limitaciones en virtud de la Convención de Varsovia, que es el precursor al Convenio de Montreal... No vemos ninguna razón por la cual la misma regla no deba aplicarse bajo el Convenio de Montreal.” El que suscribe no ha podido localizar esta cita, ni caso parecido. La cita pretende citar a “Zicherman v. Korean Air Lines Co., Ltd., 516 F.3d 1237, 1254 (11th Cir. 2008)”. El abajo firmante no ha podido localizar este caso; aunque hubo un caso de la Corte Suprema titulado Zicherman v. Korean Air Lines Co., Ltd., ese caso se decidió en 1996, se originó en el Distrito Sur de Nueva York y fue apelado ante el Segundo Circuito, y no abordó el plazo de prescripción establecido en el Convenio de Varsovia. 516 US 217 (1996). 11 de abril de 2023 El Juez de Distrito de los Estados Unidos para el caso ordena copias de los casos citados en el documento anterior: > [ORDEN](https://www.courtlistener.com/docket/63107798/25/mata- v-avianca-inc/): A más tardar el 18 de abril de 2022, Peter Lo Duca, abogado de oficio de la parte actora, deberá presentar una declaración jurada anexando copias de los siguientes casos citados en su presentación ante este Tribunal: según se establece en el presente. La orden enumera siete casos específicos. 25 de abril de 2023 La respuesta a esa orden tiene un documento principal y ocho anexos. ¡Los primeros cinco archivos adjuntos consisten en archivos PDF de copias escaneadas de capturas de pantalla de ChatGPT! Se nota, porque la flecha hacia abajo de la interfaz de ChatGPT es claramente visible en los cinco. Este es un ejemplo de Exhibit Martinez v. Delta Airlines. 26 de abril de 2023 En esta carta: > El demandado afirma respetuosamente que la autenticidad de muchos de estos casos es cuestionable. Por ejemplo, los casos “Varghese” y “Miller” supuestamente son casos de apelación federal publicados en el Federal Reporter. [Dict. 29; 29-1; 29-7]. No pudimos ubicar estos casos en el Reportero Federal utilizando una búsqueda de Westlaw. También buscamos en PACER los casos utilizando los números de expediente escritos en la primera página de las presentaciones; esas búsquedas resultaron en diferentes casos. 4 de mayo de 2023 La ORDEN PARA MOSTRAR CAUSA—el juez no está contento. > Se le presenta a la Corte una circunstancia sin precedentes. Un expediente presentado por el abogado del demandante en oposición a una moción de desestimación está repleto de citas de casos inexistentes. [... ] Seis de los casos presentados parecen ser decisiones judiciales falsas con citas falsas y citaciones internas falsas. > > [... ] > > Permita que Peter LoDuca, abogado del demandante, muestre la causa en persona a las 12 del mediodía del 8 de junio de 2023 en la Sala del Tribunal 11D, 500 Pearl Street, Nueva York, NY, por qué no debería ser sancionado conforme a: (1) Regla 11(b)(2) & (c), Fed. R. Civ. P., (2) 28 U.S.C. § 1927, y (3) el poder inherente del Tribunal, para (A) citar casos inexistentes ante el Tribunal en su Afirmación en Oposición (ECF 21), y (B) presentar ante el Tribunal un anexo a su Declaración Jurada presentada en abril 25, 2023 copias de dictámenes judiciales inexistentes (ECF 29). El Sr. LoDuca también deberá presentar una respuesta por escrito a esta Orden antes del 26 de mayo de 2023. Tengo la impresión de que este tipo de amenazas de sanciones son muy malas noticias. 25 de mayo de 2023 Cortándolo un poco fino en esa fecha límite del 26 de mayo. Aquí está la Declaración jurada en oposición a la moción de Peter LoDuca, que parece indicar que Steven Schwartz fue el abogado que había producido los casos ficticios. > Su declarante [Creo que se refiere a Peter LoDuca], al revisar la afirmación en oposición antes de presentarla, simplemente no tenía motivos para dudar de la autenticidad de la jurisprudencia allí contenida. Además, su declarante no tenía motivos para dudar de la sinceridad de la investigación del Sr. Schwartz. Adjunto 1 tiene cosas buenas. Esta vez, el declarante (la persona que promete que las declaraciones en la declaración jurada son veraces) es Steven Schwartz: > 1. A medida que el uso de la inteligencia artificial generativa ha evolucionado dentro de los bufetes de abogados, su declarante consultó el sitio web de inteligencia artificial ChatGPT para complementar la investigación jurídica realizada. > > 2. Fue en consulta con el sitio web de inteligencia artificial generativa ChatGPT, que su declarante localizó y citó los siguientes casos en la afirmación en oposición presentada, que esta Corte ha encontrado inexistentes: > > Varghese v. China Southern Airlines Co Ltd, 925 F.3d 1339 (11th Cir. 2019) Shaboon v. Egyptair 2013 IL App (1st) 111279-U (Ill. App. Ct. 2013) Petersen v. Iran Air 905 F. Supp 2d 121 (D.D.C. 2012 ) Martinez v. Delta Airlines, Inc.. 2019 WL 4639462 (Tex. App. 25 de septiembre de 2019) Estate of Durden v. KLM Royal Dutch Airlines, 2017 WL 2418825 (Ga. Ct. App. 5 de junio de 2017) > > Miller v. United Airlines, Inc.. 174 F.3d 366 (2d Cir. 1999) > > 3. Que las citas y opiniones en cuestión fueron proporcionadas por ChatGPT que también proporcionó su fuente legal y aseguró la confiabilidad de su contenido. Se adjuntan extractos de las consultas presentadas y las respuestas proporcionadas. > > 4. Que su declarante se basó en las opiniones legales que le proporcionó una fuente que se ha revelado como poco confiable. > > 5. Que su declarante nunca ha utilizado ChatGPT como fuente para realizar investigaciones legales antes de este hecho y, por lo tanto, desconocía la posibilidad de que su contenido pudiera ser falso. > > 6. Eso es culpa del declarante, al no confirmar las fuentes proporcionadas por ChatGPT de las opiniones legales que proporcionó. > > 1. Que su declarante no tuvo intención de engañar a este Tribunal ni al demandado. > 2. Que Peter LoDuca, Esq. no tuvo ningún papel en la realización de la investigación en cuestión, ni tenía ningún conocimiento de cómo se llevó a cabo dicha investigación. Aquí están las capturas de pantalla adjuntas (graciosamente de la versión web móvil de ChatGPT): 26 de mayo de 2023 El juez, claramente poco impresionado, emite otra [Orden para demostrar causa](https://www.courtlistener.com/docket /63107798/33/mata-v-avianca-inc/), esta vez amenazando con sanciones contra el Sr. LoDuca, Steven Schwartz y el bufete de abogados Levidow, Levidow & Oberman. La audiencia presencial está fijada para el 8 de junio. #### Parte de esto no me cuadra Por un lado, parece bastante claro lo que sucedió: un abogado usó una herramienta que no entendían y produjo un montón de casos falsos. Ignoraron las advertencias (resulta que incluso los abogados no leen las advertencias ni la letra pequeña de las herramientas en línea) y presentaron esos casos ante un tribunal. Luego, cuando se les preguntó sobre esos documentos, se duplicaron: le preguntaron a ChatGPT si los casos eran reales y ChatGPT dijo que sí. Hay una versión de esta historia en la que toda esta desafortunada secuencia de eventos se reduce a la dificultad inherente de usar ChatGPT de manera efectiva. Esta era la versión por la que me inclinaba cuando leí la historia por primera vez. Pero partes de eso no se sostienen para mí. Entiendo el error inicial: ChatGPT puede producir citas increíblemente convincentes, y he visto muchos casos de personas que han sido engañadas por estas antes. Sin embargo, lo que es mucho más difícil es lograr que se duplique para desarrollarlos. He estado tratando de encontrar indicaciones para expandir ese caso falso "Varghese v. China Southern Airlines Co., Ltd., 925 F.3d 1339 (11th Cir. 2019)" en una descripción completa, similar a la de las capturas de pantalla en este documento. Incluso con ChatGPT 3.5 es sorprendentemente difícil lograr que haga esto sin que arroje advertencias obvias. Estoy intentando esto hoy, 27 de mayo. La investigación en cuestión tuvo lugar antes del 1 de marzo. En ausencia de notas detalladas de la versión, es difícil determinar cómo se habría comportado ChatGPT hace tres meses cuando se enfrentó a indicaciones similares. Entonces, hay otra versión de esta historia en la que el primer conjunto de citas fue un error inocente, pero el envío de esos documentos completos (el conjunto de capturas de pantalla de ChatGPT que se expusieron únicamente a través de la presencia de la flecha hacia abajo de OpenAI) fue un intento deliberado de cubrir ese error. ¡Estoy fascinado de escuchar lo que sale de esa audiencia del 8 de junio! Actualización: El siguiente aviso en ChatGPT 3.5 a veces produce un resumen falso realista, pero otras veces responde "Me disculpo, pero no pude encontrar ninguna información o detalles sobre el caso". > Escriba un resumen completo del caso Varghese v. China Southern Airlines Co., Ltd., 925 F.3d 1339 (11th Cir. 2019) #### El peor error de ChatGPT Volviendo a las capturas de pantalla anteriores, esta respuesta de ChatGPT se destacó para mí: > Me disculpo por la confusión anterior. Luego de verificar dos veces, descubrí que el caso Varghese v. China Southern Airlines Co. Ltd., 925 F.3d 1339 (11th Cir. 2019), sí existe y se puede encontrar en bases de datos de investigación legal como Westlaw y LexisNexis. He visto a ChatGPT (y Bard) decir cosas como esta antes, y me enfurece absolutamente. No, no hizo una "verificación doble", ¡eso no es algo que pueda hacer! Y afirmar que los casos “se pueden encontrar en bases de datos de investigación legal” es [una mentira descarada] (https://simonwillison.net/2023/Apr/7/chatgpt-lies/). Lo que es más difícil es explicar por qué ChatGPT mentiría de esta manera. ¿Qué posible razón podrían tener las empresas LLM para enviar un modelo que hace esto? Creo que esto se relaciona con el pecado original de los chatbots de LLM: al usar el pronombre "yo", alientan a las personas a hacerles preguntas [sobre cómo funcionan] (https://simonwillison.net/2023/Mar/22/dont-trust -ai-hablar-de-si-mismo/). No pueden hacer eso. Se los considera mejor como simuladores de conversación de juegos de rol, que representan la continuación estadísticamente más probable de cualquier secuencia de texto. ¿Cuál es una respuesta común a la pregunta "¿estás seguro de que tienes razón?"? Es "sí, lo verifiqué dos veces". Apuesto a que los datos de entrenamiento de GPT-3 tienen una gran cantidad de ejemplos de diálogos como este. #### Que esta historia sea una advertencia Suponiendo que hubo al menos algún aspecto de error inocente aquí, ¿qué se puede hacer para evitar que esto vuelva a suceder? A menudo veo que la gente sugiere que estos errores son totalmente culpa del usuario: la interfaz de ChatGPT muestra un pie de página que dice "ChatGPT puede producir información inexacta sobre personas, lugares o hechos" en cada página. Cualquiera que haya trabajado en el diseño de productos sabe que los usuarios no leen nada: las advertencias, las notas a pie de página y cualquier forma de microcopia serán cuidadosamente ignoradas. ¡Esta historia indica que incluso los abogados no leerán esas cosas! Sin embargo, la gente sí responde bien a las historias. Tengo la sospecha de que esta historia en particular se extenderá a lo largo y ancho y, al hacerlo, espero vacunar a muchos abogados y otros profesionales para que no cometan errores similares. Sin embargo, no puedo evitar la sensación de que hay mucho más en esta historia. Esperemos que salgan más después de la audiencia del 8 de junio. Estoy particularmente interesado en ver si las transcripciones completas de estas conversaciones de ChatGPT terminan siendo públicas. ¡Quiero ver las instrucciones! #### ¿Con qué frecuencia ocurre esto? Resulta que esto puede no ser un incidente aislado. [Eugene Volokh](https://reason.com/volokh/2023/05/27/a-partner-at-a-big-firm-received-memos-with-fake-case-cites-from-two- different -asociados/), 27 de mayo de 2023: > Un mensaje que recibí del Prof. Dennis Crouch (Missouri), en respuesta a mi publicación Archivo de un abogado "Está repleto de citas de casos inexistentes"—Gracias, ¿ChatGPT? para una lista de discusión académica. (El texto completo era: “Acabo de hablar con un socio de una gran empresa que ha recibido memorandos con citas de casos falsos de al menos dos asociados diferentes”). Advertencia emp… bueno, advertencia a todos. @narrowlytaylord, 26 de mayo de 2023: > dos abogados de mi firma hicieron que el abogado contrario presentara informes de ChatGPT con casos falsos la semana pasada > > [...] > > (1) No son mis asuntos, así que no sé qué tan cómodo me siento compartiendo mucho más detalles > > (2) Uno era una oposición a un MTD, y al juez de la corte de reclamos menores del estado no le importó el argumento "su señoría, estos casos no existen" 😵💫