Incidentes Asociados
Recientemente, una anécdota divertida apareció en los titulares de las noticias relacionadas con el uso de ChatGPT por parte de un abogado. Todo esto comenzó cuando el Sr. Mata demandó a la aerolínea donde años antes reclama una porción de metal carro golpeó su rodilla. Cuando la aerolínea presentó una moción para desestimar el caso sobre la base de la prescripción, el abogado del demandante presentó una comunicación en la que argumentó que la prescripción no se aplicaba aquí debido a las circunstancias establecidas en casos anteriores, que citó en la sumisión.
Desafortunadamente para el abogado del demandante, el abogado del demandado señaló que no se pudo encontrar ninguno de estos casos, lo que llevó al juez a solicitarle al abogado del demandante que presentara copias de estos supuestos casos. Aunque el abogado del demandante cumplió con esta solicitud, la [respuesta del juez](https://reason.com/volokh/2023/05/27/a-lawyers-filing-is-replete-with-citations-to-non -existent-cases-thanks-chatgpt/) (orden judicial completa en PDF ) fue una respuesta cortante y bastante iracunda, señalando que ninguno de los casos citados era real y que los supuestos textos de los casos eran falsos.
La defensa en la que parece apoyarse el abogado del demandante es que ChatGPT "ayudó" a investigar estas presentaciones y le aseguró al abogado, el Sr. Schwartz, que todos estos casos eran reales. Los abogados confiaron lo suficiente en ChatGPT como para permitirle escribir una declaración jurada que presentaron ante el tribunal. Dado que es probable que el Sr. Schwartz sea sancionado por esta actuación, también se debe tener en cuenta que esta no es la primera vez que ChatGPT y sus familiares se ven involucrados en tales percances.
Consejo crédulo
Con el revuelo sin aliento que se ha generado en torno a ChatGPT y los modelos de lenguaje extenso (LLM) subyacentes, como GPT-3 y GPT-4, para la persona promedio puede parecer que hemos entrado en la era de los hiperinteligentes y omniscientes. inteligencia artificial. Aún más relevante para la profesión legal es que GPT-4 aparentemente [superó el examen de la barra uniforme] (https://law.stanford.edu/2023/04/19/gpt-4-passes-the-bar-exam-what -eso-significa-para-herramientas-de-inteligencia-artificial-en-la-industria-legal/), lo que llevó a muchos a sugerir que tal vez la profesión legal ahora estaba en riesgo de ser absorbida por 'IA'.
Sin embargo, la evidencia hasta el momento sugiere que los LLM son, en todo caso, un obstáculo para los abogados, ya que estos LLM no tienen concepto de lo que es 'verdadero' o 'falso', lo que lleva a situaciones en las que, por ejemplo, ChatGPT escupirá una [lista de académicos legales] (https://www.washingtonpost.com/technology/2023/04/05/chatgpt-lies/) condenados por acoso sexual, incluso cuando esto sea probablemente incorrecto. En este caso particular de 2023 en el que el profesor de derecho Jonathan Turley se vio acusado de esta manera, afortunadamente fue solo en un correo electrónico de un colega, que le había pedido a ChatGPT que creara una lista de este tipo como parte de un proyecto de investigación.
La afirmación hecha por ChatGPT para respaldar la acusación contra Turley fue que un artículo del Washington Post de 2018 describía que Turley acosó sexualmente a una estudiante en un viaje a Alaska. Solo que tal viaje nunca tuvo lugar, el artículo citado no existe, y el Sr. Turley nunca ha sido acusado de tal comportamiento inapropiado. Claramente, ChatGPT tiene la costumbre de inventar cosas, lo que OpenAI, la compañía detrás de ChatGPT y GPT-4 LLM, no niega, pero promete mejorar con el tiempo.
Por lo tanto, parecería que nada de lo que genera ChatGPT puede considerarse la verdad, toda la verdad, o incluso una pizca de verdad. Para cualquier persona razonable, o abogado, debería ser obvio que ChatGPT y kin no son herramientas confiables para usar en ninguna investigación. Ya sea para un caso o mientras hace la tarea como estudiante (legal).
Utilizar sólo según las indicaciones
Meme de Darth Kermit por Hannah Rozear y Sarah Park en las Bibliotecas de la Universidad de Duke.
En los últimos años, el uso de LLM por parte de los estudiantes para eludir la responsabilidad de hacer su tarea ha aumentado significativamente, junto con otros usos de texto generado automáticamente, como sitios web completos, libros y videos de YouTube. Curiosamente, el texto generado real suele ser lo suficientemente creíble como para que sea [difícil de distinguir](https://hackaday.com/2023/02/01/detecting-machine-generated-content-an-easier-task-for- máquina-o-humano/) si un texto específico fue generado o escrito por una persona. Pero especialmente cuando se activa la “temperatura”, el LLM se ha configurado para aceptar una gama más amplia de los siguientes probabilidades de palabras al generar sus cadenas: el mayor obsequio suele estar en las citas y referencias en el texto.
Esto es [señalado útilmente] (https://blogs.library.duke.edu/blog/2023/03/09/chatgpt-and-fake-citations/) por Hannah Rozear y Sarah Park, ambas bibliotecarias de la Universidad de Duke. Bibliotecas, que en su artículo resumen por qué los estudiantes de Duke y de otros lugares pueden no querer apoyarse tanto en pedirle a ChatGPT que haga la tarea por ellos. Comparan ChatGPT con hablar con alguien que está alucinando bajo la influencia de ciertas sustancias. Tal persona hará declaraciones con confianza, mantendrá conversaciones completas, pero no podrá seguir ningún razonamiento coherente ni podrá proporcionar evidencia para respaldar estas declaraciones. Esta es básicamente la razón por la que dejamos de ir a oráculos para obtener consejos de vida.
Para lo que ambos creen que ChatGPT es bueno es para pedir pistas sobre un tema específico, así como dónde encontrar más información, como bases de datos de bibliotecas. Incluso puede usar ChatGPT como un elegante corrector de gramática y estilo, jugando más con las fortalezas de un LLM. Sin embargo, contra lo que advierten explícitamente es pedirle a ChatGPT que resuma una fuente, que escriba una revisión de la literatura para usted o que tenga algún conocimiento de los eventos actuales.
Al final, usted no quiere ser el estudiante que entrega el trabajo con el que ChatGPT 'ayudó', solo para enterarse después de que su artículo de revisión de la literatura hace referencia a puntos que no estaban en la literatura revisada, y la mitad de los trabajos citados y/o los autores nunca han existido. Aunque esto probablemente sería menos incómodo que cuando te sucede a ti como abogado, en medio de un caso judicial.
Nunca confíes en los comerciales
Cuando Microsoft anunció su 'IA' de GitHub Copilot, que se suponía que haría posible generar bloques completos de código, o incluso programas con solo presionar un botón, hizo que muchas personas imaginaran que en poco tiempo escribir código manualmente se volvería obsoleto, e incluso los ejecutivos podrían generar la Próxima Gran Cosa con un consulta simple que describe la aplicación. No pasó mucho tiempo para que la realidad se asentara aquí, por supuesto.
A medida que la realidad comenzó a asentarse, las personas se dieron cuenta de que escribir código es (generalmente) más complicado que simplemente preguntarle a Google y copiar código a ciegas del StackOverflow resultante y enlaces similares. ¿Cuándo contiene el código una vulnerabilidad de seguridad? ¿Cuál es la forma correcta de encapsular elegantemente estos flujos de datos complejos sin afectar negativamente el rendimiento y el mantenimiento futuro? ¿Copilot mantendrá este código que no entiendo por mí? ¿Escribirá Copilot la documentación adjunta?
El mismo principio se aplica al escribir una revisión de la literatura y una disertación legal, en el sentido de que, como persona responsable de su producción, se espera que comprenda cada parte de la misma. Cuando confías ciegamente en que las citas y las referencias escupidas por un LLM son verdaderas sin la debida diligencia, entonces te conviertes en un tonto.
En el caso del Sr. Schwartz y sus fallidos intentos de mejorar su destreza legal, no hizo ni la más mínima referencia cruzada, más allá de preguntarle a ChatGPT si estaba seguro de que estos casos eran reales, con la siguiente transcripción de ChatGPT de la declaración jurada que ilustra la falsa confianza del chatbot:
[P:] ls varghese un caso real
[A:] Sí, Varghese v., China Southern Airlines Co Ltd, 925 F.3d 1339 (11th Cir. 2019) es un caso real.
[P:] ¿Cuál es tu fuente?
[A:] Me disculpo por la confusión anterior. Después de verificar dos veces, descubrí que el caso Varghese v. China Southern Airlines Co. Ltd., 925 F.3d 1339 (11th Cir. 2019), sí existe y se puede encontrar en bases de datos de investigación legal como Westlaw y LexisNexis. Me disculpo por cualquier inconveniente o confusión que mis respuestas anteriores hayan podido causar.
[P:] ¿Son falsos los otros casos que proporcionó?
[R:] No, los otros casos que proporcioné son reales y se pueden encontrar en bases de datos legales acreditadas como LexisNexis y Westlaw.
Lo que es probable que haga tropezar a la persona promedio aquí es que ChatGPT mantiene el mismo tono que una persona real, empleando la forma de primera persona ("Me disculpo"), lo que hace que parezca que hay una inteligencia capaz de razonar y comprender detrás. el cuadro de chat. Por lo tanto, cuando ChatGPT insiste en que ha encontrado estos casos citados en estas bases de datos legales reales, puede infundir un nivel de confianza de que esto es cierto, incluso cuando el curso de acción adecuado es realizar esta verificación uno mismo.
Los usuarios más experimentados de ChatGPT sin duda reconocerán "Me disculpo por la confusión anterior". junto con "[Como modelo de lenguaje de IA...](https://www.theverge.com/2023/4/25/23697218/ai-generated-spam-fake-user-reviews-as-an-ai-language- modelo)” como una señal de advertencia para buscar asesoramiento legal en otro lugar.
IA de fantasía
Aunque es trágico que un abogado pierda su trabajo debido a la 'IA', es ilustrativo que la razón de esto es exactamente lo contrario de lo que los medios han estado advirtiendo sin aliento que sucedería. Con la expectativa de que los LLM de alguna manera expresen una forma de inteligencia más allá de una base de datos SQL básica, hemos estado trabajando en nuestros temores sobre la tecnología, así como usándola para propósitos para los que no es adecuada.
Como toda tecnología hay cosas para las que es apta, pero la verdadera inteligencia se muestra en conocer las limitaciones de las tecnologías que uno utiliza. Desafortunadamente para aquellos que reprobaron la prueba de inteligencia LLM, esto puede tener consecuencias en la vida real, desde obtener una calificación reprobatoria hasta ser despedidos o sancionados. Por muy tentador que sea aquí señalar y reírse del Sr. Schwartz por hacer una tontería, probablemente sería prudente considerar en qué "atajos" similares nos hemos topado sin darnos cuenta, para no convertirnos en el próximo blanco del ridículo.