Incidentes Asociados
Si bien ChatGPT, el conocido modelo de lenguaje de IA, es sin duda una pieza de tecnología tremendamente fascinante, existen preocupaciones importantes sobre su idoneidad como herramienta y fuente de información y referencias confiables y precisas.
Los llamados para que se descarte como un recurso confiable para producir referencias y citas precisas para escribir ensayos, escenarios de la vida real y perspectivas humanas sobre temas cruciales y extremadamente importantes han sido respaldados por un hecho aún más reciente.
Una corte en los EE. UU. se vio envuelta en una situación extraña cuando un abogado presentó casos falsos como precedentes para respaldar su argumento en un caso en Nueva York. Resultó que le había pedido a ChatGPT ejemplos de casos que respaldaran el argumento y ChatGPT, en su forma habitual, alucinó salvajemente: inventó varios casos de respaldo de la nada.
Cuando se le pidió al abogado que proporcionara copias de los casos en cuestión, recurrió a ChatGPT en busca de ayuda nuevamente e inventó todos los detalles de esos casos, que capturaron debidamente y copiaron en sus archivos legales.
Como si eso no fuera suficiente, en algún momento, se le pidió a ChatGPT que confirmara que los casos eran reales y ChatGPT dijo que sí. Incluyeron capturas de pantalla de esto en otra presentación. El furioso juez en este punto quedó desconcertado.
Mata v. Avianca, Inc. (1:22-cv-01461) en detalles
El caso fue presentado originalmente el 22 de febrero de 2022 y se trata de una denuncia por “lesiones personales sufridas a bordo de un vuelo de Avianca que viajaba de El Salvador a Nueva York el 27 de agosto de 2019”. Hay una complejidad aquí en que Avianca se declaró en bancarrota del Capítulo 11 el 10 de mayo de 2020, lo cual es relevante para el caso (salió de la bancarrota más tarde).
Pero se produjeron varias idas y venidas durante los siguientes 12 meses, muchas de ellas relacionadas con si la quiebra "descarga todos los reclamos". Sin embargo, fue el 1 de marzo de 2023 cuando las cosas se pusieron interesantes, según Simonwillison.
La aerolínea Avianca pidió al juez que desestimara el caso. El equipo legal de Mata, en un esfuerzo por persuadir al juez para que permitiera que el caso de su cliente siguiera adelante, elaboró un informe en el que citaba media docena de casos similares que se habían dictaminado anteriormente, [The New York Times](https://www.nytimes. com/2023/05/27/nyregion/avianca-airline-lawsuit-chatgpt.html) informó.
El problema fue que los abogados de la aerolínea y el juez no pudieron encontrar ninguna prueba de los casos mencionados en el escrito. ¿Por qué? Porque ChatGPT los había inventado todos.
El autor de la declaración de culpabilidad, un abogado altamente calificado, Steven A. Schwartz de la firma Levidow, Levidow & Oberman, reconoció en una declaración jurada que había utilizado el elogiado chatbot ChatGPT de OpenAI para buscar casos relacionados, pero afirmó que "se había revelado a sí mismo". ser poco confiable.”
Schwartz le dijo al juez que no había usado ChatGPT antes y "por lo tanto, no estaba al tanto de la posibilidad de que su contenido pudiera ser falso".
Al crear el resumen, Schwartz incluso le pidió a ChatGPT que confirmara que los casos realmente sucedieron. El chatbot siempre útil respondió afirmativamente, diciendo que la información sobre ellos se podía encontrar en "bases de datos legales acreditadas".
El abogado en el centro de la tormenta dijo que "lamenta mucho" haber usado ChatGPT para crear el informe e insistió en que "nunca lo haría en el futuro sin una verificación absoluta de su autenticidad".
Mirando lo que describió como una presentación legal llena de “decisiones judiciales falsas, con citas falsas y citaciones internas falsas”, y describiendo la situación como sin precedentes, el juez Castel ordenó una audiencia para principios del próximo mes para considerar posibles sanciones.
¿ChatGPT es una herramienta para el engaño y la falsedad?
Chat-Generative Pre-Trained Transformer (ChatGPT) es un chatbot conversacional basado en Generative-Pre-Trained Transformer-3.5 (GPT-3.5), un LLM con más de 175 000 millones de parámetros.
Sus datos de capacitación se extraen de una variedad de publicaciones en línea, incluidos libros, revistas y sitios web. ChatGPT puede incorporar la complejidad de las intenciones de los usuarios ajustando las tareas conversacionales utilizando el aprendizaje de refuerzo a partir de la entrada humana. Como resultado, puede responder de manera competente a una variedad de tareas del usuario final, posiblemente incluyendo consultas relacionadas.
Lo que esto significa es que, en función de las contribuciones o consultas del usuario, ChatGPT puede iniciar sesión en la información almacenada que ya tiene y ajustarla para garantizar que permanezca en la conversación iniciada por dicho usuario, aunque no sea así. ser totalmente preciso en ese sentido.
Lo que quizás no sabe sobre ChatGPT es que tiene limitaciones significativas como asistente de investigación confiable.
Una de esas limitaciones es que se sabe que fabrica o "alucina" (en términos de aprendizaje automático) citas. Estas citas pueden sonar legítimas y académicas, pero no son reales. Es importante tener en cuenta que la IA puede generar respuestas con confianza sin datos de respaldo, al igual que una persona bajo la influencia de alucinaciones puede hablar con confianza sin un razonamiento adecuado. Si intenta encontrar estas fuentes a través de Google o la biblioteca, no encontrará NADA.
Una vez, le pedí a ChatGPT que me diera el enlace como referencia y generó un enlace que estaba asociado con la popular plataforma de medios de noticias, Reuters. Pero al buscar ese mismo enlace en Google y en Reuters mismo, descubrí que no era existencial.
Por lo tanto, si bien ChatGPT y otros chatbots similares se destacan por la forma en que producen un lenguaje fluido de alta calidad, también son conocidos por inventar información y presentarla como verdadera, como descubrió Schwartz en detrimento suyo. Esto es engaño y falsedad.
Sin embargo, el fenómeno se conoce como "alucinación" y es uno de los mayores desafíos que enfrentan los desarrolladores humanos detrás de los chatbots, ya que buscan solucionar este pliegue tan problemático.