Incidentes Asociados
No creas todo lo que lees en internet.
Los abogados que representan a Michelle Parker, quien alegó haber sido difamada por una corporación en Parkwood, Johannesburgo, recibieron un vergonzoso recordatorio de esta obviedad recientemente cuando se determinó que las sentencias citadas como material de referencia para reforzar el caso de la demandante resultaron ser ficticias. La fuente utilizada para encontrar estas supuestas sentencias fue ChatGPT.
El chatbot de inteligencia artificial fue desarrollado por OpenAI y lanzado el 30 de noviembre de 2022. Cuatro meses después, OpenAI lanzó un nuevo modelo de lenguaje grande, o LLM, llamado GPT-4, con capacidades notablemente mejoradas. Para mayo, Claude, la IA generativa de Anthropic, era capaz de procesar 100 000 fragmentos de texto, equivalentes a unas 75 000 palabras por minuto (la longitud de una novela promedio), en comparación con los aproximadamente 9000 fragmentos que procesaba cuando se presentó en marzo. En mayo, Google anunció varias funciones nuevas impulsadas por IA generativa, como Search Generative Experience y un nuevo LLM llamado PaLM 2 que impulsará su chatbot Bard.
Estas aplicaciones de IA generativa han cautivado a personas de todo el mundo, pero también son conocidas por generar errores o "alucinaciones". Por ello, suelen incluir descargos de responsabilidad claramente visibles que advierten sobre este problema.
En otras palabras, caveat lector (que el lector tenga cuidado).
Las conclusiones de la sentencia del magistrado Arvin Chaitram, dictada en el Tribunal Regional de Johannesburgo, se publicaron por primera vez en el Sunday Times (https://times-e-editions.pressreader.com/article/281479280874120). El caso se presentó ante el magistrado en marzo, cuando Claire Avidon, abogada de los administradores de la entidad corporativa, argumentó que una entidad corporativa no puede ser demandada por difamación.
Jurie Hayes, abogado de Parker, argumentó que existían sentencias anteriores que respondían a esta pregunta. Chaitram concedió un aplazamiento hasta finales de mayo, "ya que la cuestión parecía novedosa y podría ser decisiva para toda la acción", solicitando a ambas partes que buscaran las "autoridades sugeridas".
Lo que siguió fue un "esfuerzo concertado" para lograrlo, que incluyó "amplias conversaciones con los diversos Tribunales Superiores de todo el país, conversaciones con secretarios judiciales de varias provincias y conversaciones con bibliotecarios jurídicos de la biblioteca del Consejo de Práctica Legal".
Cuando se solicitó la ayuda de la biblioteca del Colegio de Abogados de Johannesburgo, los bibliotecarios afirmaron que tampoco pudieron encontrar las sentencias. Fueron los primeros en sospechar que los casos podrían haber sido generados por ChatGPT.
Esto se confirmó posteriormente en el tribunal, según la sentencia, cuando "el abogado del demandante explicó que su abogado había obtenido los casos a través de ChatGPT". La sentencia declaró que los abogados de Parker habían aceptado el resultado del chatbot de IA "sin cerciorarse de su exactitud".
"Los nombres y las citaciones son ficticios, los hechos son ficticios y las decisiones son ficticias", declaró la sentencia.
Esto podría haber resultado muy perjudicial para el equipo de abogados del demandante si hubieran presentado estas sentencias ficticias ante el tribunal. Sin embargo, al ver que solo se presentaron a la parte contraria, el magistrado concluyó que los abogados del demandante no pretendían engañar al tribunal; simplemente actuaron con exceso de celo y descuido.
Sin embargo, el tribunal ordenó a Parker pagar las costas punitivas.
"De hecho, el tribunal ni siquiera lo considera punitivo. Es simplemente apropiado. La vergüenza asociada con este incidente probablemente sea un castigo suficiente para los abogados del demandante", declaró Chaitram.
¿Tiene la IA un papel que desempeñar en la práctica jurídica?
En relación con el caso, el bufete Norton Rose Fulbright afirmó que herramientas de IA como ChatGPT pueden ser útiles para explorar conceptos jurídicos y posibles argumentos o respuestas legales a un alto nivel.
"Ofrecen un punto de partida para futuras investigaciones y análisis. Sin embargo, no deben ser la única ni la última fuente de investigación jurídica. Toda la información y las fuentes, generadas o no por IA, deben verificarse de forma independiente".
Sin embargo, el bufete enfatiza que la confidencialidad del cliente sigue siendo primordial. "Las herramientas de IA no deben acceder a ningún dato confidencial del cliente, ya que su seguridad podría no estar garantizada".
El bufete desaconsejó la prohibición total del uso de la IA en un bufete, argumentando que no era una solución práctica ni beneficiosa.
"La impresionante utilidad de estas herramientas, cuando se utilizan correctamente, puede ser un activo valioso para los profesionales del derecho e, incluso con una prohibición, es probable que el personal siga intentando utilizarlas. En cambio, deberíamos centrarnos en aprender a utilizar la IA de forma correcta y segura, y en comprender su potencial y limitaciones para evitar nuevos casos como el que se ha presentado".
¿Cuándo ChatGPT se equivoca, quién paga?
Este no es el único caso en el que las graves equivocaciones de ChatGPT han llegado a los medios... o a los tribunales.
Un caso legal en curso en Georgia, Estados Unidos, está destinado a tener un impacto significativo en el establecimiento de un estándar en el campo de la IA generativa.
Informado inicialmente por Bloomberg Law, el locutor de radio de Georgia, Mark Walters, descubrió que ChatGPT estaba difundiendo información falsa sobre él, acusándolo de malversación de fondos. Como resultado, demandó a OpenAI, en lo que constituye la primera demanda por difamación de la compañía.
Según la demanda, Walters contra OpenAI LLC, la desinformación surgió cuando Fred Riehl, editor jefe de la publicación de armas AmmoLand, solicitó a ChatGPT un resumen de Second Amendment Foundation contra Ferguson como antecedente para un caso sobre el que estaba informando.
ChatGPT proporcionó a Riehl un resumen del caso, que afirmaba que Alan Gottlieb, fundador de la Fundación de la Segunda Enmienda (SAF), acusó a Walters de "defraudar y malversar fondos de la SAF".
Como informó en junio ZDNET, un sitio web de noticias sobre tecnología empresarial, Walters afirmó que todos los "hechos" del resumen eran falsos. Solicita una indemnización a OpenAI mediante daños generales y punitivos, así como el reembolso de los gastos incurridos durante la demanda.
Algunas de las preguntas que esta demanda podría arrojar luz incluyen quién debería ser considerado responsable y si las exenciones de responsabilidad del sitio web sobre alucinaciones son suficientes para eximir de responsabilidad.
El qué y el porqué de las alucinaciones en la IA
El futurista Bernard Marr describe las alucinaciones en la IA como la generación de resultados que, aunque pueden parecer plausibles, son factualmente incorrectos o no guardan relación con el contexto dado.
"Estos resultados suelen surgir de los sesgos inherentes del modelo de IA, la falta de comprensión del mundo real o las limitaciones de los datos de entrenamiento. En otras palabras, el sistema de IA 'alucina' información con la que no ha sido entrenado explícitamente, lo que genera respuestas poco fiables o engañosas", escribe Marr en el artículo "ChatGPT: Qué son las alucinaciones y por qué son un problema para los sistemas de IA", publicado en línea el 22 de marzo.
En el artículo, enumera cuatro razones por las que las alucinaciones son un problema: la pérdida de confianza, las preocupaciones éticas, el impacto en la toma de decisiones y las implicaciones legales.
"Cuando los sistemas de IA producen información incorrecta o engañosa, los usuarios pueden perder la confianza en la tecnología, lo que dificulta su adopción en diversos sectores", escribe.
En cuanto a las implicaciones éticas, añade, los resultados alucinados pueden perpetuar estereotipos dañinos o desinformación.
En la toma de decisiones, los sistemas de IA se utilizan cada vez más para fundamentar decisiones críticas en campos como las finanzas, la salud y el derecho. Marr escribe que las alucinaciones pueden llevar a malas decisiones con graves consecuencias.
Y, como demuestran los dos casos legales mencionados, los resultados inexactos o engañosos pueden exponer a los desarrolladores y usuarios de IA a posibles responsabilidades legales.
Marr recomienda cuatro maneras de mejorar estos modelos para reducir las alucinaciones.
La primera es mejorar los datos de entrenamiento.
"Asegurarse de que los sistemas de IA se entrenen con conjuntos de datos diversos, precisos y contextualmente relevantes puede ayudar a minimizar la incidencia de alucinaciones", escribe.
También existe el "red teaming" (equipo rojo), cuando los desarrolladores de IA simulan escenarios adversarios para probar la vulnerabilidad del sistema de IA a las alucinaciones y mejorar el modelo iterativamente.
La transparencia —proporcionar a los usuarios información sobre el funcionamiento del modelo de IA y sus limitaciones— es un tercer aspecto. Marr escribe que esto puede ayudar a los usuarios a comprender cuándo confiar en el sistema y cuándo buscar verificación adicional.
Por último, sugiere involucrar a personas: incorporar revisores humanos para validar los resultados del sistema de IA puede mitigar el impacto de las alucinaciones y mejorar la fiabilidad general de la tecnología.
"Al comprender las causas de las alucinaciones e invertir en investigación para mitigar su incidencia, los desarrolladores y usuarios de IA pueden ayudar a garantizar que estas potentes herramientas se utilicen de forma responsable y eficaz", concluye Marr.
O los usuarios de ChatGPT y chatbots similares pueden seguir el consejo de Chaitram.
En su sentencia, el magistrado afirmó que el incidente fue un "oportuno recordatorio" de que "en lo que respecta a la investigación jurídica, la eficiencia de la tecnología moderna aún necesita una dosis de lectura independiente tradicional".