Problema 6844

Gestionar las pertenencias de un ser querido tras su fallecimiento nunca es fácil. Pero, como han descubierto los tribunales estatales de Alaska, un chatbot de inteligencia artificial inexacto o engañoso puede empeorar fácilmente la situación.

Durante más de un año, el sistema judicial de Alaska ha estado diseñando un chatbot de IA generativa pionero, denominado Asistente Virtual de Alaska (AVA), para ayudar a los residentes a navegar por la compleja red de formularios y procedimientos relacionados con la sucesión, el proceso judicial de transferencia de bienes de una persona fallecida.

Sin embargo, lo que se suponía que sería un avance rápido, impulsado por IA, para aumentar el acceso a la justicia se ha convertido en un proceso prolongado de un año, plagado de falsos comienzos y respuestas erróneas.

AVA "se suponía que sería un proyecto de tres meses", afirmó Aubrie Souza, consultora del Centro Nacional de Tribunales Estatales (NCSC), quien ha trabajado en su evolución y ha sido testigo de su evolución. “Ya llevamos más de un año y tres meses, pero todo gracias a la debida diligencia que se requirió para que funcionara correctamente”.

El diseño de esta solución de IA a medida ha puesto de manifiesto las dificultades que enfrentan las agencias gubernamentales de Estados Unidos para aplicar potentes sistemas de IA a problemas del mundo real donde la veracidad y la fiabilidad son primordiales.

“Con un proyecto como este, necesitamos ser 100% precisos, y eso es realmente difícil con esta tecnología”, dijo Stacey Marz, directora administrativa del Sistema Judicial de Alaska y una de las líderes del proyecto AVA.

“Bromeo con mi personal en otros proyectos tecnológicos diciendo que no podemos esperar que estos sistemas sean perfectos, de lo contrario nunca podríamos implementarlos. Una vez que tengamos el producto mínimo viable, lo lanzaremos y lo mejoraremos a medida que aprendamos”.

Pero Marz dijo que cree que este chatbot debería tener un estándar más alto. Si las personas toman la información que reciben de su aviso y actúan en consecuencia, y esta no es precisa o está incompleta, podrían sufrir graves daños. Podría ser increíblemente perjudicial para esa persona, su familia o su patrimonio.

Si bien muchas agencias gubernamentales locales están experimentando con herramientas de IA para casos de uso que van desde ayudar a los residentes a solicitar una licencia de conducir (https://chat.nyc.gov/) hasta agilizar la tramitación de subsidios de vivienda por parte de los empleados municipales (https://bloombergcities.jhu.edu/news/3-ways-ai-can-help-cities-add-human-touch-service-delivery), un informe reciente de Deloitte (https://www.deloitte.com/us/en/insights/industry/government-public-sector-services/use-of-ai-in-government.html) reveló que menos del 6 % de los profesionales de los gobiernos locales priorizaban la IA como herramienta para la prestación de servicios.

La experiencia de AVA demuestra las barreras que enfrentan las agencias gubernamentales al intentar aprovechar la IA para aumentar la eficiencia o brindar un mejor servicio, incluidas las preocupaciones sobre la confiabilidad y la confianza en contextos de alto riesgo, junto con preguntas sobre el papel de la supervisión humana dados los sistemas de IA que cambian rápidamente. Estas limitaciones chocan con el exageración desenfrenada de la IA actual y podrían ayudar a explicar las mayores discrepancias entre el aumento de la inversión en IA y la adopción limitada de la IA.

Marz concibió el proyecto AVA como una versión innovadora y económica de la línea de ayuda de derecho familiar de Alaska (https://courts.alaska.gov/shc/family/index.htm), atendida por empleados judiciales y que ofrece asesoramiento gratuito sobre asuntos legales que abarcan desde divorcios hasta órdenes de protección por violencia doméstica.

"Nuestro objetivo era básicamente replicar los servicios del chatbot que brindaríamos con un facilitador humano", declaró Marz a NBC News, refiriéndose al equipo de abogados, expertos técnicos y asesores de AVA del NCSC. “Queríamos una experiencia de autoayuda similar, donde alguien pudiera hablar contigo y decirte: ‘Necesito ayuda con esto, esta es mi situación’”.

Si bien el NCSC proporcionó una subvención inicial para el lanzamiento de AVA como parte de su creciente trabajo en IA (https://www.ncsc.org/resources-courts/artificial-intelligence-ai), el chatbot ha sido desarrollado técnicamente por Tom Martin, abogado y profesor de derecho, quien fundó una empresa de IA especializada en derecho llamada LawDroid (https://lawdroid.com/) y diseña herramientas de IA legal.

Al describir el servicio de AVA, Martin destacó muchas decisiones y consideraciones críticas que intervienen en el proceso de diseño, como la elección y configuración de la personalidad de un sistema de IA.

Numerosos comentaristas e investigadores han ilustrado cómo ciertos modelos o versiones de sistemas de IA se comportan de forma diferente, casi como si adoptaran diferentes personalidades. Los investigadores e incluso los usuarios pueden modificar estas personalidades mediante ajustes técnicos, como descubrieron muchos usuarios de ChatGPT a principios de este año cuando el servicio OpenAI fluctuaba entre personalidades efusivas y aduladoras o emocionalmente distantes. Otros modelos, como Grok de xAI, son conocidos por tener límites más flexibles y una mayor disposición a abordar temas controvertidos (https://techcrunch.com/2025/07/10/grok-4-seems-to-consult-elon-musk-to-answer-controversial-questions/).

“Cada modelo tiene personalidades diferentes”, declaró Martin a NBC News. “Algunos son muy buenos siguiendo las reglas, mientras que otros no tanto y, en cierto modo, quieren demostrar que son los más inteligentes”.

“Para una aplicación legal, no se busca eso”, dijo Martin. “Se busca que cumpla las reglas, pero que sea inteligente y capaz de explicarse con un lenguaje sencillo”.

Incluso rasgos que, de otro modo, serían bien recibidos se vuelven más problemáticos cuando se aplican a temas tan importantes como las sucesiones. Al trabajar con Martin, Souza, del NCSC, observó que las primeras versiones de AVA eran demasiado empáticas y molestaban a los usuarios que podrían estar de luto y simplemente querían respuestas sobre el proceso sucesorio: "Durante nuestras pruebas con usuarios, todos dijeron: 'Estoy cansado de que todos en mi vida me digan que lamentan mi pérdida'".

"Así que básicamente eliminamos ese tipo de condolencias, porque de un chatbot de IA, no se necesita una más", dijo Souza.

Más allá del tono superficial y las cortesías del sistema, Martin y Souza tuvieron que lidiar con el grave problema de las alucinaciones (https://www.nbcnews.com/tech/innovation/ai-chatgpt-court-law-legal-lawyer-self-represent-pro-se-attorney-rcna230401), o casos en los que los sistemas de IA comparten con confianza información falsa o exagerada.

“Tuvimos problemas con las alucinaciones, independientemente del modelo, ya que se suponía que el chatbot no debía usar nada fuera de su base de conocimientos”, declaró Souza a NBC News. “Por ejemplo, cuando le preguntábamos: ‘¿Dónde puedo obtener ayuda legal?’, respondía: ‘Hay una facultad de derecho en Alaska, así que busquen en la red de exalumnos’. Pero no hay ninguna facultad de derecho en Alaska”.

Martin ha trabajado arduamente para garantizar que el chatbot solo haga referencia a las áreas relevantes de los documentos sucesorios del Sistema Judicial de Alaska, en lugar de realizar búsquedas web más extensas.

En toda la industria de la IA, las alucinaciones causadas por IA han disminuido con el tiempo y representan una amenaza menor hoy que hace unos meses. Muchas empresas que desarrollan aplicaciones de IA, como Manus, proveedor de agentes de IA, que fue recientemente adquirido por Meta por más de 2 mil millones, enfatizan la confiabilidad de sus servicios e incluyen varias capas de verificación impulsadas por IA. Para garantizar la precisión de sus resultados.

Para evaluar la precisión y la utilidad de las respuestas de AVA, el equipo diseñó un conjunto de 91 preguntas sobre sucesiones. Por ejemplo, preguntaba al chatbot qué formulario de sucesión sería apropiado enviar si un usuario deseaba transferir la titularidad del vehículo de su familiar fallecido a su nombre.

Sin embargo, según Jeannie Sato, directora de acceso a los servicios de justicia del Sistema Judicial de Alaska, la prueba de 91 preguntas resultó demasiado larga de ejecutar y evaluar, dados los riesgos en cuestión y la necesidad de una revisión humana.

Por lo tanto, Sato explicó que el equipo obtuvo una lista refinada de solo 16 preguntas de prueba, que incluían "algunas preguntas que AVA había respondido incorrectamente, algunas que eran complicadas y otras bastante básicas que creemos que podrían ser frecuentes".

El costo es otro aspecto crítico para Sato y el equipo de AVA. Las nuevas iteraciones y versiones de los sistemas de IA han provocado una caída drástica de las tarifas de uso (https://epoch.ai/data-insights/llm-inference-price-trends), lo que el equipo de AVA considera una ventaja clave de las herramientas de IA dados los limitados presupuestos judiciales.

Martin declaró a NBC News que, con una configuración técnica, 20 consultas de AVA costarían solo unos 11 centavos. "Me motiva mi misión, y para mí se trata del impacto que puedo tener al ayudar a las personas en el mundo", afirmó Martin. "Para poder llevar adelante esa misión, por supuesto, el costo es extremadamente importante".

Sin embargo, los sistemas en constante evolución que impulsan las respuestas de AVA, como la familia de modelos GPT de OpenAI (https://www.coursera.org/articles/what-is-gpt), implican que el equipo administrativo probablemente tendrá que supervisar AVA de forma continua y regular para detectar cualquier cambio en el comportamiento o la precisión.

“Prevemos realizar comprobaciones periódicas y posiblemente actualizar las indicaciones o los modelos a medida que se publiquen nuevos y se retiren otros. Sin duda, es algo que tendremos que controlar en lugar de simplemente dejarlo pasar”, afirmó Martin.

A pesar de sus múltiples altibajos, el lanzamiento de AVA está previsto para finales de enero, si todo sale según lo previsto. Por su parte, Marz se mantiene optimista sobre el potencial de AVA para ayudar a los habitantes de Alaska a acceder al sistema de sucesiones, pero es más clara sobre las limitaciones actuales de la IA.

“Cambiamos ligeramente nuestros objetivos en este proyecto”, afirmó Marz. “Queríamos replicar lo que nuestros facilitadores humanos del centro de autoayuda pueden compartir con la gente. Sin embargo, no confiamos en que los bots puedan funcionar de esa manera, debido a algunos problemas con algunas imprecisiones e incompletos. Pero quizás con el aumento de las actualizaciones del modelo, esto cambie y los niveles de precisión y completitud aumenten”.

“Fue una tarea muy laboriosa”, añadió Marz, a pesar de “todo el revuelo en torno a la IA generativa y de que todo el mundo afirma que revolucionará la autoayuda y democratizará el acceso a los tribunales. Es un gran reto lograrlo”.