Incidentes Asociados
La Agencia Tributaria de Canadá (CRA) malgastó casi 20 millones de dólares del dinero de los contribuyentes en un chatbot de "IA" que proporcionaba repetidamente información errónea a los canadienses que intentaban declarar sus impuestos.
La herramienta de IA de la CRA, llamada Charlie the Chatbot, acertó aproximadamente el 44 % de las veces cuando fue probada por el equipo de la Auditora General, Karen Hogan.
Esta función del software fue anunciada en 2020 por la entonces Ministra de Ingresos Nacionales, Diane Lebouthillier, y se preveía que costaría a los contribuyentes más de 18 millones de dólares.
Según los documentos presentados en el Parlamento el lunes, 13,67 millones de dólares se destinaron a pagar los salarios de quienes trabajaron en el proyecto, además de los costos relacionados con las prestaciones y los viajes de los empleados. Otros 3,21 millones de dólares se destinaron a los consultores de TI del proyecto.
En el momento de su publicación, la CRA advirtió que el chatbot aún estaba "aprendiendo" sobre la agencia, y añadió que "las preguntas que formule le ayudarán a ser más competente e interactivo".
"¡Charlie facilitará la obtención de la información necesaria para presentar su declaración de impuestos sobre la renta y prestaciones!", escribió la agencia en 2020.
Sin embargo, el informe de Hogan indicó que el software, que actualmente sigue disponible en 13 páginas web de la Agencia Tributaria de Canadá (CRA), sigue siendo inexacto.
"Las respuestas de Charlie fueron generalmente breves, ofreciendo un contexto limitado y poca información adicional", afirma el informe del Fiscal General, publicado en octubre. Descubrimos que Charlie proporcionó respuestas precisas en solo 2 de las 6 preguntas que le hicimos, mientras que las otras herramientas públicas de inteligencia artificial conversacional basadas en la web respondieron con precisión a 5 de las 6 preguntas.
Según la CRA, se han mantenido más de siete millones de conversaciones con Charlie y se han formulado más de 18 millones de preguntas desde su creación.
Aun así, se registró recientemente que el chatbot tenía un umbral de precisión del 70 %, y una nueva versión inédita alcanzó aproximadamente el 90 % el mes pasado.
Sin embargo, la agencia señaló que no se puede determinar con precisión el número exacto de preguntas que el chatbot de Inteligencia Artificial Generativa ha respondido correctamente sin realizar una revisión exhaustiva de todas las transcripciones de las interacciones.
La Agencia de Recursos Humanos (CRA) publicó el jueves los resultados de su plan de mejora del servicio de 100 días (https://www.canada.ca/en/revenue-agency/campaigns/100-day-service-improvement-plan.html). El informe indica que el 70 % de los usuarios de Charlie, el Chatbot, alcanzó su objetivo en noviembre.
El informe también indicó que la capacidad de respuesta general de la agencia a los clientes casi se duplicó durante el otoño. Esto se debió en parte a la recontratación o la extensión de los contratos de más de 1200 empleados del centro de llamadas.