Incidentes Asociados
Altos funcionarios dijeron a un comité de parlamentarios que una IA que está desarrollando el Departamento de Trabajo y Pensiones (DWP) para detectar fraudes y errores todavía está en desarrollo. las etapas de aprendizaje de su desarrollo y muestra parcialidad contra algunos demandantes. Como parte de un proyecto para abordar más casos de pagos excesivos o insuficientes de beneficios, los sistemas no estarán listos para su implementación hasta dentro de varios años, se les ha dicho a los parlamentarios.
DWP estaba dando pruebas al PAC sobre preocupaciones sobre fraude y detección de errores y sesgo de IA después del informe de NAO. (Foto de TK Kurikawa/Shutterstock).
Los funcionarios del DWP fueron interrogados por el Comité de Cuentas Públicas (PAC) del parlamento luego de la publicación a principios de este año de un informe de la Oficina Nacional de Auditoría (NAO) que analizaba el desarrollo del sistema. Según lo informado por _Tech M_onitor, la NAO reveló que el DWP estaba invirtiendo £70 millones durante los próximos dos años en tecnología avanzada. análisis para hacer frente a los crecientes niveles de fraude y error. El departamento cree que la inversión generará ahorros para el contribuyente de alrededor de £1.600 millones para 2031.
DWP estuvo representado por Bozena Hillyer, directora de cumplimiento antifraude y deuda; Peter Schofield CB, secretario permanente; y Catherine Vaughan, directora general de finanzas. Richard Hawthorn, director de excelencia operativa del grupo de servicio al cliente, representó a HMRC.
La [sesión] (https://committees.parliament.uk/oralevidence/13645/html/) profundizó en por qué el fraude y el error –que abarca pagos excesivos o insuficientes, deliberados o no, de asistencia social– habían aumentado dentro del sistema de prestaciones. Los parlamentarios plantearon preguntas y preocupaciones sobre los pagos insuficientes del crédito de pensiones, un aumento del “fraude” del Crédito Universal y los pagos insuficientes de los pagos de independencia personal (PIP) debido a cambios en las circunstancias y la pausa de las evaluaciones de salud automatizadas.
Como parte de la sesión, el DWP explicó el progreso que había logrado con su proyecto de revisión de casos específicos y su sistema de inteligencia artificial, que se utilizará para identificar casos de fraude utilizando detalles de casos históricos. Sin embargo, el comité planteó preocupaciones sobre el sesgo de la IA sobre si la IA elegiría inconscientemente casos que afectaran las características protegidas. DWP admitió que existía un sesgo dentro de la IA, pero que aún se encontraba en las primeras etapas de aprendizaje.
Los parlamentarios cuestionan si DWP requiere IA para la detección de fraude
Al principio de la sesión, los parlamentarios preguntaron a Neil Couling, director general de cambio y resiliencia del DWP, sobre la eficacia del proyecto de IA para la detección de fraude. Es el alto funcionario responsable del proyecto.
"La revisión específica de casos está teniendo efecto hoy, [pero] no será en un volumen lo suficientemente grande como para ser realmente recogido en el muestreo, a menos que haya mucha suerte con los casos que se tomaron en la muestra", dijo Couling. “Tomamos alrededor de 3.000 casos de crédito universal a través del muestreo. Pasarán dos años antes de que empiece a tener un efecto mensurable”.
El diputado Jonathan Djanogly preguntó si la inversión en el proyecto era rentable, dado que obtenía los mismos porcentajes de reclamaciones incorrectas (30%) que el muestreo aleatorio.
“Obviamente mi pregunta es: ¿por qué el proyecto? ¿Por qué necesitas gastar todo este dinero si el resultado es el mismo que si lo mantuvieras al azar? —le preguntó a Couling.
El funcionario del DWP dijo que la IA podría obtener una "tasa de acierto más alta". Couling también señaló la presión del gobierno para que su equipo acelere el desarrollo de la IA: “Estoy resistiendo los impulsos de muchas personas a mi alrededor de ir más rápido y lograr el éxito aquí, porque lo que no quiero que haga es convertirse en un proceso”, afirmó.
Couling dijo que era importante que el departamento recibiera tiempo y recursos para garantizar que el sistema funcionara en el lanzamiento. “Depende de mí mantener la calidad allí y todavía estamos aprendiendo”, explicó. "Todavía estamos desarrollando el servicio y no lo habremos terminado hasta que estemos listos para salir al mercado".
Existe un sesgo de IA dentro del proyecto DWP
La NAO señaló en su informe que el DWP ha estado utilizando el aprendizaje automático para detectar solicitudes potencialmente fraudulentas de pagos por adelantado del Crédito Universal desde 2021. Desde entonces, se ha puesto a prueba en otras partes del sistema de asistencia social, incluidas las personas que viven juntas, los autónomos, y para reclamaciones de vivienda.
Pero los parlamentarios expresaron temores de que el uso de datos históricos de los solicitantes y las referencias de fraude por parte de AI pudieran conducir a resultados sesgados. Couling dijo que compartía esas preocupaciones: "No quiero presidir un sistema que hace eso", dijo, y luego explicó que DWP estaba haciendo dos cosas para mitigar el riesgo.
“La primera es que siempre ponemos a un ser humano en el punto de toma de decisiones sobre un reclamo, y si utilizamos parte de esta información, les presentamos a quienes toman las decisiones falsos positivos, así como casos que creemos que están marcados. para llamar la atención”, dijo. “Lo segundo que estamos haciendo es tomar esto con cuidado... con números pequeños al principio para que se pueda observar lo que está sucediendo. Luego puede realizar análisis sobre esto para verificar si hay sesgos”.
Cuando se le preguntó cómo el DWP estaba enseñando al sistema los peligros de la discriminación y la mala interpretación de la información, Couling dijo que no podía revelar los modelos utilizados, pero que el departamento estaba tomando medidas para rectificar los problemas con la IA.
El organismo de control de datos, la Oficina del Comisionado de Información, ha estado en contacto con el DWP en el desarrollo del sistema de inteligencia artificial, y el departamento planea presentar a los parlamentarios un informe anual sobre el progreso del proyecto.