Incidentes Asociados
En un [informe] reciente de la Oficina Nacional de Auditoría (NAO) (https://www.nao.org.uk/wp-content/uploads/2023/07/dwp-report-on-accounts-2022-23.pdf) sobre las cuentas financieras del Departamento de Trabajo y Pensiones (DWP), ha salido a la luz que el DWP está ampliando su uso del aprendizaje automático para identificar posibles fraudes de beneficios.
Desde 2021, el DWP ha utilizado un modelo de aprendizaje automático para detectar reclamaciones potencialmente fraudulentas de anticipos de Crédito Universitario (UC). El modelo se creó entrenando un algoritmo utilizando referencias de fraude y datos históricos de reclamantes, y hace predicciones sobre qué nuevas reclamaciones de beneficios podrían ser fraudulentas o contener errores.
Cuando un reclamo supera un cierto umbral, se remite a un asistente social para su revisión. Luego, el asistente social realiza una revisión manual del reclamo.
En respuesta en 2021, Big Brother Watch, la organización que hace campaña por las libertades civiles y la privacidad, dijo que “Dejar que una computadora decida qué beneficios La necesidad de revisar la solicitud es una invasión de la privacidad y abre la puerta a la injusticia y la discriminación en el sistema de bienestar social”.
El informe de la NAO publicado el jueves pasado destacó que el DWP invertirá alrededor de £70 millones entre los años financieros 2022-23 y 2024-25 en “análisis avanzados” en un movimiento para profundizar sus capacidades tecnológicas antifraude.
Además, subrayó que desde el año pasado se han diseñado y puesto a prueba modelos similares de aprendizaje automático para prevenir el fraude en cuatro áreas de riesgo “clave” del Crédito Universal: personas que viven juntas, trabajo por cuenta propia, capital y vivienda.
A pesar de que el DWP espera que los “análisis avanzados” le ayuden a generar ahorros de £1,600 millones para 2031, el informe afirma que existe un “riesgo inherente” de que los algoritmos que señalan las solicitudes de beneficios para su revisión puedan estar sesgados “debido a un sesgo imprevisto en el datos de entrada o el diseño del modelo en sí”.
Si bien el informe dice que el DWP tiene una “gobernanza y control estrictos” de su aprendizaje automático y ha implementado salvaguardias, la capacidad del DWP para probar impactos injustos en las características protegidas es “actualmente limitada”. Esto se debe a que los solicitantes no siempre responden las preguntas opcionales centradas en la demografía al presentar un reclamo de beneficios.
Alison Garnham, directora ejecutiva del Child Poverty Action Group, dijo que “ampliar la tecnología mientras se ignoran los llamados a la transparencia y a un monitoreo riguroso y protección contra los prejuicios correrá el riesgo de causar daños graves a las familias vulnerables”, en un comentario hecho a la BBC.
A pesar del “desafío de equilibrar la transparencia sobre cómo utiliza el aprendizaje automático para brindar confianza pública en el sistema de beneficios con la protección de sus capacidades al no avisar a los estafadores sobre cómo aborda el fraude”, el informe sugiere que el DWP “debería poder proporcionar garantías de que no está tratando injustamente a ningún grupo de clientes”.