Incidentes Asociados
Más de 200.000 personas se han enfrentado erróneamente a una investigación por fraude y error en prestaciones de vivienda después de que el rendimiento de un algoritmo gubernamental no cumpliera con las expectativas, según puede revelar The Guardian.
Dos tercios de las reclamaciones señaladas como de alto riesgo potencial por un sistema automatizado del Departamento de Trabajo y Pensiones (DWP) durante los últimos tres años fueron en realidad legítimas, según muestran cifras oficiales publicadas en virtud de las leyes de libertad de información.
Significa que cada mes miles de hogares del Reino Unido han visto sus solicitudes de prestaciones de vivienda investigadas innecesariamente basándose en el juicio erróneo de un algoritmo que identificó erróneamente sus reclamaciones como de alto riesgo.
También significa que se han gastado alrededor de £4,4 millones en funcionarios que realizaron controles que no ahorraron dinero.
Las cifras fueron obtenidas por primera vez por Big Brother Watch, un grupo de campaña por las libertades civiles y la privacidad, que dijo: “La excesiva dependencia de DWP de las nuevas tecnologías deja en un segundo plano los derechos de las personas que a menudo ya están en desventaja, marginadas y vulnerables”.
El DWP dijo que no podía hacer comentarios durante el período preelectoral. Se ha contactado a los laboristas, que podrían estar a cargo del sistema en menos de dos semanas, para solicitar comentarios.
Una investigación del comisionado de información sobre algoritmos y sistemas similares utilizados por una muestra de 11 autoridades locales el año pasado [informado](https://ico.org.uk/about-the-ico/media-centre/news-and-blogs/2023 /01/blog-addressing-concerns-on-the-use-of-ai-by-local-authorities/): “No hemos encontrado ninguna evidencia que sugiera que los demandantes estén sujetos a daños o perjuicios financieros como resultado de el uso de algoritmos o tecnologías similares en el sector del bienestar y la asistencia social”.
Pero Turn2us, una organización benéfica que apoya a las personas que dependen de los beneficios, dijo que las cifras mostraban que era hora de que el gobierno "trabajara estrechamente con los usuarios reales para que la automatización funcione para las personas y no en su contra".
Para determinar el riesgo de que un reclamo pueda ser incorrecto o fraudulento, la tecnología sopesa las características personales de los reclamantes, incluida la edad, el sexo, la cantidad de hijos y el tipo de contrato de arrendamiento que tienen.
Una vez que el sistema automatizado marca un reclamo de beneficios de vivienda como potencialmente fraudulento o erróneo, el personal del consejo tiene la tarea de revisar y validar si los detalles del reclamo son correctos, lo que implica buscar pruebas de los solicitantes por teléfono o digitalmente. Deben identificar cambios de circunstancias y potencialmente recalcular las concesiones de beneficios de vivienda de los reclamantes.
El DWP decidió implementar la herramienta automatizada, que no utiliza inteligencia artificial ni aprendizaje automático, después de que un piloto que mostró que el 64% de los casos marcados como de alto riesgo por el modelo DWP en realidad recibían el derecho a beneficios incorrecto.
Pero los resultados de las revisiones de casos posteriores a las que se enfrentaron los demandantes revelaron mucho menos fraude y error. Solo el 37% de los casos sospechosos fueron incorrectos en 2020-21, el 34% en 2021-22 y el 37% en 2022-23. Esto es casi la mitad de efectivo que la predicción.
Sin embargo, el sistema ahorró dinero a los contribuyentes, y cada libra gastada en revisiones completas de casos de reclamaciones sospechosas generó un ahorro de £2,71, según las cifras de 2021/22 publicadas por el DWP.
El año pasado el DWP [ampliado](https://www.theguardian.com/society/2023/jul/11/use-of-artificial-intelligence-widened-to-assess-universal-credit-applications-and-tackle# :~:text=In%20a%20%C2%A370m%20investment,scrutinised%20by%20the%20Guardian%20reveal.) su despliegue de inteligencia artificial para descubrir fraudes y errores en el sistema de crédito universal, que [costó £6.500 millones ](https://www.gov.uk/government/statistics/fraud-and-error-in-the-benefit-system-financial-year-2023-to-2024-estimates/fraud-and-error-in- the-benefit-system-financial-year-final-fye-2024#:~:text=Fraude%20and%20error%20medidas%20%E2%80%93%20tasas%20and%20monetarias%20valores&text=Para%20ejemplo%3A %20The%20total%20rate,5%2C500m%20in%20FYE%202023.) en el último año financiero, a pesar de las advertencias de sesgo algorítmico contra grupos de demandantes vulnerables. Ha sido criticado por su falta de transparencia sobre cómo utiliza las herramientas de aprendizaje automático. En enero [surgió](https://www.bbc.co.uk/news/uk-politics-68030762#:~:text=It%20employs%20an%20algorithm%20powered,referred%20for%20investigation%20by% 20 funcionarios.) el DWP había dejado de suspender de forma rutinaria las solicitudes de beneficios señaladas por su detector de fraude impulsado por inteligencia artificial. Esa medida se produjo en respuesta a los comentarios de los demandantes y representantes electos.
Susannah Copson, responsable legal y de políticas de Big Brother Watch, dijo: “Este es otro ejemplo más de cómo DWP se centra en la perspectiva de la detección de fraude basada en algoritmos que tiene un rendimiento muy inferior en la práctica. En realidad, la excesiva dependencia de DWP de las nuevas tecnologías deja en un segundo plano los derechos de las personas que a menudo ya están en desventaja, marginadas y vulnerables”.
Advirtió sobre "un peligro real de que DWP repita este patrón de afirmaciones audaces y mal desempeño con futuras herramientas de captura de datos".
“Fue sólo recientemente que el gobierno intentó –y fracasó– impulsar medidas intrusivas para obligar a los bancos a realizar un monitoreo algorítmico masivo de todas las cuentas de los clientes bajo la premisa de abordar el fraude y el error de la seguridad social. Aunque los poderes no lograron superar el proceso legislativo, persisten las preocupaciones por la incesante búsqueda por parte del DWP de tecnología que invada la privacidad”.
Este artículo fue modificado el 24 de junio de 2024 para eliminar una referencia a un sistema digital proporcionado por D4S DigiStaff. El sistema no se utiliza para identificar posibles casos de fraude y error para su revisión, como sugerimos; más bien se utiliza para procesar dichos casos después de la identificación.