Incidentes Asociados
El gobierno ha ampliado su despliegue de inteligencia artificial para descubrir fraudes en materia de asistencia social, a pesar de las advertencias de sesgo algorítmico contra grupos de solicitantes vulnerables.
En una inversión de £70 millones que aplica “análisis avanzados” a las solicitudes de crédito universal (UC), el Departamento de Trabajo y Pensiones (DWP) ha ampliado el uso del aprendizaje automático en un intento por ahorrar más de £1 mil millones de los más de £8 mil millones. perdido por fraude y error el año pasado, [documentos de auditoría](https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/1167946/annual-report-accounts-2022-23 -web-ready.pdf) analizado por The Guardian revela.
El proyecto no parece haber sido anunciado formalmente por el gobierno, que ha sido acusado de guardar secretos sobre la IA en el sistema de bienestar social. Si se amplía, tiene el potencial de llegar a muchos de los 5,9 millones de personas que solicitan la UC.
Después de una prueba el año pasado utilizando software automatizado para detectar posibles estafadores que buscaban adelantos en efectivo de la UC, ahora se ha desarrollado y puesto a prueba una tecnología similar para escanear solicitudes de asistencia social presentadas por personas que viven juntas, personas que trabajan por cuenta propia y aquellos que desean apoyo para la vivienda, así como evaluar las afirmaciones que las personas hacen sobre su capital personal, como los ahorros.
Organizaciones de derechos sociales y expertos de la ONU han dicho anteriormente que ampliar el sistema de bienestar “digital por defecto” del Reino Unido con aprendizaje automático sin mayor transparencia corre el riesgo de crear serios problemas para algunos solicitantes de beneficios.
Big Brother Watch, un grupo de campaña por las libertades civiles del Reino Unido, dijo que era "preocupante" que el gobierno estuviera "siguiendo adelante con modelos de IA aún más opacos cuando admite que su capacidad para monitorear la injusticia es limitada".
"El DWP se niega sistemáticamente a publicar información sobre cómo operan salvo los detalles más vagos", dijo Jake Hurfurt, jefe de investigaciones.
La extensión de la automatización del bienestar se resume en la declaración del contralor y auditor general en el último informe anual del DWP. Dice que el DWP tiene "una gobernanza y un control estrictos sobre el uso del aprendizaje automático", pero reveló que los funcionarios han detectado "evidencias de sesgo hacia los solicitantes de mayor edad".
Un algoritmo probado el año pasado recibió datos sobre fraudes de reclamantes anteriores para enseñarle a predecir qué nuevos reclamantes de beneficios podrían estar haciendo trampa. Las decisiones finales las toma un humano.
El auditor general advirtió sobre “un riesgo inherente de que los algoritmos estén sesgados hacia la selección de solicitudes para revisión de determinadas personas o grupos vulnerables con características protegidas”.
El DWP había admitido que su “capacidad para realizar pruebas de impactos injustos en las características protegidas es actualmente limitada”, dijeron.
El gobierno está bajo presión para aumentar la confianza del público en su uso de la IA, y el auditor general lo instó a publicar su evaluación del sesgo en los modelos de aprendizaje automático.
Hasta ahora, el DWP se ha negado a publicar información sobre cómo funciona su algoritmo de aprendizaje automático. Ha bloqueado las solicitudes de libertad de información de The Guardian que solicitaban el nombre de cualquier empresa involucrada en el ensayo de detección de fraude relacionado con los adelantos de crédito universal porque "los detalles de los contratos son comercialmente sensibles". También se niega a publicar los resultados del juicio del año pasado, incluida la evaluación del sesgo contra ciertos grupos de demandantes.
El mes pasado, Tom Pursglove, ministro de Discapacidad, Salud y Trabajo, dijo al parlamento el gobierno no publicar una evaluación de igualdad de las pruebas de algoritmos de aprendizaje automático, porque alertaría a los estafadores “lo que conduciría a nuevos fraudes y mayores pérdidas para el erario público”.
El DWP le ha dicho al auditor que está "trabajando para desarrollar su capacidad de realizar un análisis de equidad más completo en una gama más amplia de características protegidas".
Un portavoz del DWP dijo: “Seguimos explorando el potencial de las nuevas tecnologías para combatir el fraude y desplegando salvaguardias integrales al hacerlo. La IA no reemplaza el juicio humano al investigar fraudes y errores para determinar o denegar un pago a un reclamante”.