Incidentes Asociados
Kate Osamor, diputada laborista de Edmonton, recibió recientemente un correo electrónico de una organización benéfica sobre un elector suyo a quien le habían suspendido sus beneficios aparentemente sin motivo.
“Durante más de un año ha estado tratando de comunicarse con DWP [el Departamento de Trabajo y Pensiones] y averiguar más sobre el motivo de la suspensión de su UC [Crédito Universal], pero ni ella ni nuestro trabajo de caso El equipo ha llegado a alguna parte”, decía el correo electrónico. “Aún no está claro por qué el DWP suspendió la demanda, sin importar si tenía algún fundamento... no ha podido pagar el alquiler durante 18 meses y, en consecuencia, se enfrenta a un proceso de desalojo”.
Osamor ha estado lidiando con docenas de casos de este tipo en los últimos tiempos años, en los que a menudo participan ciudadanos búlgaros. Ella cree que han sido víctimas de un sistema semiautomático que utiliza un algoritmo para detectar posibles fraudes de beneficios antes de remitir esos casos a humanos para que tomen una decisión final sobre si se suspenden los reclamos de las personas.
“A principios de 2022, decenas de electores se pusieron en contacto conmigo, todos ellos ciudadanos búlgaros, a quienes se les suspendieron sus beneficios”, dijo Osamor. “Sus casos habían sido identificados por el Servicio Integrado de Inteligencia y Riesgos del DWP como de alto riesgo luego de realizar análisis de datos automatizados.
“Se les dejó en la indigencia durante meses, sin posibilidad de apelación. Sin embargo, en casi todos los casos no se encontró evidencia de fraude y sus beneficios finalmente fueron restablecidos. No hubo rendición de cuentas por este proceso”.
El DWP ha estado utilizando IA para ayudar a detectar el fraude de beneficios desde 2021. El algoritmo detecta casos que merecen una mayor investigación por parte de un humano y los pasa para su revisión.
En respuesta a una solicitud de libertad de información por parte de The Guardian, el DWP dijo que no podía revelar detalles de cómo funciona el algoritmo en caso de que ayude a las personas a engañar al sistema.
El departamento dijo que el algoritmo no tiene en cuenta la nacionalidad. Pero como estos algoritmos son de autoaprendizaje, nadie puede saber exactamente cómo equilibran los datos que reciben.
El DWP dijo en [sus últimas cuentas anuales](https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/1167946/annual-report-accounts-2022-23-web -ready.pdf) que monitoreó el sistema en busca de signos de sesgo, pero tenía una capacidad limitada para hacerlo cuando no tenía suficientes datos de usuario. El organismo de control del gasto público lo ha instado a publicar resúmenes de cualquier evaluación interna de igualdad.
Shameem Ahmad, director ejecutivo del Public Law Project, dijo: “En respuesta a numerosas solicitudes de la Ley de Libertad de Información, y a pesar de los riesgos evidentes, el DWP continúa negándose a proporcionar incluso información básica sobre cómo funcionan estas herramientas de inteligencia artificial, como en quién se están probando o si los sistemas funcionan con precisión”.
El DWP no es el único departamento que utiliza la IA de una manera que puede tener un impacto importante en la vida diaria de las personas. Una investigación de The Guardian descubrió que este tipo de herramientas se utilizan en al menos ocho departamentos de Whitehall y un puñado de fuerzas policiales en todo el Reino Unido.
El Ministerio del Interior tiene una herramienta similar para detectar posibles matrimonios falsos. Un algoritmo señala las solicitudes de licencia de matrimonio para su revisión a un asistente social que luego puede aprobar, retrasar o rechazar la solicitud.
La herramienta ha permitido al departamento procesar solicitudes mucho más rápidamente. Pero su propia evaluación del impacto en la igualdad encontró que estaba detectando un número desproporcionadamente alto de matrimonios en cuatro países: Grecia, Albania, Bulgaria y Rumania.
La evaluación, a la que tuvo acceso The Guardian, concluyó: "Cuando puede haber discriminación indirecta, está justificada por los objetivos y resultados generales del proceso".
Varias fuerzas policiales también están utilizando herramientas de inteligencia artificial, especialmente para analizar patrones de delincuencia y reconocimiento facial. La policía metropolitana ha introducido cámaras de reconocimiento facial en vivo en todo Londres para ayudar a los agentes a detectar a las personas en su "lista de vigilancia".
Pero al igual que otras herramientas de inteligencia artificial, hay evidencia de que los sistemas de reconocimiento facial del Met pueden generar sesgos. Una revisión realizada este año por el Laboratorio Nacional de Física encontró que en la mayoría de las condiciones, las cámaras tenían muy bajas tasas de error y los errores se distribuyeron uniformemente entre diferentes grupos demográficos.
Sin embargo, cuando se redujeron los ajustes de sensibilidad, como podría ser en un esfuerzo por capturar a más personas, detectaron falsamente al menos cinco veces más personas negras que blancas.
El Met no respondió a una solicitud de comentarios.
Mientras tanto, la policía de West Midlands está utilizando inteligencia artificial para predecir posibles puntos críticos de delitos con cuchillo y robo de automóviles, y está desarrollando una herramienta separada para predecir qué delincuentes podrían convertirse en "delincuentes de alto daño".
Estos ejemplos son aquellos sobre los que The Guardian pudo encontrar más información.
En muchos casos, los departamentos y las fuerzas policiales utilizaron una serie de exenciones a las reglas de libertad de información para evitar publicar detalles de sus herramientas de inteligencia artificial.
Algunos temen que el Reino Unido pueda estar dirigiéndose a un escándalo similar al de los Países Bajos, donde las autoridades fiscales [fueron encontradas](https://www.politico.eu/article/dutch-scandal-serves-as-a-warning-for -europe-over-risks-of-using-algorithms/) de haber violado las normas europeas en materia de datos, o en Australia, donde 400.000 personas [fueron acusadas injustamente](https://www.reuters.com/article/australia-tech- ai-idUKL8N3340SN) de proporcionar a las autoridades detalles incorrectos sobre sus ingresos.
John Edwards, comisionado de información del Reino Unido, dijo que había examinado muchas herramientas de inteligencia artificial que se utilizan en el sector público, incluidos los sistemas de detección de fraude del DWP, y no encontró ninguna que infringiera las normas de protección de datos: "Hemos echado un vistazo a las Aplicaciones DWP y hemos analizado la IA utilizada por las autoridades locales en relación con los beneficios. Hemos descubierto que han sido desplegados de manera responsable y que ha habido suficiente intervención humana para evitar el riesgo de daño”.
Sin embargo, añadió que las cámaras de reconocimiento facial eran motivo de preocupación. "Estamos observando con interés la evolución del reconocimiento facial en vivo", afirmó. "Es potencialmente intrusivo y lo estamos monitoreando".
Algunos departamentos están intentando ser más abiertos sobre cómo se utiliza la IA en la esfera pública. La Oficina del Gabinete está creando una base de datos central de dichas herramientas, pero depende de los departamentos individuales incluir o no sus sistemas.
Mientras tanto, a los activistas les preocupa que quienes reciben la toma de decisiones informada por la IA estén resultando perjudicados sin siquiera darse cuenta.
Ahmad advirtió: “Los ejemplos de otros países ilustran las consecuencias catastróficas para las personas, los gobiernos y la sociedad afectados en su conjunto. Dada la falta de transparencia y regulación, el gobierno está creando las circunstancias precisas para que esto también suceda aquí”.