Incidentes Asociados
Las autoridades francesas deben detener de inmediato el uso de un algoritmo discriminatorio de puntuación de riesgo utilizado por la Caja Nacional de Subsidios Familiares (CNAF) de la Agencia de Seguridad Social francesa, que se utiliza para detectar pagos excesivos y errores en relación con los pagos de prestaciones, ha declarado hoy Amnistía Internacional.
El 15 de octubre, Amnistía Internacional y otros catorce socios de la coalición liderados por La Quadrature du Net (LQDN) presentaron una denuncia ante el Consejo de Estado, el tribunal administrativo más alto de Francia, exigiendo que se detenga el sistema algorítmico de puntuación de riesgo utilizado por la CNAF.
“Desde el principio, el sistema de puntuación de riesgo utilizado por la CNAF trata con sospecha a las personas que sufren marginación –aquellas con discapacidad, las familias monoparentales que son en su mayoría mujeres, y las que viven en la pobreza–. “Este sistema opera en oposición directa a las normas de derechos humanos, violando el derecho a la igualdad y a la no discriminación y el derecho a la privacidad”, afirmó Agnès Callamard, secretaria general de Amnistía Internacional.
En 2023, La Quadrature du Net (LQDN) tuvo acceso a versiones del código fuente del algoritmo –un conjunto de instrucciones escritas por programadores para crear un software–, exponiendo así la naturaleza discriminatoria del sistema.
Desde 2010, la CNAF ha utilizado un algoritmo de puntuación de riesgo para identificar a las personas que potencialmente están cometiendo fraude en las prestaciones al recibir pagos excesivos. El algoritmo asigna una puntuación de riesgo entre cero y uno a todos los beneficiarios de prestaciones familiares y de vivienda. Cuanto más cercana sea la puntuación a uno, mayor será la probabilidad de ser señalado para una investigación.
En total, en Francia hay 32 millones de personas que viven en hogares que reciben una prestación del CNAF. Sus datos personales sensibles, así como los de su familia, se procesan periódicamente y se les asigna una puntuación de riesgo.
Los criterios que aumentan la puntuación de riesgo incluyen parámetros que discriminan a los hogares vulnerables, como tener bajos ingresos, estar desempleado, vivir en un barrio desfavorecido, gastar una parte importante de los ingresos en alquiler y trabajar teniendo una discapacidad. Los datos de las personas que son señaladas por tener una puntuación de riesgo alta se compilan en una lista que es investigada más a fondo por un investigador de fraudes.
“Si bien las autoridades anuncian la implementación de tecnologías algorítmicas en los sistemas de protección social como una forma de aumentar la eficiencia y detectar fraudes y errores, en la práctica, estos sistemas aplanan las realidades de la vida de las personas. Funcionan como herramientas de minería de datos extensiva que estigmatizan a los grupos marginados e invaden su privacidad”, dijo Agnès Callamard.
Amnistía Internacional no investigó casos específicos de personas señaladas por el sistema CNAF. Sin embargo, nuestras investigaciones en Países Bajos y Serbia sugieren que el uso de sistemas impulsados por IA y la automatización en el sector público permite la vigilancia masiva: la cantidad de datos que se recopilan es desproporcionada en relación con el objetivo declarado del sistema. Además, las pruebas de Amnistía Internacional también revelaron que muchos de estos sistemas han sido bastante ineficaces a la hora de hacer realmente lo que pretenden hacer, ya sea identificar fraudes o errores en el sistema de prestaciones.
Mientras las autoridades anuncian la implantación de tecnologías algorítmicas en los sistemas de protección social como una forma de aumentar la eficiencia y detectar fraudes y errores, en la práctica, estos sistemas aplanan la realidad de la vida de las personas. Funcionan como herramientas de extracción de datos extensivas que estigmatizan a los grupos marginados e invaden su privacidad.
Agnès Callamard, Secretaria General, Amnistía Internacional
También se ha argumentado que la escala de errores o fraudes en el sistema de prestaciones se ha exagerado [para justificar el desarrollo de dichos sistemas tecnológicos] (https://www.ohchr.org/en/calls-for-input/digital-technology-social-protection-and-human-rights-report), lo que a menudo conduce a ataques discriminatorios, racistas o sexistas contra grupos específicos, en particular los migrantes y refugiados.
Durante el año pasado, Francia se ha estado promocionando activamente a nivel internacional como el próximo centro de tecnologías de inteligencia artificial (IA), que culminó en una cumbre programada para febrero de 2025. Al mismo tiempo, Francia también ha legalizado las tecnologías de vigilancia masiva y ha socavado sistemáticamente las negociaciones de la Ley de Inteligencia Artificial de la UE.
"Francia se basa en un sistema algorítmico de puntuación de riesgo para los beneficios sociales que destaca, sostiene y consagra los prejuicios y la discriminación de la burocracia. En cambio, Francia debería asegurarse de que cumple con sus obligaciones en materia de derechos humanos, en primer lugar la de no discriminación. “Las autoridades deben abordar los daños actuales y existentes relacionados con la IA en medio de la búsqueda del país por convertirse en un centro mundial de IA”, dijo Agnès Callamard.
En virtud del Reglamento Europeo de Inteligencia Artificial (AI Act) recientemente adoptado, los sistemas de IA utilizados por las autoridades para determinar el acceso a servicios y beneficios públicos esenciales se consideran de alto riesgo para los derechos, la salud y la seguridad de las personas. Por lo tanto, deben cumplir estrictas normas técnicas, de transparencia y de gobernanza, incluida la obligación de los implementadores de realizar una evaluación de los riesgos para los derechos humanos y garantizar medidas de mitigación antes de la implementación.
Mientras tanto, se considera que ciertos sistemas, como los utilizados para la puntuación social, plantean un nivel de riesgo inaceptable y, por lo tanto, deben prohibirse.
Es lamentable que los legisladores de la UE hayan sido vagos al definir explícitamente la puntuación social dentro de la AI Act. La Comisión Europea debe asegurarse de que sus próximas directrices proporcionen una interpretación clara y ejecutable de la prohibición de la puntuación social, especialmente en lo que respecta a la detección de fraudes discriminatorios y los sistemas de puntuación de riesgo.
Agnès Callamard
Actualmente no está claro si el sistema utilizado por el CNAF se puede considerar un sistema de puntuación social debido a la falta de claridad en la Ley de IA sobre lo que constituye un sistema de este tipo.
“Es lamentable que los legisladores de la UE hayan sido vagos al definir explícitamente la puntuación social en la Ley de IA. La Comisión Europea debe asegurarse de que sus próximas directrices proporcionen una interpretación clara y aplicable de la prohibición de la puntuación social, especialmente en lo que se refiere a los sistemas de detección de fraude y puntuación de riesgo discriminatorios”, afirmó Agnès Callamard.
Independientemente de su clasificación en la Ley de IA, todas las pruebas sugieren que el sistema utilizado por el CNAF es discriminatorio. Es esencial que las autoridades dejen de emplearlo y examinen las prácticas sesgadas que son inherentemente perjudiciales, especialmente para las comunidades marginadas que buscan beneficios sociales.
Antecedentes
La Comisión Europea emitirá una guía sobre cómo interpretar las prohibiciones de la Ley de IA antes de de su entrada en vigor el 2 de febrero de 2025, incluidos los que se calificarían como sistemas de puntuación social.
En agosto de 2024, la Ley de IA entró en vigor. Amnistía Internacional, como parte de una coalición de la sociedad civil liderada por la Red Europea de Derechos Digitales (EDRi), ha estado pidiendo una regulación de la inteligencia artificial de la UE que proteja y promueva los derechos humanos.
En marzo de 2024, un informe de Amnistía Internacional [(https://www.amnesty.org/en/latest/news/2024/03/global-governments-adoption-of-unchecked-technologies-in-social-protection-systems-undermines-rights/#:~:text=Global%3A%20Governments%E2%80%99%20adoption%20of%20unchecked%20technologies%20in%20social,said%20Amnesty%20International%20in%20a%20new%20briefing%20today.)] esbozó cómo las tecnologías digitales, incluida la inteligencia artificial, la automatización y la toma de decisiones algorítmica, están exacerbando las desigualdades en los sistemas de protección social en todo el mundo
En 2021, el informe de Amnistía Internacional [Xenophobic Máquinas expuso cómo las autoridades fiscales holandesas incorporaron perfiles raciales en el diseño del sistema algorítmico que marcaba las solicitudes de prestaciones de cuidado infantil como potencialmente fraudulentas.