Incidentes Asociados
Una coalición de grupos de derechos humanos ha iniciado hoy una acción legal contra el gobierno francés por el uso de algoritmos para detectar pagos de asistencia social mal calculados (https://www.wired.com/story/welfare-state-algorithms/), alegando que discriminan a las personas discapacitadas y a las madres solteras.
El algoritmo, utilizado desde la década de 2010, viola tanto las normas europeas de privacidad (https://www.wired.com/story/gdpr-2022/) como las leyes francesas contra la discriminación, argumentan los 15 grupos involucrados en el caso, incluido el grupo de derechos digitales La Quadrature du Net, Amnistía Internacional y Collectif Changer de Cap, un grupo francés que hace campaña contra la desigualdad.
"Esta es la primera vez que un algoritmo público ha sido objeto de un desafío legal en Francia", dice Valérie Pras de Collectif Changer de Cap, y agrega que quiere que se prohíban este tipo de algoritmos. "Otras organizaciones sociales en Francia usan algoritmos de puntuación para apuntar a los pobres. Si logramos que se prohíba [este] algoritmo, lo mismo se aplicará a los demás”.
La agencia de bienestar social francesa, la CNAF, analiza los datos personales de más de 30 millones de personas, tanto las que solicitan ayuda gubernamental como las personas con las que viven y sus familiares, según el litigio, presentado ante el máximo tribunal administrativo de Francia el 15 de octubre.
Usando su información personal, el algoritmo otorga a cada persona una puntuación entre 0 y 1, en función de la probabilidad que estima que tiene de recibir pagos a los que no tiene derecho, ya sea por fraude o por error.
Francia es uno de los muchos países que utilizan algoritmos para buscar errores o fraudes en su sistema de bienestar social. El año pasado, la investigación en tres partes de WIRED con Lighthouse Reports sobre algoritmos de detección de fraudes en los sistemas de bienestar europeos se centró en su uso en los Países Bajos, Dinamarca y Serbia.
Las personas con puntuaciones de riesgo más altas pueden ser objeto de lo que los beneficiarios de la asistencia social de todo el bloque han descrito como investigaciones estresantes e intrusivas, que también pueden implicar la suspensión de sus pagos de asistencia social.
“El tratamiento llevado a cabo por el CNAF constituye una vigilancia masiva y un ataque desproporcionado al derecho a la vida privada”, se lee en los documentos legales sobre el algoritmo francés. “Los efectos de este tratamiento algorítmico afectan especialmente a las personas más precarias”.
El CNAF no ha compartido públicamente el código fuente del modelo que utiliza actualmente para detectar los pagos de asistencia social realizados por error. Pero basándose en el análisis de versiones anteriores del algoritmo, que se sospecha que estará en uso hasta 2020, La Quadrature du Net afirma que el modelo discrimina a los grupos marginados al clasificar a las personas con discapacidad, por ejemplo, como de mayor riesgo que el resto.
“Las personas que reciben una asignación social reservada a las personas con discapacidad [la Allocation Adulte Handicapé, o AAH] son directamente objeto de una variable del algoritmo”, explica Bastien Le Querrec, experto jurídico de La Quadrature du Net. “El riesgo de las personas que reciben asistencia sanitaria y trabajan aumenta”.
Como también otorga una puntuación más alta a las familias monoparentales que a las familias biparentales, los grupos sostienen que discrimina indirectamente a las madres solteras, que estadísticamente tienen más probabilidades de ser las únicas cuidadoras. “En los criterios de la versión de 2014 del algoritmo, la puntuación para los beneficiarios que llevan divorciados menos de 18 meses es más alta”, dice Le Querrec.
Changer de Cap dice que tanto madres solteras como personas discapacitadas se han puesto en contacto con él en busca de ayuda, después de haber sido objeto de una investigación.
La agencia CNAF, que se encarga de distribuir la ayuda financiera, incluidas las prestaciones de vivienda, discapacidad y por hijos, no respondió de inmediato a una solicitud de comentarios ni a la pregunta de WIRED sobre si el algoritmo que se utiliza actualmente había cambiado significativamente desde la versión de 2014.
Al igual que en Francia, los grupos de derechos humanos en otros países europeos sostienen que someten a los miembros de la sociedad con los ingresos más bajos a una vigilancia intensa, a menudo con consecuencias profundas.
Cuando decenas de miles de personas en los Países Bajos (muchas de ellas de la comunidad ghanesa) fueron falsamente acusadas de defraudar el sistema de prestaciones por hijos a cargo, no solo se les ordenó devolver el dinero que el algoritmo supuestamente había robado. Muchas de ellas afirman que también quedaron con una deuda creciente y una calificación crediticia destruida.
El problema no es la forma en que se diseñó el algoritmo, sino su uso en el sistema de bienestar, dice Soizic Pénicaud, profesora de políticas de inteligencia artificial en Sciences Po Paris, que anteriormente trabajó para el gobierno francés en el ámbito de la transparencia de los algoritmos del sector público. “El uso de algoritmos en el contexto de la política social conlleva muchos más riesgos que beneficios”, afirma. “No he visto ningún ejemplo en Europa ni en el mundo en el que estos sistemas se hayan utilizado con resultados positivos”.
El caso tiene ramificaciones más allá de Francia. Se espera que los algoritmos de bienestar sean una prueba temprana de cómo se aplicarán las nuevas normas de inteligencia artificial de la UE una vez que entren en vigor en febrero de 2025. A partir de entonces, la “puntuación social” (el uso de sistemas de inteligencia artificial para evaluar el comportamiento de las personas y luego someter a algunas de ellas a un tratamiento perjudicial) quedará prohibida en todo el bloque.
“Muchos de estos sistemas de bienestar que realizan esta detección de fraude pueden, en mi opinión, ser una puntuación social en la práctica”, dice Matthias Spielkamp, cofundador de la organización sin fines de lucro Algorithm Watch. Sin embargo, es probable que los representantes del sector público no estén de acuerdo con esa definición, y es probable que las discusiones sobre cómo definir estos sistemas terminen en los tribunales. “Creo que es una pregunta muy difícil”, dice Spielkamp.